Calcul espérance conditionnelle et estimateur sans biais sachant une statistique exhaustive
Cette page illustre concrètement l’idée centrale du théorème de Rao-Blackwell : à partir d’un estimateur sans biais, on peut obtenir un estimateur au moins aussi bon en prenant son espérance conditionnelle sachant une statistique exhaustive. Ici, nous traitons le cas classique d’un échantillon Bernoulli, où la somme des succès est une statistique exhaustive pour le paramètre p.
Calculateur interactif
Modèle considéré : X₁, …, Xₙ i.i.d. Bernoulli(p). On part de l’estimateur sans biais brut T = X₁ pour estimer p. En conditionnant par la statistique exhaustive S = ΣXᵢ, on obtient :
Entrez les valeurs puis cliquez sur Calculer.
Guide expert : calcul d’espérance conditionnelle d’un estimateur sans biais sachant une statistique exhaustive
Le sujet du calcul d’espérance conditionnelle d’un estimateur sans biais sachant une statistique exhaustive se trouve au coeur de la théorie moderne de l’estimation. Il apparaît chaque fois que l’on cherche à améliorer un estimateur initial, sans changer son biais, mais en diminuant sa variance. En pratique, cette idée donne un principe très puissant : au lieu de travailler avec toute la complexité de l’échantillon brut, on conditionne l’estimateur par une statistique qui contient toute l’information utile sur le paramètre. Cette opération produit souvent un estimateur plus stable, plus efficace et plus élégant.
Dans le cas présenté ici, on considère un échantillon i.i.d. Bernoulli(p), noté X₁, …, Xₙ. Un estimateur sans biais très simple de p est T = X₁, car E[X₁] = p. Pourtant, cet estimateur est peu performant : il n’utilise qu’une seule observation sur les n disponibles. La statistique S = ΣXᵢ est, dans ce modèle, une statistique exhaustive pour p. Conditionner T par S mène alors à l’estimateur E[T | S], qui est plus informatif. C’est précisément le mécanisme du théorème de Rao-Blackwell.
1. Que signifie statistique exhaustive ?
En statistique mathématique, une statistique exhaustive est une fonction de l’échantillon qui concentre toute l’information pertinente sur le paramètre. En français contemporain, on parle souvent aussi de statistique suffisante. Formellement, une statistique S(X) est exhaustive pour un paramètre θ si la loi conditionnelle de l’échantillon sachant S ne dépend plus de θ. Autrement dit, une fois S connue, le reste de l’échantillon n’apporte plus d’information supplémentaire sur θ.
Dans le modèle Bernoulli, la somme des succès S = X₁ + … + Xₙ suit une loi binomiale de paramètres n et p. Cette somme est exhaustive pour p. C’est intuitif : si l’on s’intéresse seulement à la probabilité de succès p, connaître l’ordre exact des succès et échecs n’a pas d’intérêt supplémentaire. Seul le nombre total de succès compte.
2. Pourquoi l’espérance conditionnelle améliore un estimateur ?
Supposons que T soit un estimateur sans biais de g(θ). Alors E[T] = g(θ). Si S est une statistique exhaustive, l’estimateur T* = E[T | S] vérifie encore :
E[T*] = E[E[T | S]] = E[T] = g(θ)
Le nouvel estimateur reste donc sans biais. Mais surtout, il a une variance plus faible ou égale à celle de T. Cette propriété découle de la décomposition de variance :
Var(T) = E[Var(T | S)] + Var(E[T | S])
Comme E[Var(T | S)] est toujours positive ou nulle, on obtient immédiatement :
Var(E[T | S]) ≤ Var(T)
Cela explique pourquoi le conditionnement est une stratégie d’amélioration systématique. Tant que T n’est pas déjà une fonction de S, on gagne généralement en efficacité. C’est une des idées les plus élégantes de la théorie statistique, car elle relie information, biais et variance dans une formule très compacte.
3. Calcul explicite dans le modèle Bernoulli
Prenons T = X₁. On sait que T est sans biais pour p. On veut calculer :
E[X₁ | S = s]
Conditionnellement à S = s, il y a exactement s succès répartis parmi n positions. Par symétrie, chaque Xi a la même espérance conditionnelle. Puisque :
X₁ + … + Xₙ = s
on a :
E[X₁ | S = s] + … + E[Xₙ | S = s] = s
et, par échangeabilité :
E[X₁ | S = s] = … = E[Xₙ | S = s]
Donc :
n E[X₁ | S = s] = s, d’où E[X₁ | S = s] = s / n.
Le résultat est remarquable : le conditionnement transforme l’estimateur brut X₁ en la moyenne empirique Xbar = S / n, qui utilise tout l’échantillon. On passe ainsi d’un estimateur basé sur une seule observation à l’estimateur classique fondé sur l’ensemble des données.
4. Lien avec Rao-Blackwell et Lehmann-Scheffé
Le théorème de Rao-Blackwell dit que si T est un estimateur intégrable d’une quantité g(θ), alors E[T | S] est au moins aussi bon que T en erreur quadratique lorsque S est exhaustive. Si, en plus, la statistique exhaustive est complète, alors le théorème de Lehmann-Scheffé affirme que E[T | S] est l’unique estimateur sans biais de variance minimale parmi tous les estimateurs sans biais de g(θ).
Dans le cas Bernoulli, la somme S est non seulement exhaustive mais aussi complète. Cela signifie que l’estimateur S / n n’est pas seulement meilleur que X₁ : c’est en réalité le meilleur estimateur sans biais possible de p, au sens de la variance minimale.
5. Comparaison chiffrée des variances
Pour T = X₁, la variance vaut :
Var(X₁) = p(1 – p)
Pour l’estimateur amélioré T* = S / n, la variance vaut :
Var(S / n) = p(1 – p) / n
Le gain est immédiat : la variance est divisée par n. Voici quelques valeurs exactes pour p = 0,5, qui est le cas de variance maximale dans le modèle Bernoulli.
| Taille n | Var(X1) | Var(S/n) | Facteur de réduction |
|---|---|---|---|
| 2 | 0.2500 | 0.1250 | 2 |
| 5 | 0.2500 | 0.0500 | 5 |
| 10 | 0.2500 | 0.0250 | 10 |
| 30 | 0.2500 | 0.0083 | 30 |
| 100 | 0.2500 | 0.0025 | 100 |
Ce tableau montre quelque chose de fondamental : l’estimateur brut X₁ ne s’améliore pas quand on augmente n, puisqu’il ne dépend pas de n. En revanche, l’estimateur conditionné S / n devient de plus en plus précis à mesure que la taille d’échantillon croît. C’est exactement ce qu’on attend d’un bon estimateur.
6. Exemple numérique complet
Supposons n = 10 et s = 4. Alors le calculateur affiche :
- Estimateur brut si T = X₁ : sa valeur possible observée est 0 ou 1, donc il est très instable.
- Espérance conditionnelle : E[X₁ | S = 4] = 4 / 10 = 0,4.
- Estimateur de Rao-Blackwell : T* = 0,4.
- Si p = 0,4 comme valeur de référence, alors Var(X₁) = 0,24 et Var(S / n) = 0,024.
On constate que l’estimateur conditionné colle exactement à l’information globale contenue dans l’échantillon. Au lieu de dire seulement si la première observation est un succès, on utilise le nombre total de succès observés. Le résultat est beaucoup plus rationnel du point de vue inférentiel.
7. Tableau comparatif selon plusieurs valeurs de p
La réduction relative de variance ne dépend pas de p : elle vaut toujours n. En revanche, la variance absolue dépend de p(1-p). Voici des valeurs exactes pour n = 20.
| p | Var(X1) = p(1-p) | Var(S/n) = p(1-p)/20 | Ecart-type de X1 | Ecart-type de S/n |
|---|---|---|---|---|
| 0.10 | 0.0900 | 0.0045 | 0.3000 | 0.0671 |
| 0.25 | 0.1875 | 0.0094 | 0.4330 | 0.0968 |
| 0.50 | 0.2500 | 0.0125 | 0.5000 | 0.1118 |
| 0.75 | 0.1875 | 0.0094 | 0.4330 | 0.0968 |
| 0.90 | 0.0900 | 0.0045 | 0.3000 | 0.0671 |
8. Méthode générale de calcul
Quand vous devez résoudre un exercice de type calculer l’espérance conditionnelle d’un estimateur sans biais sachant une statistique exhaustive, une méthode fiable consiste à suivre les étapes suivantes :
- Identifier clairement le modèle probabiliste et le paramètre à estimer.
- Vérifier que l’estimateur initial T est bien sans biais pour la quantité visée.
- Déterminer une statistique exhaustive S, souvent via le théorème de factorisation.
- Calculer E[T | S], soit par symétrie, soit par loi conditionnelle explicite, soit par propriétés combinatoires.
- Comparer les variances de T et de E[T | S].
- Si S est complète, conclure éventuellement à l’optimalité par Lehmann-Scheffé.
Dans de nombreux exercices, le calcul direct de la loi conditionnelle complète est évitable. La symétrie suffit souvent. C’est le cas ici : une fois que l’on sait qu’il y a s succès parmi n positions, chaque position a la même probabilité conditionnelle d’être un succès, soit s / n.
9. Erreurs fréquentes à éviter
- Confondre statistique exhaustive et statistique complète. La première concentre l’information, la seconde garantit l’unicité de certains estimateurs sans biais.
- Oublier de vérifier l’absence de biais avant d’appliquer Rao-Blackwell dans un cadre d’estimation sans biais.
- Remplacer trop vite E[T | S] par T(S) sans démonstration. Il faut justifier la forme fonctionnelle.
- Négliger la contrainte sur les valeurs possibles de S. Dans un modèle Bernoulli, s doit être un entier entre 0 et n.
- Comparer des estimateurs à biais différents uniquement via leur variance. La comparaison correcte se fait souvent via l’erreur quadratique moyenne.
10. Pourquoi ce résultat est important en pratique
Au-delà des exercices théoriques, cette technique a une portée pratique très large. En statistique appliquée, les données brutes peuvent être redondantes. Travailler avec une statistique exhaustive permet de résumer efficacement l’information, de simplifier les calculs et d’obtenir de meilleurs estimateurs. Dans les modèles exponentiels, ce phénomène est particulièrement fréquent. La moyenne, la somme, le nombre de succès ou le couple somme et somme des carrés jouent souvent ce rôle central.
Le message essentiel est simple : si vous disposez d’un estimateur sans biais mais qu’une statistique exhaustive est connue, vous pouvez presque toujours faire mieux ou au moins aussi bien en conditionnant. C’est pourquoi le calcul d’espérance conditionnelle n’est pas un détail technique, mais une compétence structurante pour comprendre l’inférence statistique.
11. Ressources académiques et institutionnelles
Pour approfondir ce thème, vous pouvez consulter les ressources suivantes :
- NIST Engineering Statistics Handbook
- Penn State University, Probability Theory course materials
- University of California Berkeley, Department of Statistics
12. Conclusion
Le calcul d’espérance conditionnelle d’un estimateur sans biais sachant une statistique exhaustive est une procédure canonique d’amélioration des estimateurs. Dans le modèle Bernoulli, partir de T = X₁ et conditionner par S = ΣXᵢ conduit à E[X₁ | S] = S / n. Ce nouvel estimateur reste sans biais, exploite toute l’information disponible et voit sa variance divisée par n. Lorsque la statistique exhaustive est complète, ce résultat se renforce encore : l’estimateur obtenu est alors l’UMVU, c’est-à-dire le meilleur estimateur sans biais au sens de la variance.
Si vous utilisez le calculateur ci-dessus, retenez cette lecture simple : l’espérance conditionnelle transforme un estimateur local, fragile et peu informatif en un estimateur global, stable et statistiquement optimal dans ce cadre. C’est l’un des plus beaux exemples où une idée théorique donne immédiatement un gain concret et mesurable.