1.3.4 Un exemple: estimation de la moyenne

Supposons que, à propos d'une séquence aléatoire x[n] , on ne sache rien d'autre qu'elle est stationnaire et ergodique. On dispose d'un enregistrement {x[0], x[1], ..., x[N - 1]} de durée N , et l'on voudrait estimer la moyenne $\mu_{{x}}^{}$ . La moyenne arithmétique des échantillons

$$\widehat{{\mu_{x}}} {\frac{{1}}{{N}}} \sum_{{n=0}}^{{N-1}}$$ (1.53)

semble être un estimateur raisonnable.

1.3.4.1 Biais de $\widehat{{\mu_{x}}}$ ?

En prenant l'espérance mathématique des deux membres de cette équation, on a

$$\left\{\vphantom{ \widehat{\mu_{x}}}\right. \widehat{{\mu_{x}}} \left.\vphantom{ \widehat{\mu_{x}}}\right\} \mu_{{x}}^{}$$ (1.54)

et l'on voit que cet estimateur est non biaisé.

1.3.4.2 Variance de $\widehat{{\mu_{x}}}$ ?

Essayons à présent d'en déterminer la variance. Soustrayant membre à membre les deux équations précédentes, il vient

$$\widehat{{\mu_{x}}} \left\{\vphantom{ \widehat{\mu_{x}}}\right. \widehat{{\mu_{x}}} \left.\vphantom{ \widehat{\mu_{x}}}\right\} {\frac{{1}}{{N}}} \sum_{{n=0}}^{{N-1}} \mu_{{x}}^{}$$ (1.55)

et ensuite

$$\sigma_{{\widehat{\mu_{x}}}}^{{2}} {\frac{{1}}{{N^{2}}}} \sum_{{n=0}}^{{N-1}} \sum_{{n'=0}}^{{N-1}} \left\{\vphantom{ (x[n]-\mu_{x})(x[n']-\mu_{x})}\right. \mu_{{x}}^{} \mu_{{x}}^{} \left.\vphantom{ (x[n]-\mu_{x})(x[n']-\mu_{x})}\right\}$$ = (1.56)

$${\frac{{1}}{{N^{2}}}} \sum_{{n=0}}^{{N-1}} \sum_{{n'=0}}^{{N-1}}$$ = (1.57)

$${\frac{{1}}{{N^{2}}}} \sum_{{i=-(N-1)}}^{{N-1}} \left\vert\vphantom{i}\right. \left.\vphantom{i}\right\vert$$ = (1.58)

Cette dernière expression s'obtient en observant que, dans la double somme 1.57, la différence n - n' prend N fois la valeur 0 , N - 1 fois les valeurs $\pm$1 , etc.

Cette expression met en évidence un problème courant dans le domaine de l'estimation. Alors qu'on tente ici d'estimer un moment du premier ordre, il faudrait connaître les moments du deuxième ordre pour déterminer la précision de l'estimateur: plus généralement, la précision de l'estimateur des moments d'un ordre déterminé dépend des moments d'un ordre supérieur. Ceux-ci sont logiquement inconnus, et il faudra les estimer eux-mêmes pour avoir une idée de la précision de l'estimateur.

Revenons au cas présent. La double somme 1.57 comprend N² termes et, d'une manière générale, il se pourrait que la variance de l'estimateur ne décroisse pas lorsque la durée N de l'enregistrement augmente. Cependant, si la fonction de covariance C_xx[i] décroît avec i et, plus précisément, si $\lim_{{i\rightarrow+\infty}}^{}$C_xx[i] = 0 , la simple somme apparaissant dans l'équation 1.58 croît proportionnellement à N lorsque N $\rightarrow$ + $\infty$ . Dans ce cas, la variance de l'estimateur de $\widehat{{\mu_{x}}}$ décroît comme ${\frac{{1}}{{N}}}$ et l'estimateur est consistant. Ainsi, si l'on savait que x[n] est un bruit blanc d'intensité $\sigma_{{x}}^{{2}}$ , on aurait $\sigma_{{\widehat{\mu_{x}}}}^{{2}}$ = ${\frac{{\sigma_{x}^{2}}}{{N}}}$ .

On pourrait croire, à tort, que la moyenne arithmétique est le seul estimateur de la moyenne. En fait, dans les cas où l'on ne dispose que d'un faible nombre d'échantillons, il est intéressant de recourir à la médiane. Si pour certaines distributions aléatoires, par exemple la gaussienne, médiane et moyenne sont confondues, il n'empêche qu'en pratique la médiane est parfois préférée à la moyenne arithmétique.