9.6.4 Capacité de canal

La notion d'information mutuelle nous permet d'introduire la notion de capacité de canal.

Définition 41   On définit la capacité (maximale) d'un canal comme le maximum de l'information mutuelle moyenne où la maximisation se fait sur la distribution de probabilité des symboles d'entrée

C_s = max_{p(xj)}I(X;Y) (9.101)

Cette définition représente donc la meilleure utilisation que l'on peut faire du canal et elle est indépendante de la distribution de probabilités des symboles de l'alphabet d'entrée. Il s'agit évidemment d'une capacité théorique que l'on pourra utiliser comme référence pour la mise au point de technique de transmission.

Remarquons enfin que la relation 9.101 définit une capacité de canal par symbole. Si le canal est capable de traiter s symboles par seconde, la capacité par seconde est donnée par

C = s C_s (9.102)

9.6.4.1 Estimation de la capacité d'un canal binaire symétrique

Considérons le schéma de la figure 9.23.

Figure 9.23: Calcul de la capacité de canal d'un canal binaire symétrique.

 

La capacité du canal s'exprime par

C_s = max_{p(xj)}I(X;Y) (9.103)

$$\left[\vphantom{H(X)-H(X\vert Y)}\right. \left.\vphantom{H(X)-H(X\vert Y)}\right]$$ = (9.104)

$$\left[\vphantom{H(Y)-H(Y\vert X)}\right. \left.\vphantom{H(Y)-H(Y\vert X)}\right]$$ = (9.105)

Calculons l'entropie conditionnelle H(Y| X) . Pour ce faire, appliquons la formule 9.96 adaptée. Pour la paire entrée-sortie (x₀, y₀) , on obtient

$$\left(\vphantom{p({y_{0}\vert x_{0}})}\right. \left.\vphantom{p({y_{0}\vert x_{0}})}\right)$$ (9.106)

Sachant que la probabilité d'émission du symbole x₀ vaut $\alpha$ et que la probabilité conditionnelle p(y₀| x₀) vaut p (cf. figure 9.23), on obtient

$$\alpha$$ (9.107)

En effectuant de même pour toutes les combinaisons entrée-sortie ( (x₁, y₀),(x₀, y₁) et (x₁, y₁) ) et en sommant les différentes contributions, on trouve

$$\sum_{{i=0}}^{{1}} \sum_{{j=0}}^{{1}}$$ H(Y| X) = (9.108)

= - p log₂p - q log₂q (9.109)

On constate donc que H(Y| X) ne dépend que des caractéristiques du canal, on parle d'entropie de canal. Dès lors,

I(X;Y) = H(Y) + p log₂p + q log₂q (9.110)

Pour maximiser cette quantité, on ne peut plus jouer que sur H(Y) . Le maximum que l'on peut obtenir avec un canal binaire est une valeur unitaire pour H(Y) . La capacité maximale de canal est alors

C_s = 1 + p log₂p + q log₂q (9.111)

Sur le schéma de la figure 9.23, q représente la probabilité de prendre une décision erronée; c'est la probabilité d'erreur. Dans le cas d'une modulation à deux états, la probabilité d'erreur est liée au rapport signal à bruit par la relation

$${\frac{{1}}{{2}}} \left(\vphantom{\sqrt{\frac{E_{b}}{N_{0}}}}\right. \sqrt{{\frac{E_{b}}{N_{0}}}} \left.\vphantom{\sqrt{\frac{E_{b}}{N_{0}}}}\right)$$ (9.112)

L'évolution de la capacité de canal en fonction du rapport signal sur bruit est représentée à la figure 9.24. On constate que, lorsque le rapport signal sur bruit tend vers l'infini (c'est-à-dire que la probabilité d'erreur tend vers 0), la capacité maximale du canal tend vers 1 bit.

9.6.4.2 Influence du type de modulation

Prenons le cas d'une modulation à quatre états (4-AM par exemple). La matrice de canal se complique car il faut calculer plusieurs probabilités d'erreur pour un symbole d'entrée donné.

Cependant, l'expression de la capacité de canal reste de la forme

C_s = H(Y) + H_c (9.113)

où la valeur maximale de H(Y) est de deux, la conséquence d'une modulation à quatre états étant que l'on a deux bits par symbole et où H_c est un terme associé aux transitions de canal. Il est alors intuitivement acceptable que la capacité de canal tende vers deux quand le rapport signal à bruit tend vers l'infini. Le raisonnement peut être répété pour des modulations à 16 voire 64 états. Les résultats sont résumés à la figure 9.24.

Figure 9.24: Capacité de canal pour différents types de modulation.

 

9.6.4.3 Généralisation au cas continu et second théorème de SHANNON

Dans le cas où l'on considère des alphabets d'entrée et de sortie continus, le calcul de la capacité de canal s'en trouve très fortement compliqué. Pour un canal blanc additif gaussien de moyenne nulle et de variance $\sigma_{{N}}^{{2}}$ , la sortie vaut

$$\sigma_{{N}}^{{2}}$$ (9.114)

Pour le calcul de la capacité de canal, on impose en outre une limitation de la puissance d'entrée à $\sigma_{{X}}^{{2}}$ .

Théorème 42   [SHANNON] Des calculs montrent que la capacité d'un canal blanc additif gaussien de moyenne nulle et de variance $\sigma_{{N}}^{{2}}$ s'exprime par

$${\frac{{1}}{{2}}} \left(\vphantom{1+\frac{\sigma_{X}^{2}}{\sigma_{N}^{2}}}\right. {\frac{{\sigma_{X}^{2}}}{{\sigma_{N}^{2}}}} \left.\vphantom{1+\frac{\sigma_{X}^{2}}{\sigma_{N}^{2}}}\right)$$ (9.115)

où ${\frac{{\sigma_{X}^{2}}}{{\sigma_{N}^{2}}}}$ représente le rapport signal sur bruit.

Cette formule porte le nom de second théorème de SHANNON. On constate que, dans le cas d'un bruit important ( $\sigma_{{N}}^{{2}}$ $\gg$ $\sigma_{{X}}^{{2}}$ ), le canal ne parvient pas à transmettre de l'information. La figure 9.25 compare la limite théorique de SHANNON avec les capacités maximales atteintes par les différentes techniques de modulation. Il est intéressant de noter que la limite théorique de SHANNON correspond au cas d'une modulation comportant un nombre infini d'états.

Figure 9.25: Second théorème de SHANNON.