4.2.4 Débit d'information et redondance d'une source

En télécommunications, l'information d'une source est déterminante au même titre que le temps nécessaire pour transmettre cette information. En définitive, on cherche à transmettre un maximum d'information le plus rapidement possible et en économisant au mieux les ressources disponibles.

Définition 23   [Débit d'information] Le débit d'information d'une source sera défini comme étant le produit de l'entropie de la source (valeur moyenne de l'information propre par symbole) par le nombre moyen de symboles par seconde. En notant la durée moyenne d'un symbole par $\overline{{\tau}}$, le débit d'information de la source sera

$${\frac{{H(S)}}{{\overline{\tau}}}} \overline{{f}}$$ (4.17)

où $\overline{{f}}$ = 1/$\overline{{\tau}}$ est la fréquence moyenne d'émission des symboles.

Définition 24   [Redondance] Pour indiquer l'écart entre l'entropie d'une source et sa valeur maximale possible (lorsque tous les symboles sont équiprobables), on définit la redondance de la source

R_S = H_max(S) - H(S) (4.18)

où H_max(S) = log₂n.

La redondance de la source est d'autant plus grande que son entropie est faible, c'est-à-dire que l'incertitude liée à la source est faible. Si certains symboles sont beaucoup plus probables que d'autres, l'entropie de la source est faible et la source est dite redondante.