4.2.5 Théorème de SHANNON

En vue de transmettre ou de stocker les symboles émis par une source, un certain nombre de bits est associé à chaque symbole. De cette association résulte ce que l'on appelle un code. Chaque symbole se voit attribué un mot de code. Un code très connu dans le monde de l'informatique est le code ASCII^4.1 qui, dans sa version à 7 bits, représente 128 caractères alphanumériques ou spéciaux au moyen d'un code unique de 7 bits par symbole.

On peut aussi imaginer de représenter les symboles de la source par un nombre quelconque de bits. Certains mots de code peuvent ainsi comporter un nombre de bits différent. Appelons M le nombre moyen de bits que l'on associe à chaque symbole de la source (dans le code ASCII, M = 7).

Théorème 25   Soit H(S) l'entropie de cette source. Un théorème fondamental de SHANNON énonce que, quelque soit le code utilisé pour représenter les symboles de la source, l'inégalité suivante tient toujours

$$\geq$$ (4.19)

Autrement dit, le nombre moyen de bits par symbole est toujours supérieur ou égal à l'entropie de la source. L'entropie de la source représente donc une limite inférieure du nombre de bits nécessaires. En effet, le théorème de SHANNON affirme qu'il est impossible de trouver un code pour lequel M est inférieur à l'entropie de la source.

S'il est possible de s'approcher de la borne H(S), le théorème ne nous apprend malheureusement pas comment construire le code optimal correspondant. Une méthode efficace permettant de se rapprocher fortement de H(S) est la méthode de HUFFMAN.

Notes

...ASCII^4.1

ASCII = American Standard Code for Information Interchange.