9.6.1 Information, incertitude et entropie

9.6.1.1 Notion d'information

Considérons une source pouvant émettre deux symboles s₀ et s₁ avec les probabilités respectives p₀ et p₁ . Celle-ci peut dès lors être vue comme une variable aléatoire discrète. Nous considérons la source sans mémoire, c'est-à-dire que le symbole émis à un certain temps est indépendant des symboles émis précédemment.

Supposons que la source émette un symbole. Si une des deux probabilités est unitaire, il n'y a pas de surprise à la sortie et donc aucune information (on connaît le symbole qui va être émis). Dans le cas où l'émission des symboles est équiprobable ( p₀ = p₁ = 0, 5 ), une grande incertitude subsiste sur le symbole émis et la réception du symbole émis apporte beaucoup d'information. On peut ainsi caractériser l'information par la probabilité d'émission des symboles.

Définition 39   [Information d'un symbole] Dès lors, le gain en information apporté par l'observation de l'événement S = s_k , de probabilité p_k est donné par l'information de symbole telle que définie par

$$\left(\vphantom{\frac{1}{p_{k}}}\right. {\frac{{1}}{{p_{k}}}} \left.\vphantom{\frac{1}{p_{k}}}\right)$$ (9.92)

L'information est nulle quand p_k vaut 1 -ce que l'on peut interpréter comme le fait que la réalisation d'un événement certain n'apporte aucune information- et elle augmente à mesure que p_k diminue. Cette grandeur s'exprime en bit d'information. Il convient de ne pas confondre le bit et le bit d'information qui représentent respectivement les mesures du débit et du débit d'information. Ainsi, il est tout à fait possible d'avoir un nombre de bits d'information qui ne soit pas un nombre entier. En pratique, on ne retrouve guère cette nuance puisque le terme bit est utilisé pour les deux notions. Il faudra donc recourir au contexte pour rétablir la distinction.

9.6.1.2 Notion d'entropie

Soit une source S comprenant K symboles. On cherche à caractériser l'information moyenne fournie par chaque symbole émis.

Définition 40   Cette grandeur est appelée entropie de la source et notée H(S) . Dès lors,

$$\sum_{{k=0}}^{{K-1}} \left(\vphantom{\frac{1}{p_{k}}}\right. {\frac{{1}}{{p_{k}}}} \left.\vphantom{\frac{1}{p_{k}}}\right)$$ (9.93)

Dans le cas d'une source binaire, on peut considérer deux cas particuliers:

1. le cas où tous les symboles sont équiprobables. On montre alors que H(S) = 1 , ce qui implique que l'information apportée lors de l'observation du symbole vaut un bit.
2. le cas où une probabilité p_k vaut 1 . Alors H(S) = 0 ; l'information apportée lors de l'observation du symbole est nulle car on sait a priori quel symbole va être émis par la source.