4.2.6 Codage de HUFFMAN

Le principe de la méthode de HUFFMAN est d'associer aux symboles les plus probables le plus petit nombre de bits et aux symboles les moins probables le plus grand nombre de bits.

La première étape de la méthode consiste à réorganiser les symboles par ordre de probabilité décroissante. Chaque symbole est alors associé à une feuille d'un arbre en construction. On relie ensuite les feuilles en créant un noeud auquel on associe la somme des probabilités des deux symboles correspondants. À chaque étape, on fusionne les 2 noeuds (ou feuilles) ayant les probabilités les plus faibles. On répète ce processus jusqu'à ce qu'il ne reste plus qu'un seul noeud dont la probabilité associée vaut 1.

Exemple. Considérons une source à 4 symboles A₁, A₂, A₃, A₄ respectivement de probabilité p(A₁) = 0, 5, p(A₂) = 0, 25, P(A₃) = 0, 125, p(A₄) = 0, 125. Dans cet exemple, les symboles ont déjà été réorganisés par ordre décroissant de leur probabilité respective. L'arbre est construit comme indiqué à la figure 4.3.

Figure 4.3: Illustration de la méthode de HUFFMAN.

 

Une fois l'arbre construit, on associe à chaque branche de l'arbre un symbole 0 ou 1. Il suffit de redescendre l'arbre jusqu'aux symboles pour déterminer le code correspondant

$$\rightarrow$$ A₁ 1

$$\rightarrow$$ A₂ 01

$$\rightarrow$$ A₃ 001

$$\rightarrow$$ A₄ 000

Appelons l (A_i) le nombre de bits associé au symbole A_i. Dès lors, nous avons

l (A₁) = 1

l (A₂) = 2

l (A₃) = 3

l (A₄) = 3

Le nombre moyen de bits utilisés par symbole, M, est donné par

$$\sum_{{i=1}}^{{4}}$$ (4.20)

Or, l'entropie de la source est donnée par

$$\sum_{{i=1}}^{{4}}$$ (4.21)

Il vient donc que le code obtenu par la méthode de HUFFMAN est optimal. Il faut remarquer que l'association triviale (A₁ = 00, A₂ = 01, A₃ = 10, A₄ = 11) aurait fourni un code de 2 bits par symboles. L'exemple précédent pourrait faire croire que le code de HUFFMAN conduit toujours à M = H(S). Ce n'est certes pas le cas et, de plus, la solution n'est pas nécessaire unique. Ainsi, dans l'exemple précédent, on peut permuter les mots de code de A₃ et A₄ sans affecter la valeur de M.