Compression des données et entropie : Conclusion

Cette séance de cours se termine par des concepts fondamentaux à retenir, comme la définition de l’entropie, qui mesure la quantité d’informations ou de surprises dans un message. Il explique l'entropie comme le nombre moyen de questions binaires nécessaires pour trouver une solution, et se penche sur la définition mathématique de l'entropie comme la somme de Pi log de 1 sur Pi. La séance de cours aborde également la représentation de l'information sans perte, en introduisant l'algorithme Shannon-Fano pour la dichotomie binaire basée sur les nombres d'apparence. Il met en évidence l'entropie comme une limite sur la longueur moyenne des bits utilisés pour transmettre des informations et des indices sur des sujets à venir tels que le théorème de Shannon, le codage de Huffman et les codes à pertes.