Compression des données et définition de l'entropie

Cette séance de cours introduit le concept d'entropie comme le nombre moyen de questions nécessaires pour deviner une lettre choisie au hasard dans une séquence, fournissant à la fois une définition approximative et formelle. Il explore la relation entre l'entropie et les distributions de probabilité, en soulignant l'importance de comprendre la définition formelle de l'entropie et ses applications dans divers contextes, tels que les processus stochastiques. La séance de cours aborde également l'extension des définitions d'entropie pour considérer les probabilités de séquences de lettres, au-delà des probabilités de lettres individuelles, soulignant la pertinence durable de la formule d'entropie dans la théorie de l'information.