Théorie de l'information: Quantifier les messages et l'entropie de la source

Cette séance de cours introduit le concept de la quantification de l'information basée sur la probabilité d'occurrence dans les messages, en soulignant l'importance de la quantification de l'information dans les systèmes de communication. Il couvre le nombre minimum de bits requis pour stocker les messages numériques, l'entropie d'une source et les distributions d'entropie maximales sous différentes contraintes. La séance de cours explore également le calcul d'informations communes entre les sources aléatoires et la capacité du canal de communication en présence de bruit, en soulignant l'importance du rapport signal sur bruit dans la détermination de la capacité du canal de transmission.