Séance de cours

Shannon-Fano Codes

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-102: Advanced information, computation, communication II

Text, sound, and images are examples of information sources stored in our computers and/or communicated over the Internet. How do we measure, compress, and protect the informatin they contain? ...

Description

Cette séance de cours présente les codes Shannon-Fano, une méthode de codage unique décodable et sans préfixe. L'instructeur explique les définitions des codes uniques décodables, sans préfixe et instantanés, ainsi que l'encodage des cartes et des arbres. La séance de cours couvre l'inégalité de l'artisanat et l'existence de codes sans préfixe D-ary. L'instructeur démontre la construction d'un code Shannon-Fano pour une distribution de source donnée et discute de l'optimalité de ces codes par rapport à l'entropie. La séance de cours conclut en montrant que les codes Shannon-Fano ne sont pas optimaux mais fournissent une approximation proche de l'entropie, ce qui en fait un choix pratique pour les applications de codage.

Enseignant·e·s (2)

Bixio Rimoldi

Enseignement et PhD A dirigé les thèses EPFL de Nicolae Chiurtu, Ninoslav Marina, Prasenjit Dey, Raja Manakkal, Peter Allan Berlin, Marius Kleiner, Vojislav Gajic, Saeid Haghighatshoar, Adrian Dan Tarniceriu A co-dirigé les thèses EPFL de Michael Gastpar, Tarik Tabet

Michael Christoph Gastpar

Michael Gastpar is a (full) Professor at EPFL. From 2003 to 2011, he was a professor at the University of California at Berkeley, earning his tenure in 2008. He received his Dipl. El.-Ing. degree from ETH Zürich, Switzerland, in 1997 and his MS degree from the University of Illinois at Urbana-Champaign, IL, USA, in 1999. He defended his doctoral thesis at EPFL on Santa Claus day, 2002. He was also a (full) Professor at Delft University of Technology, The Netherlands. His research interests are in network information theory and related coding and signal processing techniques, with applications to sensor networks and neuroscience. He is a Fellow of the IEEE. He is the co-recipient of the 2013 Communications Society & Information Theory Society Joint Paper Award. He was an Information Theory Society Distinguished Lecturer (2009-2011). He won an ERC Starting Grant in 2010, an Okawa Foundation Research Grant in 2008, an NSF CAREER award in 2004, and the 2002 EPFL Best Thesis Award. He has served as an Associate Editor for Shannon Theory for the IEEE Transactions on Information Theory (2008-11), and as Technical Program Committee Co-Chair for the 2010 International Symposium on Information Theory, Austin, TX.

Source officielle

Proximité ontologique

Information engineering

Théorie de l'information: Théorie des codes

Concepts associés (18)

Codage de Huffman

Le codage de Huffman est un algorithme de compression de données sans perte. Le codage de Huffman utilise un code à longueur variable pour représenter un symbole de la source (par exemple un caractère dans un fichier). Le code est déterminé à partir d'une estimation des probabilités d'apparition des symboles de source, un code court étant associé aux symboles de source les plus fréquents. Un code de Huffman est optimal au sens de la plus courte longueur pour un codage par symbole, et une distribution de probabilité connue.

Théorie des codes

En théorie de l'information, la théorie des codes traite des codes et de leurs propriétés et de leurs aptitudes à servir sur différents canaux de communication. On distingue deux modèles de communication : avec et sans bruit. Sans bruit, le codage de source suffit à la communication. Avec bruit, la communication est possible avec les codes correcteurs. En définissant l'information de façon mathématique, l'étape fondatrice de la théorie des codes a été franchie par Claude Shannon.

Code à longueur variable

Dans la théorie des codes, le code à longueur variable est un code qui associe les symboles de la source à un nombre variable de bits. Les codes à longueur variable peuvent permettre à la source d'être compressée et décompressée avec une erreur nulle: il s'agit d'une compression sans perte. L'opération inverse du codage est alors possible pour chaque symbole. À partir d'une bonne stratégie de codage, une source i.i.d peut être compressée arbitrairement proche de son entropie, ce qui permet par exemple d'associer des mots longs aux symboles sources les moins fréquents.

Code préfixe

Un code préfixe (ou code instantané) est un code ayant la particularité de ne posséder aucun mot du code ayant pour préfixe un autre mot du code. Autrement dit, aucun mot du code (ou symbole) d'un code préfixe ne peut se prolonger pour donner un autre mot du code (ou symbole). C'est une propriété souvent recherchée pour les codes à longueur variable, afin de pouvoir les décoder lorsque plusieurs symboles sont concaténés les uns aux autres sans qu'il soit nécessaire d'utiliser des séparateurs (les séparateurs rendent préfixes des codes non préfixes).

Block code

In coding theory, block codes are a large and important family of error-correcting codes that encode data in blocks. There is a vast number of examples for block codes, many of which have a wide range of practical applications. The abstract definition of block codes is conceptually useful because it allows coding theorists, mathematicians, and computer scientists to study the limitations of all block codes in a unified way.

Afficher plus

Séances de cours associées (64)

Compression: Codes sans préfixe

Explique les codes sans préfixe pour une compression efficace des données et l'importance des codes décodables de manière unique.

Théorie de l'information: Codage des sources, Cryptographie, Codage des canaux

Couvre le codage source, la cryptographie et le codage canal dans les systèmes de communication, explorant l'entropie, les codes, les canaux d'erreur et les cours futurs connexes.

Codage de la source: Compression

Couvre l'entropie, le codage source, l'encodage des cartes, la décodabilité, les codes sans préfixe et l'inégalité de Kraft-McMillan.

Compression des données et résumé du théorème de Shannon

Résumé du théorème de Shannon, soulignant l'importance de l'entropie dans la compression des données.

Entropie et algorithmes : Applications au tri et à la pesée

Couvre l'application de l'entropie dans les algorithmes, en se concentrant sur le tri et les stratégies de prise de décision.

Afficher plus

Concepts associés (18)

Codage de Huffman

Théorie des codes

Code à longueur variable

Code préfixe

Block code

Afficher plus