Séance de cours

Compression des données et résumé du théorème de Shannon

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-119(d): Information, calcul, communication

L'objectif de ce cours est d'introduire les étudiants à la pensée algorithmique, de les familiariser avec les fondamentaux de l'Informatique et de développer une première compétence en programmation (langage C++). ...

Description

Cette séance de cours résume le théorème de Shannon, indiquant que l'entropie est la limite inférieure de la longueur de codage moyenne en codes sans perte et sans ambiguïté. Comprendre ce concept fondamental est crucial pour la prise de décision future, car il aide à identifier les allégations trompeuses concernant les techniques de compression de données.

Enseignant·e

Jean-Cédric Chappelier

Jean-Cédric Chappelier est ingénieur diplômé et docteur de l'Ecole Nationale Supérieure des Télécommunications de Paris. Il est actuellement collaborateur scientifique et chargé de cours à l'Ecole Polytechnique Fédérale de Lausanne où il participe à l'activité de recherche et enseigne, entre autres, dans le domaine du traitement automatique des langues.

Source officielle

Proximité ontologique

Information engineering

Théorie de l'information: Théorie des codes

Concepts associés (30)

Compression de données

La compression de données ou codage de source est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression. C'est une opération de codage qui raccourcit la taille (de transmission, de stockage) des données au prix d'un travail de compression. Celle-ci est l'opération inverse de la décompression.

Théorème du codage de canal

En théorie de l'information, le théorème du codage de canal aussi appelé deuxième théorème de Shannon montre qu'il est possible de transmettre des données numériques sur un canal bruité avec un taux d'erreur arbitrairement faible si le débit est inférieur à une certaine limite propre au canal. Ce résultat publié par Claude Shannon en 1948 est fondé sur des travaux antérieurs de Harry Nyquist et Ralph Hartley. La première preuve rigoureuse fut établie par Amiel Feinstein en 1954.

Théorème du codage de source

Le théorème du codage de source (ou premier théorème de Shannon, ou encore théorème de codage sans bruit) est un théorème en théorie de l'information, énoncé par Claude Shannon en 1948, qui énonce la limite théorique pour la compression d'une source. Le théorème montre que l'on ne peut pas compresser une chaine de variables aléatoires i.i.d, quand la longueur de celle-ci tend vers l'infini, de telle sorte à ce que la longueur moyenne des codes des variables soit inférieure à l'entropie de la variable source.

Lossy compression

In information technology, lossy compression or irreversible compression is the class of data compression methods that uses inexact approximations and partial data discarding to represent the content. These techniques are used to reduce data size for storing, handling, and transmitting content. The different versions of the photo of the cat on this page show how higher degrees of approximation create coarser images as more details are removed. This is opposed to lossless data compression (reversible data compression) which does not degrade the data.

Code universel

En compression de données, un code universel est un code préfixe dont les mots ont une longueur dont l'espérance mathématique ne dépasse pas celle de la longueur des mots du code optimal à un facteur constant près. Les codages gamma, delta et omega d'Elias, les codages Zeta, de Fibonacci, de Levenshtein, d'Even-Rodeh produisent des codes préfixes et universels. Les codages unaire, de Rice et de Golomb produisent des codes préfixes non universels. Codage entropique Catégorie:Codage entropique Catégorie:Théo

Afficher plus

Séances de cours associées (32)

Compression de données et théorème de Shannon: Compression de perte

Explore la compression des données, y compris les méthodes sans perte et la nécessité de la compression sans perte pour les nombres réels et les signaux.

Huffman Coding

Explore le codage Huffman en le comparant à l'organisation d'une cuisine pour l'efficacité.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Théorie de l'information: Fondements et applications

Couvre les bases de la théorie de l'information et ses applications dans divers domaines.

Compression de données : codage de source

Couvre les techniques de compression de données, y compris le codage source et les concepts de décodabilité uniques.

Afficher plus

Concepts associés (30)

Compression de données

Théorème du codage de canal

Théorème du codage de source

Lossy compression

Code universel

Afficher plus