Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Entropie et informations mutuelles

Description

Cette séance de cours, donnée par l'instructeur le 27 septembre 2020, porte sur l'entropie et l'information mutuelle. Il couvre des sujets tels que la distribution maximale de l'entropie, l'entropie conditionnelle, l'entropie conjointe et le concept d'information mutuelle. La séance de cours se penche sur la relation entre l'incertitude, l'information et la distribution des probabilités, donnant des indications sur la façon de quantifier et de mesurer l'information dans la science des données.

Source officielle

Concepts associés (32)

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.

Information mutuelle

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.

Entropie (thermodynamique)

L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().

Entropie de Rényi

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .

Afficher plus

Séances de cours associées (58)

Formulation variationnelle : Mesures d'information

Explore la formulation variationnelle pour mesurer le contenu de l'information et la divergence entre les distributions de probabilité.

Mesures d'information

Couvre les mesures d'information telles que l'entropie, la divergence Kullback-Leibler et l'inégalité de traitement des données, ainsi que les noyaux de probabilité et les informations mutuelles.

Théorie de l'information : examen et information mutuelle

Examine les mesures d'information comme l'entropie et introduit l'information mutuelle comme mesure de l'information entre les variables aléatoires.

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Information mutuelle : Comprendre les variables aléatoires

Explore l'information mutuelle, quantifiant les relations entre les variables aléatoires et mesurant le gain d'information et la dépendance statistique.

Afficher plus

Concepts associés (32)

Entropie de Shannon

Théorie de l'information

Information mutuelle

Entropie (thermodynamique)

Entropie de Rényi

Afficher plus