Séance de cours

Propriétés de l'entropie

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-119(d): Information, calcul, communication

L'objectif de ce cours est d'introduire les étudiants à la pensée algorithmique, de les familiariser avec les fondamentaux de l'Informatique et de développer une première compétence en programmation (langage C++). ...

Description

Cette séance de cours traite des propriétés de l'entropie, soulignant qu'elle n'est pas toujours un entier lorsque les probabilités ne sont pas des nombres entiers. Il explique que l'entropie est positive, ne devient nulle que lorsque toutes les probabilités sauf une sont nulles, et est inférieure ou égale au logarithme du nombre de valeurs possibles, atteignant l'égalité avec l'équiprobabilité.

Source officielle

Concepts associés (22)

Probabilité

vignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.

Logarithme

vignette|Tracés des fonctions logarithmes en base 2, e et 10. En mathématiques, le logarithme (de logos : rapport et arithmos : nombre) de base d'un nombre réel strictement positif est la puissance à laquelle il faut élever la base pour obtenir ce nombre. Dans le cas le plus simple, le logarithme compte le nombre d'occurrences du même facteur dans une multiplication répétée : comme 1000 = 10×10×10 = 10, le logarithme en base 10 de 1000 est 3. Le logarithme de en base est noté : . John Napier a développé les logarithmes au début du .

Bayesian probability

Bayesian probability (ˈbeɪziən or ˈbeɪʒən ) is an interpretation of the concept of probability, in which, instead of frequency or propensity of some phenomenon, probability is interpreted as reasonable expectation representing a state of knowledge or as quantification of a personal belief. The Bayesian interpretation of probability can be seen as an extension of propositional logic that enables reasoning with hypotheses; that is, with propositions whose truth or falsity is unknown.

Probabilité conditionnelle

vignette|Illustration des probabilités conditionnelles avec un diagramme d'Euler. On a la probabilité a priori et les probabilités conditionnelles , et .|320x320px En théorie des probabilités, une probabilité conditionnelle est la probabilité d'un événement sachant qu'un autre événement a eu lieu. Par exemple, si une carte d'un jeu est tirée au hasard, on estime qu'il y a une chance sur quatre d'obtenir un cœur ; mais si on aperçoit un reflet rouge sur la table, il y a maintenant une chance sur deux d'obtenir un cœur.

Logarithme naturel

Le logarithme naturel ou logarithme népérien, ou encore logarithme hyperbolique jusqu'au , transforme, comme les autres fonctions logarithmes, les produits en sommes. L'utilisation de telles fonctions permet de faciliter les calculs comprenant de nombreuses multiplications, divisions et élévations à des puissances rationnelles. Il est souvent noté ln(). Le logarithme naturel ou népérien est dit de base e car ln(e) = 1. Le logarithme népérien d'un nombre x peut également être défini comme la puissance à laquelle il faut élever e pour obtenir x.

Afficher plus

Séances de cours associées (64)

Loi des grands nombres : Convergence forte

Explore la forte convergence des variables aléatoires et l'approximation de la distribution normale dans les probabilités et les statistiques.

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Probabilité et statistiques

Couvre les concepts fondamentaux en probabilité et en statistiques, en mettant l'accent sur les techniques d'analyse de données et la modélisation statistique.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Probabilité et statistiques

Présente des concepts clés en probabilité et en statistiques, couvrant des expériences aléatoires, des événements, des intersections, des syndicats et plus encore.

Afficher plus

Concepts associés (22)

Probabilité

Logarithme

Bayesian probability

Probabilité conditionnelle

Logarithme naturel

Afficher plus