Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Entropie conditionnelleEn théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire , lorsque l'on connait exactement une variable aléatoire . On note l'entropie conditionnelle de sachant . On dit aussi parfois entropie de conditionnée par . Comme les autres entropies, elle se mesure généralement en bits. On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe.
Variables indépendantes et identiquement distribuéesvignette|upright=1.5|alt=nuage de points|Ce nuage de points représente 500 valeurs aléatoires iid simulées informatiquement. L'ordonnée d'un point est la valeur simulée suivante, dans la liste des 500 valeurs, de la valeur simulée pour l'abscisse du point. En théorie des probabilités et en statistique, des variables indépendantes et identiquement distribuées sont des variables aléatoires qui suivent toutes la même loi de probabilité et sont indépendantes. On dit que ce sont des variables aléatoires iid ou plus simplement des variables iid.
Variable aléatoirevignette|La valeur d’un dé après un lancer est une variable aléatoire comprise entre 1 et 6. En théorie des probabilités, une variable aléatoire est une variable dont la valeur est déterminée après la réalisation d’un phénomène, expérience ou événement, aléatoire. En voici des exemples : la valeur d’un dé entre 1 et 6 ; le côté de la pièce dans un pile ou face ; le nombre de voitures en attente dans la 2e file d’un télépéage autoroutier ; le jour de semaine de naissance de la prochaine personne que vous rencontrez ; le temps d’attente dans la queue du cinéma ; le poids de la part de tomme que le fromager vous coupe quand vous lui en demandez un quart ; etc.
Complex random variableIn probability theory and statistics, complex random variables are a generalization of real-valued random variables to complex numbers, i.e. the possible values a complex random variable may take are complex numbers. Complex random variables can always be considered as pairs of real random variables: their real and imaginary parts. Therefore, the distribution of one complex random variable may be interpreted as the joint distribution of two real random variables.
Exchangeable random variablesIn statistics, an exchangeable sequence of random variables (also sometimes interchangeable) is a sequence X1, X2, X3, ... (which may be finitely or infinitely long) whose joint probability distribution does not change when the positions in the sequence in which finitely many of them appear are altered. Thus, for example the sequences both have the same joint probability distribution. It is closely related to the use of independent and identically distributed random variables in statistical models.
Loi de probabilité à plusieurs variablesvignette|Représentation d'une loi normale multivariée. Les courbes rouge et bleue représentent les lois marginales. Les points noirs sont des réalisations de cette distribution à plusieurs variables. Dans certains problèmes interviennent simultanément plusieurs variables aléatoires. Mis à part les cas particuliers de variables indépendantes (notion définie ci-dessous) et de variables liées fonctionnellement, cela introduit la notion de loi de probabilité à plusieurs variables autrement appelée loi jointe.
Vecteur aléatoireUn vecteur aléatoire est aussi appelé variable aléatoire multidimensionnelle. Un vecteur aléatoire est une généralisation à n dimensions d'une variable aléatoire réelle. Alors qu'une variable aléatoire réelle est une fonction qui à chaque éventualité fait correspondre un nombre réel, le vecteur aléatoire est une fonction X qui à chaque éventualité fait correspondre un vecteur de : où ω est l'élément générique de Ω, l'espace de toutes les éventualités possibles. Les applications X, ...
Entropie minEn probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p1... pn est : La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2-b. L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables.
Entropie (thermodynamique)L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().
Convergence de variables aléatoiresDans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci-dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé notamment en statistique et dans l'étude des processus stochastiques. Par exemple, la moyenne de n variables aléatoires indépendantes et identiquement distribuées converge presque sûrement vers l'espérance commune de ces variables aléatoires (si celle-ci existe).
Loi normale multidimensionnelleEn théorie des probabilités, on appelle loi normale multidimensionnelle, ou normale multivariée ou loi multinormale ou loi de Gauss à plusieurs variables, la loi de probabilité qui est la généralisation multidimensionnelle de la loi normale. gauche|vignette|Différentes densités de lois normales en un dimension. gauche|vignette|Densité d'une loi gaussienne en 2D. Une loi normale classique est une loi dite « en cloche » en une dimension.
Distribution of the product of two random variablesA product distribution is a probability distribution constructed as the distribution of the product of random variables having two other known distributions. Given two statistically independent random variables X and Y, the distribution of the random variable Z that is formed as the product is a product distribution. The product distribution is the PDF of the product of sample values. This is not the same as the product of their PDF's yet the concepts are often ambiguously termed as "product of Gaussians".
Fonction de répartitionEn théorie des probabilités, la fonction de répartition, ou fonction de distribution cumulative, d'une variable aléatoire réelle X est la fonction F_X qui, à tout réel x, associe la probabilité d’obtenir une valeur inférieure ou égale : Cette fonction est caractéristique de la loi de probabilité de la variable aléatoire.
Indépendance (probabilités)vignette|Paire de dés L'indépendance est une notion probabiliste qualifiant de manière intuitive des événements aléatoires n'ayant aucune influence l'un sur l'autre. Il s'agit d'une notion très importante en statistique et en théorie des probabilités. Par exemple, la valeur d'un premier lancer de dés n'a aucune influence sur la valeur du second lancer. De même, pour un lancer, le fait dobtenir une valeur inférieure ou égale à quatre n'influe en rien sur la probabilité que le résultat soit pair ou impair : les deux événements sont dits indépendants.
Compression de donnéesLa compression de données ou codage de source est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression. C'est une opération de codage qui raccourcit la taille (de transmission, de stockage) des données au prix d'un travail de compression. Celle-ci est l'opération inverse de la décompression.
Loi de probabilité marginaleEn théorie des probabilités et en statistique, la loi marginale d'un vecteur aléatoire, c'est-à-dire d'une variable aléatoire à plusieurs dimensions, est la loi de probabilité d'une de ses composantes. Autrement dit, la loi marginale est une variable aléatoire obtenue par « projection » d'un vecteur contenant cette variable. Par exemple, pour un vecteur aléatoire , la loi de la variable aléatoire est la deuxième loi marginale du vecteur. Pour obtenir la loi marginale d'un vecteur, on projette la loi sur l'espace unidimensionnel de la coordonnée recherchée.
Théorème de dérivation des fonctions composéesEn mathématiques, dans le domaine de l'analyse, le théorème de dérivation des fonctions composées (parfois appelé règle de dérivation en chaîne ou règle de la chaîne, selon l'appellation anglaise) est une formule explicitant la dérivée d'une fonction composée pour deux fonctions dérivables. Elle permet de connaître la j-ème dérivée partielle de la i-ème application partielle de la composée de deux fonctions de plusieurs variables chacune.
