Loi de probabilité d'entropie maximale

En statistique et en théorie de l'information, une loi de probabilité d'entropie maximale a une entropie qui est au moins aussi grande que celle de tous les autres membres d'une classe spécifiée de lois de probabilité. Selon le principe d'entropie maximale, si rien n'est connu sur une loi , sauf qu'elle appartient à une certaine classe (généralement définie en termes de propriétés ou de mesures spécifiées), alors la loi avec la plus grande entropie doit être choisie comme la moins informative par défaut. La motivation est double : premièrement, maximiser l'entropie minimise la quantité d'informations a priori intégrées à la loi ; deuxièmement, de nombreux systèmes physiques ont tendance à évoluer vers des configurations d'entropie maximale au fil du temps. Si X est une variable aléatoire discrète de loi donnée par alors l'entropie de est définie comme Si est une variable aléatoire continue de loi de probabilité p(x), alors l'entropie différentielle de X est définie par La quantité p(x) log p(x) est considérée comme nulle chaque fois que p(x) = 0. Il s'agit d'un cas particulier des formes plus générales décrites dans les articles Entropie (théorie de l'information), Principe d'entropie maximale et Entropie différentielle. Dans le cadre des lois d'entropie maximale, c'est la seule nécessaire, car la maximisation de maximisera également les formes plus générales. La base du logarithme n'est pas importante tant que la même est utilisée de manière cohérente : le changement de base entraîne simplement une remise à l'échelle de l'entropie. Les théoriciens de l'information peuvent préférer utiliser la base 2 pour exprimer l'entropie en bits ; les mathématiciens et les physiciens préféreront souvent le logarithme naturel, résultant en une unité de nats pour l'entropie. Le choix de la mesure dx est pourtant cruciale pour déterminer l'entropie et la loi d'entropie maximale qui en résulte, même si l'utilisation habituelle à la mesure de Lebesgue est souvent défendue comme "naturel".