Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Bilan détailléLe principe du bilan détaillé d'un système cinétique comportant plusieurs chemins, chacun d'eux comportant plusieurs étapes successives indépendantes, stipule que l'équilibre thermodynamique global du système implique l'équilibre de chacune des étapes constitutives. Le principe voisin nommé principe de bilan semi-détaillé ou bilan complexe donne une condition suffisante pour assurer la stationnarité d'un tel système. Le principe de bilan détaillé a été utilisé une première fois par Ludwig Boltzmann en 1872 pour établir son théorème H.
Formule de Boltzmannthumb|Sur la tombe de Ludwig Boltzmann En physique statistique, la formule de Boltzmann (1877) définit l'entropie microcanonique d'un système physique à l'équilibre macroscopique, libre d'évoluer à l'échelle microscopique entre micro-états différents. Elle s'écrit : où est la constante de Boltzmann qui est égale à . est appelé le nombre de complexions du système ou nombre de configurations.
Free entropyA thermodynamic free entropy is an entropic thermodynamic potential analogous to the free energy. Also known as a Massieu, Planck, or Massieu–Planck potentials (or functions), or (rarely) free information. In statistical mechanics, free entropies frequently appear as the logarithm of a partition function. The Onsager reciprocal relations in particular, are developed in terms of entropic potentials. In mathematics, free entropy means something quite different: it is a generalization of entropy defined in the subject of free probability.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Loschmidt's paradoxIn physics, Loschmidt's paradox (named for J.J. Loschmidt), also known as the reversibility paradox, irreversibility paradox, or Umkehreinwand (), is the objection that it should not be possible to deduce an irreversible process from time-symmetric dynamics. This puts the time reversal symmetry of (almost) all known low-level fundamental physical processes at odds with any attempt to infer from them the second law of thermodynamics which describes the behaviour of macroscopic systems.
Entropie minEn probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p1... pn est : La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2-b. L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables.
