Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Entropy (classical thermodynamics)In classical thermodynamics, entropy () is a property of a thermodynamic system that expresses the direction or outcome of spontaneous changes in the system. The term was introduced by Rudolf Clausius in the mid-19th century to explain the relationship of the internal energy that is available or unavailable for transformations in form of heat and work. Entropy predicts that certain processes are irreversible or impossible, despite not violating the conservation of energy.
Entropie minEn probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p1... pn est : La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2-b. L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables.
Income inequality metricsIncome inequality metrics or income distribution metrics are used by social scientists to measure the distribution of income and economic inequality among the participants in a particular economy, such as that of a specific country or of the world in general. While different theories may try to explain how income inequality comes about, income inequality metrics simply provide a system of measurement used to determine the dispersion of incomes. The concept of inequality is distinct from poverty and fairness.
Inégalités de revenuthumb|400px|Inégalité des revenus (2013) au sein des pays, mesuré par le coefficient de Gini : 0 correspond à une égalité parfaite (toutes les personnes ont les mêmes richesses), et 1 à une inégalité totale (où une personne possèderait tout). Les pays en rouge sont plus inégalitaires que les pays en vert. Les inégalités de revenu pointent la disparité existante entre les revenus des individus « riches » et ceux des individus « pauvres ».
Multivariate kernel density estimationKernel density estimation is a nonparametric technique for density estimation i.e., estimation of probability density functions, which is one of the fundamental questions in statistics. It can be viewed as a generalisation of histogram density estimation with improved statistical properties. Apart from histograms, other types of density estimators include parametric, spline, wavelet and Fourier series. Kernel density estimators were first introduced in the scientific literature for univariate data in the 1950s and 1960s and subsequently have been widely adopted.
Density estimationIn statistics, probability density estimation or simply density estimation is the construction of an estimate, based on observed data, of an unobservable underlying probability density function. The unobservable density function is thought of as the density according to which a large population is distributed; the data are usually thought of as a random sample from that population. A variety of approaches to density estimation are used, including Parzen windows and a range of data clustering techniques, including vector quantization.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Interaction informationThe interaction information is a generalization of the mutual information for more than two variables. There are many names for interaction information, including amount of information, information correlation, co-information, and simply mutual information. Interaction information expresses the amount of information (redundancy or synergy) bound up in a set of variables, beyond that which is present in any subset of those variables. Unlike the mutual information, the interaction information can be either positive or negative.
Fonction caractéristique (probabilités)En mathématiques et plus particulièrement en théorie des probabilités et en statistique, la fonction caractéristique d'une variable aléatoire réelle est une quantité qui détermine de façon unique sa loi de probabilité. Si cette variable aléatoire a une densité, alors la fonction caractéristique est la transformée de Fourier inverse de la densité. Les valeurs en zéro des dérivées successives de la fonction caractéristique permettent de calculer les moments de la variable aléatoire.
Conditional mutual informationIn probability theory, particularly information theory, the conditional mutual information is, in its most basic form, the expected value of the mutual information of two random variables given the value of a third. For random variables , , and with support sets , and , we define the conditional mutual information as This may be written in terms of the expectation operator: . Thus is the expected (with respect to ) Kullback–Leibler divergence from the conditional joint distribution to the product of the conditional marginals and .
Equality of outcomeEquality of outcome, equality of condition, or equality of results is a political concept which is central to some political ideologies and is used in some political discourse, often in contrast to the term equality of opportunity. It describes a state in which all people have approximately the same material wealth and income, or in which the general economic conditions of everyone's lives are alike.
Égalité devant la loiL’égalité devant la loi ou égalité en droit est le principe selon lequel tout être humain doit être traité de la même façon par la loi (principe d’isonomie). Aucun individu ou groupe d'individus ne doit donc avoir de privilèges garantis par la loi. Le principe d'égalité devant la loi trouve son origine dans le principe d'isonomie défini par Clisthène au , et qui constituait l'un des fondements de la démocratie athénienne. Grâce à ce principe, Clisthène a mis en œuvre des réformes en 508 et 507 av. J.-C.
International inequalityInternational inequality refers to inequality between countries, as compared to global inequality, which is inequality between people across countries. International inequality research has primarily been concentrated on the rise of international income inequality, but other aspects include educational and health inequality, as well as differences in medical access. Reducing inequality within and among countries is the 10th goal of the UN Sustainable Development Goals and ensuring that no one is left behind is central to achieving them.
Quantum mutual informationIn quantum information theory, quantum mutual information, or von Neumann mutual information, after John von Neumann, is a measure of correlation between subsystems of quantum state. It is the quantum mechanical analog of Shannon mutual information. For simplicity, it will be assumed that all objects in the article are finite-dimensional. The definition of quantum mutual entropy is motivated by the classical case.
Variation of informationIn probability theory and information theory, the variation of information or shared information distance is a measure of the distance between two clusterings (partitions of elements). It is closely related to mutual information; indeed, it is a simple linear expression involving the mutual information. Unlike the mutual information, however, the variation of information is a true metric, in that it obeys the triangle inequality. Suppose we have two partitions and of a set into disjoint subsets, namely and .
Entropy productionEntropy production (or generation) is the amount of entropy which is produced during heat process to evaluate the efficiency of the process. Entropy is produced in irreversible processes. The importance of avoiding irreversible processes (hence reducing the entropy production) was recognized as early as 1824 by Carnot. In 1865 Rudolf Clausius expanded his previous work from 1854 on the concept of "unkompensierte Verwandlungen" (uncompensated transformations), which, in our modern nomenclature, would be called the entropy production.
Deuxième principe de la thermodynamiqueLe deuxième principe de la thermodynamique (également connu sous le nom de deuxième loi de la thermodynamique ou principe de Carnot) établit l'irréversibilité des phénomènes physiques, en particulier lors des échanges thermiques. C'est un principe d'évolution qui fut énoncé pour la première fois par Sadi Carnot en 1824. Il a depuis fait l'objet de nombreuses généralisations et formulations successives par Clapeyron (1834), Clausius (1850), Lord Kelvin, Ludwig Boltzmann en 1873 et Max Planck (voir Histoire de la thermodynamique et de la mécanique statistique), tout au long du et au-delà jusqu'à nos jours.
Thermodynamique hors équilibreLa thermodynamique hors équilibre est le domaine de recherche étudiant les phénomènes de relaxation et de transport au voisinage de l'équilibre thermodynamique. Il s'agit là de phénomènes dissipatifs donc irréversibles, liés à une augmentation de l'entropie. Les méthodes présentées ici relèvent de la thermodynamique proprement dite, qui permet de donner les lois caractérisant un phénomène.
Loi normaleEn théorie des probabilités et en statistique, les lois normales sont parmi les lois de probabilité les plus utilisées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires. Elles sont en lien avec de nombreux objets mathématiques dont le mouvement brownien, le bruit blanc gaussien ou d'autres lois de probabilité. Elles sont également appelées lois gaussiennes, lois de Gauss ou lois de Laplace-Gauss des noms de Laplace (1749-1827) et Gauss (1777-1855), deux mathématiciens, astronomes et physiciens qui l'ont étudiée.
