Distance statistiquevignette|Représentation de la distance en variation totale (en gris) entre deux fonctions de densité En mathématiques, et plus précisément en théorie des probabilités et en statistique, la notion de distance statistique sert à mesurer l'écart entre deux lois de probabilité. Les distances statistiques sont notamment utilisées en théorie de l'information, en statistique, en apprentissage automatique, et en cryptologie. Lorsqu'aucune précision n'est donnée, la « distance statistique » entre deux lois fait généralement référence à la distance en variation totale.
Distance en variation totale (probabilités)En mathématiques et plus particulièrement en théorie des probabilités et en statistique, la distance en variation totale (ou distance de variation totale ou encore distance de la variation totale) désigne une distance statistique définie sur l'ensemble des mesures de probabilité d'un espace probabilisable. Soit deux mesures de probabilité sur un espace probabilisable . La distance en variation totale entre et est la quantité Il arrive que le facteur 2 n'apparaisse pas chez certains auteurs.
F-divergenceIn probability theory, an -divergence is a function that measures the difference between two probability distributions and . Many common divergences, such as KL-divergence, Hellinger distance, and total variation distance, are special cases of -divergence. These divergences were introduced by Alfréd Rényi in the same paper where he introduced the well-known Rényi entropy. He proved that these divergences decrease in Markov processes.
Norme (mathématiques)En géométrie, la norme est une extension de la valeur absolue des nombres aux vecteurs. Elle permet de mesurer la longueur commune à toutes les représentations d'un vecteur dans un espace affine, mais définit aussi une distance entre deux vecteurs invariante par translation et compatible avec la multiplication externe. La norme usuelle dans le plan ou l'espace est dite euclidienne car elle est associée à un produit scalaire, à la base de la géométrie euclidienne.
T-normIn mathematics, a t-norm (also T-norm or, unabbreviated, triangular norm) is a kind of binary operation used in the framework of probabilistic metric spaces and in multi-valued logic, specifically in fuzzy logic. A t-norm generalizes intersection in a lattice and conjunction in logic. The name triangular norm refers to the fact that in the framework of probabilistic metric spaces t-norms are used to generalize the triangle inequality of ordinary metric spaces.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Produit scalaireEn mathématiques, et plus précisément en algèbre et en géométrie vectorielle, le produit scalaire est une opération algébrique s'ajoutant aux lois s'appliquant aux vecteurs. C'est une forme bilinéaire, symétrique, définie positive. À deux vecteurs, elle associe un scalaire, c'est-à-dire un nombre tel que ceux qui définissent cet espace vectoriel — réel pour un espace vectoriel réel. Si et sont deux vecteurs d'un espace vectoriel E sur le corps R des nombres réels, alors le produit scalaire de u par v est un scalaire (c'est-à-dire un élément de R), noté ∙ , , , ou .
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Mesure des distances en cosmologieEn cosmologie physique, la mesure des distances cosmologiques consiste à fournir la valeur d'une - ou un équivalent - entre deux objets ou évènements de l'Univers. On utilise souvent les mesures pour lier des quantités observables telles que la luminosité d'un quasar éloigné, le décalage vers le rouge d'une galaxie ou encore la dimension angulaire des pics acoustiques du spectre du fond diffus cosmologique, à une autre quantité qui n'est pas directement observable, mais est plus facile à calculer telles que les coordonnées comobiles des quasars, des galaxies, etc.
Distance (mathématiques)En mathématiques, une distance est une application qui formalise l'idée intuitive de distance, c'est-à-dire la longueur qui sépare deux points. C'est par l'analyse des principales propriétés de la distance usuelle que Fréchet introduit la notion d'espace métrique, développée ensuite par Hausdorff. Elle introduit un langage géométrique dans de nombreuses questions d'analyse et de théorie des nombres.
Norme matricielleEn mathématiques, une norme matricielle est un cas particulier de norme vectorielle, sur un espace de matrices. Dans ce qui suit, K désigne le corps des réels ou des complexes. Certains auteurs définissent une norme matricielle comme étant simplement une norme sur un espace vectoriel M(K) de matrices à m lignes et n colonnes à coefficients dans K. Pour d'autres, une norme matricielle est seulement définie sur une algèbre M(K) de matrices carrées et est une norme d'algèbre, c'est-à-dire qu'elle est de plus sous-multiplicative.
Espace LpEn mathématiques, un espace L est un espace vectoriel de classes des fonctions dont la puissance d'exposant p est intégrable au sens de Lebesgue, où p est un nombre réel strictement positif. Le passage à la limite de l'exposant aboutit à la construction des espaces L de fonctions bornées. Les espaces L sont appelés espaces de Lebesgue. Identifiant les fonctions qui ne diffèrent que sur un ensemble négligeable, chaque espace L est un espace de Banach lorsque l'exposant est supérieur ou égal à 1.
Euclidean distanceIn mathematics, the Euclidean distance between two points in Euclidean space is the length of a line segment between the two points. It can be calculated from the Cartesian coordinates of the points using the Pythagorean theorem, therefore occasionally being called the Pythagorean distance. These names come from the ancient Greek mathematicians Euclid and Pythagoras, although Euclid did not represent distances as numbers, and the connection from the Pythagorean theorem to distance calculation was not made until the 18th century.
Sine and cosineIn mathematics, sine and cosine are trigonometric functions of an angle. The sine and cosine of an acute angle are defined in the context of a right triangle: for the specified angle, its sine is the ratio of the length of the side that is opposite that angle to the length of the longest side of the triangle (the hypotenuse), and the cosine is the ratio of the length of the adjacent leg to that of the hypotenuse. For an angle , the sine and cosine functions are denoted simply as and .
Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Uniform normIn mathematical analysis, the uniform norm (or ) assigns to real- or complex-valued bounded functions f defined on a set S the non-negative number This norm is also called the , the , the , or, when the supremum is in fact the maximum, the . The name "uniform norm" derives from the fact that a sequence of functions \left{f_n\right} converges to f under the metric derived from the uniform norm if and only if f_n converges to f uniformly.
Produit vectorielEn mathématiques, et plus précisément en géométrie, le produit vectoriel est une opération vectorielle effectuée dans les espaces euclidiens orientés de dimension 3. Le formalisme utilisé actuellement est apparu en 1881 dans un manuel d'analyse vectorielle écrit par Josiah Willard Gibbs pour ses étudiants en physique. Les travaux de Hermann Günther Grassmann et William Rowan Hamilton sont à l'origine du produit vectoriel défini par Gibbs.
Entropy and lifeResearch concerning the relationship between the thermodynamic quantity entropy and both the origin and evolution of life began around the turn of the 20th century. In 1910, American historian Henry Adams printed and distributed to university libraries and history professors the small volume A Letter to American Teachers of History proposing a theory of history based on the second law of thermodynamics and on the principle of entropy. The 1944 book What is Life? by Nobel-laureate physicist Erwin Schrödinger stimulated further research in the field.
Mesure de similaritéEn mathématiques et en informatique théorique, une mesure de similarité, plus exactement une mesure de distance entre mots, est une façon de représenter par un nombre la différence entre deux mots, ou plus généralement deux chaînes de caractères. Cela permet de comparer des mots ou chaines de façon simple et pratique. C'est donc une forme de distance mathématique et de métrique pour les chaînes de caractères.
