Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Composition de fonctionsLa composition de fonctions (ou composition d’applications) est, en mathématiques, un procédé qui consiste, à partir de deux fonctions, à en construire une nouvelle. Pour cela, on utilise les images de la première fonction comme arguments pour la seconde (à condition que cela ait un sens). On parle alors de fonction composée (ou d'application composée). Soient X, Y et Z trois ensembles quelconques. Soient deux fonctions et . On définit la composée de f par g, notée , par On applique ici f à l'argument x, puis on applique g au résultat.
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Fonction linéaire (analyse)Dans les mathématiques élémentaires, les fonctions linéaires sont parmi les fonctions les plus simples que l'on rencontre. Ce sont des cas particuliers d'applications linéaires. Elles traduisent la proportionnalité. Par exemple, on dira que le prix d'un plein d'essence est fonction linéaire du nombre de litres mis dans le réservoir car : pour zéro litre, on paie zéro euro ; pour un litre, on paie 1,40 euro ; pour 2 litres on paie 2,80 euros ; pour 10 litres on paie 14 euros ; pour 100 litres on paie 140 euros ; et pour N litres, on paie 1,4 × N euros.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Principe d'entropie maximaleLe principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. De toutes ces distributions, c'est en effet celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser.
Entropie différentielleDifferential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average (surprisal) of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP).
Fonction de HeavisideEn mathématiques, la fonction de Heaviside (également fonction échelon unité, fonction marche d'escalier), du nom d’Oliver Heaviside, est la fonction indicatrice de . C'est donc la fonction H (discontinue en 0) prenant la valeur 1 pour tous les réels strictement positifs et la valeur 0 pour les réels strictement négatifs. En 0, sa valeur n'a généralement pas d'importance, même si souvent elle vaut 1/2. C'est une primitive de la distribution de Dirac en théorie des distributions.
Convex polytopeA convex polytope is a special case of a polytope, having the additional property that it is also a convex set contained in the -dimensional Euclidean space . Most texts use the term "polytope" for a bounded convex polytope, and the word "polyhedron" for the more general, possibly unbounded object. Others (including this article) allow polytopes to be unbounded. The terms "bounded/unbounded convex polytope" will be used below whenever the boundedness is critical to the discussed issue.
Absolutely convex setIn mathematics, a subset C of a real or complex vector space is said to be absolutely convex or disked if it is convex and balanced (some people use the term "circled" instead of "balanced"), in which case it is called a disk. The disked hull or the absolute convex hull of a set is the intersection of all disks containing that set. A subset of a real or complex vector space is called a and is said to be , , and if any of the following equivalent conditions is satisfied: is a convex and balanced set.
Polygone convexeEn géométrie, un polygone convexe est un polygone simple dont l'intérieur est un ensemble convexe. Un polygone simple qui n'est pas convexe est dit concave. Pour un polygone simple, les propriétés suivantes sont équivalentes : le polygone est convexe, les angles du polygone sont tous inférieurs à 180 degrés, tout segment joignant deux sommets du polygone est inclus dans la composante fermée bornée délimitée par le polygone. Le polygone est toujours entièrement inclus dans un demi-plan dont la frontière porte un côté quelconque du polygone.
