Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Entropie minEn probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p1... pn est : La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2-b. L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables.
Loi normaleEn théorie des probabilités et en statistique, les lois normales sont parmi les lois de probabilité les plus utilisées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires. Elles sont en lien avec de nombreux objets mathématiques dont le mouvement brownien, le bruit blanc gaussien ou d'autres lois de probabilité. Elles sont également appelées lois gaussiennes, lois de Gauss ou lois de Laplace-Gauss des noms de Laplace (1749-1827) et Gauss (1777-1855), deux mathématiciens, astronomes et physiciens qui l'ont étudiée.
Variance (mathématiques)vignette|Exemple d'échantillons pour deux populations ayant la même moyenne mais des variances différentes. La population en rouge a une moyenne de 100 et une variance de 100 (écart-type = SD = standard deviation = 10). La population en bleu a une moyenne de 100 et une variance de (écart-type = SD = 50). En statistique et en théorie des probabilités, la variance est une mesure de la dispersion des valeurs d'un échantillon ou d'une variable aléatoire.
Loi exponentielleUne loi exponentielle modélise la durée de vie d'un phénomène sans mémoire, ou sans vieillissement, ou sans usure : la probabilité que le phénomène dure au moins s + t heures (ou n'importe quelle autre unité de temps) sachant qu'il a déjà duré t heures sera la même que la probabilité de durer s heures à partir de sa mise en fonction initiale. En d'autres termes, le fait que le phénomène ait duré pendant t heures ne change rien à son espérance de vie à partir du temps t.
Loi de probabilitéthumb|400px 3 répartitions.png En théorie des probabilités et en statistique, une loi de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard. L'étude des phénomènes aléatoires a commencé avec l'étude des jeux de hasard. Jeux de dés, tirage de boules dans des urnes et jeu de pile ou face ont été des motivations pour comprendre et prévoir les expériences aléatoires. Ces premières approches sont des phénomènes discrets, c'est-à-dire dont le nombre de résultats possibles est fini ou infini dénombrable.
Échantillonnage (statistiques)thumb|Exemple d'échantillonnage aléatoire En statistique, l'échantillonnage désigne les méthodes de sélection d'un sous-ensemble d'individus (un échantillon) à l'intérieur d'une population pour estimer les caractéristiques de l'ensemble de la population. Cette méthode présente plusieurs avantages : une étude restreinte sur une partie de la population, un moindre coût, une collecte des données plus rapide que si l'étude avait été réalisé sur l'ensemble de la population, la réalisation de contrôles destructifs Les résultats obtenus constituent un échantillon.
Fonction de répartitionEn théorie des probabilités, la fonction de répartition, ou fonction de distribution cumulative, d'une variable aléatoire réelle X est la fonction F_X qui, à tout réel x, associe la probabilité d’obtenir une valeur inférieure ou égale : Cette fonction est caractéristique de la loi de probabilité de la variable aléatoire.
Loi de PoissonEn théorie des probabilités et en statistiques, la loi de Poisson est une loi de probabilité discrète qui décrit le comportement du nombre d'événements se produisant dans un intervalle de temps fixé, si ces événements se produisent avec une fréquence moyenne ou espérance connue, et indépendamment du temps écoulé depuis l'événement précédent. gauche|vignette|Chewing gums sur un trottoir. Le nombre de chewing gums sur un pavé est approximativement distribué selon une loi de Poisson.
Loi binomialeEn théorie des probabilités et en statistique, la loi binomiale modélise la fréquence du nombre de succès obtenus lors de la répétition de plusieurs expériences aléatoires identiques et indépendantes. Plus mathématiquement, la loi binomiale est une loi de probabilité discrète décrite par deux paramètres : n le nombre d'expériences réalisées, et p la probabilité de succès. Pour chaque expérience appelée épreuve de Bernoulli, on utilise une variable aléatoire qui prend la valeur 1 lors d'un succès et la valeur 0 sinon.
Fonction quantileEn probabilités, la fonction quantile est une fonction qui définit les quantiles. Soit X une variable aléatoire et F sa fonction de répartition, la fonction quantile est définie par pour toute valeur de , la notation désignant l’inverse généralisé à gauche de . Si F est une fonction strictement croissante et continue, alors est l'unique valeur de telle que . correspond alors à la fonction réciproque de , notée . En revanche, pour les lois discrètes, les fonctions de répartition sont toutes en escalier, d'où l'intérêt de la définition précédente.
Théorie de l'estimationEn statistique, la théorie de l'estimation s'intéresse à l'estimation de paramètres à partir de données empiriques mesurées ayant une composante aléatoire. Les paramètres décrivent un phénomène physique sous-jacent tel que sa valeur affecte la distribution des données mesurées. Un estimateur essaie d'approcher les paramètres inconnus à partir des mesures.
Loi de probabilité à plusieurs variablesvignette|Représentation d'une loi normale multivariée. Les courbes rouge et bleue représentent les lois marginales. Les points noirs sont des réalisations de cette distribution à plusieurs variables. Dans certains problèmes interviennent simultanément plusieurs variables aléatoires. Mis à part les cas particuliers de variables indépendantes (notion définie ci-dessous) et de variables liées fonctionnellement, cela introduit la notion de loi de probabilité à plusieurs variables autrement appelée loi jointe.
Fonction de répartition empiriqueEn statistiques, une fonction de répartition empirique est une fonction de répartition qui attribue la probabilité 1/n à chacun des n nombres dans un échantillon. Soit X,...,X un échantillon de variables iid définies sur un espace de probabilité , à valeurs dans , avec pour fonction de répartition F. La fonction de répartition empirique de l'échantillon est définie par : où est la fonction indicatrice de l'événement A. Pour chaque ω, l'application est une fonction en escalier, fonction de répartition de la loi de probabilité uniforme sur l'ensemble .
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Loi de probabilité d'entropie maximaleEn statistique et en théorie de l'information, une loi de probabilité d'entropie maximale a une entropie qui est au moins aussi grande que celle de tous les autres membres d'une classe spécifiée de lois de probabilité. Selon le principe d'entropie maximale, si rien n'est connu sur une loi , sauf qu'elle appartient à une certaine classe (généralement définie en termes de propriétés ou de mesures spécifiées), alors la loi avec la plus grande entropie doit être choisie comme la moins informative par défaut.
Fréquence (statistiques)vignette|Fréquence des traits de kanji En statistique, on appelle fréquence absolue l'effectif des observations d'une classe et fréquence relative ou simplement fréquence, le quotient de cet effectif par celui de la population. L'expression fréquence = valeur n'est jamais ambigüe. Si valeur est un nombre entier positif, il s'agit de la fréquence absolue, c'est-à-dire l'effectif de la classe. Si valeur est un nombre compris entre 0 et 1 ou un pourcentage, il s'agit de la fréquence relative.
Formule de Boltzmannthumb|Sur la tombe de Ludwig Boltzmann En physique statistique, la formule de Boltzmann (1877) définit l'entropie microcanonique d'un système physique à l'équilibre macroscopique, libre d'évoluer à l'échelle microscopique entre micro-états différents. Elle s'écrit : où est la constante de Boltzmann qui est égale à . est appelé le nombre de complexions du système ou nombre de configurations.
Entropie de HartleyLa fonction de Hartley ou entropie de Hartley est une mesure de l'incertitude, introduite par Ralph Hartley en 1928. Si on choisit un échantillon d'un ensemble fini A de façon aléatoire et uniforme, l'information fournie une fois que la sortie est connue est l'entropie de Hartley. Si la base du logarithme est 2, alors l'incertitude se mesure en bits. S'il s'agit du logarithme naturel, alors l'unité est le nat. Hartley quant à lui utilisait le logarithme en base 10, et cette unité d'information est parfois appelée (symbole : hart) en son honneur, ou encore decit.
Conditional probability distributionIn probability theory and statistics, given two jointly distributed random variables and , the conditional probability distribution of given is the probability distribution of when is known to be a particular value; in some cases the conditional probabilities may be expressed as functions containing the unspecified value of as a parameter. When both and are categorical variables, a conditional probability table is typically used to represent the conditional probability.
