Information gain (decision tree)In information theory and machine learning, information gain is a synonym for Kullback–Leibler divergence; the amount of information gained about a random variable or signal from observing another random variable. However, in the context of decision trees, the term is sometimes used synonymously with mutual information, which is the conditional expected value of the Kullback–Leibler divergence of the univariate probability distribution of one variable from the conditional distribution of this variable given the other one.
Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Arbre de décision (apprentissage)L’apprentissage par arbre de décision désigne une méthode basée sur l'utilisation d'un arbre de décision comme modèle prédictif. On l'utilise notamment en fouille de données et en apprentissage automatique. Dans ces structures d'arbre, les feuilles représentent les valeurs de la variable-cible et les embranchements correspondent à des combinaisons de variables d'entrée qui mènent à ces valeurs. En analyse de décision, un arbre de décision peut être utilisé pour représenter de manière explicite les décisions réalisées et les processus qui les amènent.
Arbre de décisionvignette| Arbre de décision Un arbre de décision est un outil d'aide à la décision représentant un ensemble de choix sous la forme graphique d'un arbre. Les différentes décisions possibles sont situées aux extrémités des branches (les « feuilles » de l'arbre), et sont atteintes en fonction de décisions prises à chaque étape. L'arbre de décision est un outil utilisé dans des domaines variés tels que la sécurité, la fouille de données, la médecine, etc. Il a l'avantage d'être lisible et rapide à exécuter.
SporophoreLe sporophore (littéralement « porte-spores »), appelé aussi sporocarpe (« fruit à spores »), appareil sporophytique, appareil fructifère ou corps fructifère, autrefois carpophore (littéralement « porte-fruit »), est l'appareil reproducteur des champignons dits supérieurs. C'est, dans le langage populaire et littéraire, l'organe de la « fructification » du champignon (sensu lato) et pas seulement du mycélium des champignons. Il contient les sporocystes (basides et asques) qui se différencient dans l'hyménium et qui produisent par reproduction sexuée des méiospores, sous diverses formes.
Intoxication par les champignonsLes intoxications fongiques sont les intoxications causées par l'ingestion, l'inhalation de spores, ou rarement la simple manipulation, accidentelle ou volontaire, de champignons dits « supérieurs » (charnus, visibles à l'œil nu), qu'il s'agisse d'espèces sauvages ou cultivées . La science qui étudie la toxicité des champignons est la mycotoxicologie. On appelle plus précisément mycétisme, les intoxications alimentaires dues à des champignons supérieurs qui synthétisent et stockent des molécules (endotoxines) toxiques par ingestion pour l'homme et d'autres animaux (zootoxines).
Cueillette de champignonsvignette|Scène de cueillette, illustration du poème Pan Tadeusz par (vers 1860). vignette|Les critères morphologiques externes font partie de ceux qui sont utilisés pour classer et reconnaître les champignons. La cueillette de champignons, appelée aussi chasse aux champignons ou récolte de champignons, désigne la collecte de champignons « supérieurs » dans la nature, généralement en forêt. Il s'agit principalement de champignons comestibles à usage domestique ou dans un but commercial, plus rarement de champignons hallucinogènes ou médicinaux.
Champignon à psilocybinevignette| Psilocybe semilanceata Les champignons à psilocybine, communément appelés champignons magiques, sont un groupe polyphylétique informel regroupant les champignons qui contiennent de la psilocybine, un composé qui se transforme en psilocine après ingestion. Parmi les genres biologiques avec espèces à psilocybine, on trouve notamment Psilocybe, Panaeolus, Inocybe, Pluteus, Gymnopilus et Pholiotina. Des champignons à psilocybine ont été et continuent d'être utilisés dans les cultures indigènes du Nouveau Monde dans des contextes religieux, divinatoires ou spirituels.
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Entropie (thermodynamique)L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().
Test statistiqueEn statistiques, un test, ou test d'hypothèse, est une procédure de décision entre deux hypothèses. Il s'agit d'une démarche consistant à rejeter ou à ne pas rejeter une hypothèse statistique, appelée hypothèse nulle, en fonction d'un échantillon de données. Il s'agit de statistique inférentielle : à partir de calculs réalisés sur des données observées, on émet des conclusions sur la population, en leur rattachant des risques d'être erronées. Hypothèse nulle L'hypothèse nulle notée H est celle que l'on considère vraie a priori.
Statistique de testEn statistique, une statistique de test - aussi appelée variable de décision - est une variable aléatoire construite à partir d'un échantillon statistique permettant de formuler une règle de décision pour un test statistique. Cette statistique n'est pas unique, ce qui permet de construire différentes règles de décision et de les comparer à l'aide de la notion de puissance statistique. Il est impératif de connaitre sa loi de probabilité lorsque l'hypothèse nulle est vraie. Sa loi sous l'hypothèse alternative est souvent inconnue.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Signification statistiquevignette|statistique En statistiques, le résultat d'études qui portent sur des échantillons de population est dit statistiquement significatif lorsqu'il semble exprimer de façon fiable un fait auquel on s'intéresse, par exemple la différence entre 2 groupes ou une corrélation entre 2 données. Dit autrement, il est alors très peu probable que ce résultat apparent soit en fait trompeur s'il n'est pas dû, par exemple, à un , trop petit ou autrement non représentatif (surtout si la population est très diverse).
Interrogation (linguistique)En linguistique, l'interrogation est un acte de langage par laquelle l'émetteur d'un énoncé adresse au destinataire (réel ou fictif) de celui-ci une demande d'information portant sur son contenu. Une phrase interrogative est couramment appelée « question ». L'interrogation totale concerne la phrase entière et appelle une réponse totale, comme « oui », « non », « sûrement »... Une telle question totale porte en fait très souvent sur un élément partiel, mis en relief par divers moyens ou non : ex.
Test FEn statistique, un test F est un terme générique désignant tout test statistique dans lequel la statistique de test suit la loi de Fisher sous l'hypothèse nulle. Ce type de tests est souvent utilisé lors de la comparaison de modèles statistiques qui ont été ajustés sur un ensemble de données, afin d'identifier le modèle qui correspond le mieux à la population à partir de laquelle les données ont été échantillonnées. Les tests F dits "exacts" sont ceux pour lesquels les modèles ont été ajustés aux données par la méthode des moindres carrés.
Test du rapport de vraisemblanceEn statistiques, le test du rapport de vraisemblance est un test statistique qui permet de tester un modèle paramétrique contraint contre un non contraint. Si on appelle le vecteur des paramètres estimés par la méthode du maximum de vraisemblance, on considère un test du type : contre On définit alors l'estimateur du maximum de vraisemblance et l'estimateur du maximum de vraisemblance sous .
