Validation croiséeLa validation croisée () est, en apprentissage automatique, une méthode d’estimation de fiabilité d’un modèle fondée sur une technique d’échantillonnage. Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut apprendre (ou « entraîner ») le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde le mieux possible aux données d'apprentissage.
Jeux d'entrainement, de validation et de testEn apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes qui peuvent apprendre et faire des prédictions sur les données. De tels algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs jeux de données .
Statistical model validationIn statistics, model validation is the task of evaluating whether a chosen statistical model is appropriate or not. Oftentimes in statistical inference, inferences from models that appear to fit their data may be flukes, resulting in a misunderstanding by researchers of the actual relevance of their model. To combat this, model validation is used to test whether a statistical model can hold up to permutations in the data.
Hyperparameter optimizationIn machine learning, hyperparameter optimization or tuning is the problem of choosing a set of optimal hyperparameters for a learning algorithm. A hyperparameter is a parameter whose value is used to control the learning process. By contrast, the values of other parameters (typically node weights) are learned. The same kind of machine learning model can require different constraints, weights or learning rates to generalize different data patterns.
Surapprentissagevignette|300x300px|La ligne verte représente un modèle surappris et la ligne noire représente un modèle régulier. La ligne verte classifie trop parfaitement les données d'entrainement, elle généralise mal et donnera de mauvaises prévisions futures avec de nouvelles données. Le modèle vert est donc finalement moins bon que le noir. En statistique, le surapprentissage, ou sur-ajustement, ou encore surinterprétation (en anglais « overfitting »), est une analyse statistique qui correspond trop précisément à une collection particulière d'un ensemble de données.
Regression validationIn statistics, regression validation is the process of deciding whether the numerical results quantifying hypothesized relationships between variables, obtained from regression analysis, are acceptable as descriptions of the data. The validation process can involve analyzing the goodness of fit of the regression, analyzing whether the regression residuals are random, and checking whether the model's predictive performance deteriorates substantially when applied to data that were not used in model estimation.
Generalization errorFor supervised learning applications in machine learning and statistical learning theory, generalization error (also known as the out-of-sample error or the risk) is a measure of how accurately an algorithm is able to predict outcome values for previously unseen data. Because learning algorithms are evaluated on finite samples, the evaluation of a learning algorithm may be sensitive to sampling error. As a result, measurements of prediction error on the current data may not provide much information about predictive ability on new data.
Théorie de l'apprentissage statistiqueLa théorie de l'apprentissage statistique est un système d'apprentissage automatique à partir des domaines de la statistique et de l'analyse fonctionnelle. La théorie de l'apprentissage statistique traite du problème de la recherche d'une fonction prédictive basée sur des données. La théorie de l'apprentissage statistique a conduit à des applications dans des domaines tels que la vision par ordinateur, la reconnaissance de la parole, la bioinformatique. Les objectifs de l'apprentissage sont la prédiction et la compréhension.
Loi logistiqueEn probabilité et en statistiques, la loi logistique est une loi de probabilité absolument continue à support infini utilisé en régression logistique et pour les réseaux de neurones à propagation avant. Son nom de loi logistique est issu du fait que sa fonction de répartition est une fonction logistique. La loi logistique a deux paramètres μ et s > 0 et sa densité est Sa fonction de répartition est Son espérance et sa variance sont données par les formules suivantes : La loi logistique standard est la loi logistique de paramètres 0 et 1.
Ajustement de loi de probabilitéLajustement de la loi de probabilité ou simplement lajustement de la loi est l'ajustement d'une loi de probabilité à une série de données concernant la mesure répétée d'un phénomène aléatoire. L'ajustement de la loi a pour but de prédire la probabilité ou de prévoir la fréquence d'occurrence de l'ampleur du phénomène dans un certain intervalle. Il existe de nombreuses lois de probabilité, dont certaines peuvent être ajustées plus étroitement à la fréquence observée des données que d'autres, selon les caractéristiques du phénomène et de la loi.
Loi d'extremum généraliséeEn probabilité et statistique, la loi d'extrémum généralisée est une famille de lois de probabilité continues qui servent à représenter des phénomènes de valeurs extrêmes (minimum ou maximum). Elle comprend la loi de Gumbel, la loi de Fréchet et la loi de Weibull, respectivement lois d'extrémum de type I, II et III. Le théorème de Fisher-Tippett-Gnedenko établit que la loi d'extremum généralisée est la distribution limite du maximum (adéquatement normalisé) d'une série de variables aléatoires indépendantes de même distribution (iid).
Loi de GumbelEn théorie des probabilités, la loi de Gumbel (ou distribution de Gumbel), du nom d'Émil Julius Gumbel, est une loi de probabilité continue. La loi de Gumbel est un cas particulier de la loi d'extremum généralisée au même titre que la loi de Weibull ou la loi de Fréchet. La loi de Gumbel est une approximation satisfaisante de la loi du maximum d'un échantillon de variables aléatoires indépendantes toutes de même loi, dès que cette loi appartient, précisément, au domaine d'attraction de la loi de Gumbel.
HyperparameterIn Bayesian statistics, a hyperparameter is a parameter of a prior distribution; the term is used to distinguish them from parameters of the model for the underlying system under analysis. For example, if one is using a beta distribution to model the distribution of the parameter p of a Bernoulli distribution, then: p is a parameter of the underlying system (Bernoulli distribution), and α and β are parameters of the prior distribution (beta distribution), hence hyperparameters.
Loi normaleEn théorie des probabilités et en statistique, les lois normales sont parmi les lois de probabilité les plus utilisées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires. Elles sont en lien avec de nombreux objets mathématiques dont le mouvement brownien, le bruit blanc gaussien ou d'autres lois de probabilité. Elles sont également appelées lois gaussiennes, lois de Gauss ou lois de Laplace-Gauss des noms de Laplace (1749-1827) et Gauss (1777-1855), deux mathématiciens, astronomes et physiciens qui l'ont étudiée.
Test ZEn statistique, un test Z est un terme générique désignant tout test statistique dans lequel la statistique de test suit une loi normale sous l'hypothèse nulle. On considère un n-échantillon avec et un risque . Si l'on teste La statistique de test sous l'hypothèse nulle est : qui suit une loi normale Si , la réalisation de la statistique de test, est supérieur au quantile d'ordre de la loi alors on rejette l'hypothèse nulle. Si l'on teste Si est supérieur au quantile d'ordre de la loi alors on rejette l'hypothèse nulle.
Loi de StudentEn théorie des probabilités et en statistique, la loi de Student est une loi de probabilité, faisant intervenir le quotient entre une variable suivant une loi normale centrée réduite et la racine carrée d'une variable distribuée suivant la loi du χ. Elle est notamment utilisée pour les tests de Student, la construction d'intervalle de confiance et en inférence bayésienne. Soit Z une variable aléatoire de loi normale centrée et réduite et soit U une variable indépendante de Z et distribuée suivant la loi du χ à k degrés de liberté.
Test du χ² de PearsonEn statistique, le test du χ2 de Pearson ou test du χ2 d'indépendance est un test statistique qui s'applique sur des données catégorielles pour évaluer la probabilité de retrouver la différence de répartition observée entre les catégories si celles-ci étaient indépendantes dans le processus de répartition sous-jacent. Il convient aux données non-appariées prises sur de grands échantillons (n>30). Il est le test du χ2 le plus communément utilisé (comparativement aux autres tests du χ2 tels que le test du χ2 de Yates, le test du rapport de vraisemblance ou le test du porte-manteau.
Conjugate priorIn Bayesian probability theory, if the posterior distribution is in the same probability distribution family as the prior probability distribution , the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function . A conjugate prior is an algebraic convenience, giving a closed-form expression for the posterior; otherwise, numerical integration may be necessary. Further, conjugate priors may give intuition by more transparently showing how a likelihood function updates a prior distribution.
Paired difference testIn statistics, a paired difference test is a type of location test that is used when comparing two sets of paired measurements to assess whether their population means differ. A paired difference test uses additional information about the sample that is not present in an ordinary unpaired testing situation, either to increase the statistical power, or to reduce the effects of confounders.
