Séance de cours

Les critères d'information de Takeuchi et Akaike

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours se concentre sur l'estimation de l'optimisme pour les prédicteurs appris via des modèles statistiques utilisant le principe du maximum de vraisemblance. Il couvre la dérivation du critère d'information de Takeuchi, qui conduit au critère d'information d'Akaike comme cas particulier. L'application de l'AIC à la régression linéaire est démontrée, ainsi que la présentation de l'AICc pour les cas avec de grandes p.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (26)

Maximum de vraisemblance

En statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Régression non linéaire

Une régression non linéaire consiste à ajuster un modèle, en général non linéaire, y = ƒa1, ..., am(x) pour un ensemble de valeurs (xi, yi)1 ≤ i ≤ n. Les variables xi et yi peuvent être des scalaires ou des vecteurs. Par « ajuster », il faut comprendre : déterminer les paramètres de la loi, (a1, ..., am), afin de minimiser S = ||ri||, avec : ri = yi - ƒa1, ..., am(xi). ||...|| est une norme. On utilise en général la norme euclidienne, ou norme l2 ; on parle alors de méthode des moindres carrés.

Bayesian linear regression

Bayesian linear regression is a type of conditional modeling in which the mean of one variable is described by a linear combination of other variables, with the goal of obtaining the posterior probability of the regression coefficients (as well as other parameters describing the distribution of the regressand) and ultimately allowing the out-of-sample prediction of the regressand (often labelled ) conditional on observed values of the regressors (usually ).

Critère d'information bayésien

Le critère d'information bayésien (en anglais bayesian information criterion, en abrégé BIC), aussi appelé critère d'information de Schwarz, est un critère d'information dérivé du critère d'information d'Akaike proposé par en 1978. À la différence du critère d'information d'Akaike, la pénalité dépend de la taille de l'échantillon et pas seulement du nombre de paramètres. Il s'écrit : avec la vraisemblance du modèle estimée, le nombre d'observations dans l'échantillon et le nombre de paramètres libres du modèle.

Afficher plus

Séances de cours associées (39)

Régression linéaire et dorsale

Couvre la régression linéaire et de crête, le surajustement, les hyperparamètres et les ensembles d'essai.

Régression linéaire : Inférence statistique et régularisation

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Régularisation : Tikhonov et Ridge

Explore la régularisation de Tikhonov, également connue sous le nom de régression de crête, et son application à la régression polynomiale.

Régression linéaire : perspective d'inférence statistique

Explore la régression linéaire dans une perspective d'inférence statistique, couvrant les modèles probabilistes, la vérité au sol, les étiquettes et les estimateurs de probabilité maximale.

Régression logistique : interprétation et comparaison du modèle

Explorer l'interprétation des modèles de régression logistique, l'estimation des paramètres et la comparaison des modèles à l'aide de tests de rapport de probabilité.

Afficher plus

Concepts associés (26)

Maximum de vraisemblance

Régression linéaire

Régression non linéaire

Bayesian linear regression

Critère d'information bayésien

Afficher plus