Séance de cours

Sélection du modèle : AIC et BIC

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre les concepts de sélection de modèles en utilisant les critères AIC et BIC, en comparant leurs applications et en discutant de lapproche bayésienne à la sélection de modèles. Il explique comment l'AIC et le BIC abordent différentes questions liées à la sélection du meilleur modèle et à l'importance de la parcimonie dans la sélection du modèle. En outre, il introduit le critère dinformation généralisée (GIC) et son lien avec les méthodes de pénalisation pour la sélection des modèles.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (31)

Fonction de vraisemblance

vignette|Exemple d'une fonction de vraisemblance pour le paramètre d'une Loi de Poisson En théorie des probabilités et en statistique, la fonction de vraisemblance (ou plus simplement vraisemblance) est une fonction des paramètres d'un modèle statistique calculée à partir de données observées. Les fonctions de vraisemblance jouent un rôle clé dans l'inférence statistique fréquentiste, en particulier pour les méthodes statistiques d'estimation de paramètres.

Test du rapport de vraisemblance

En statistiques, le test du rapport de vraisemblance est un test statistique qui permet de tester un modèle paramétrique contraint contre un non contraint. Si on appelle le vecteur des paramètres estimés par la méthode du maximum de vraisemblance, on considère un test du type : contre On définit alors l'estimateur du maximum de vraisemblance et l'estimateur du maximum de vraisemblance sous .

Statistique bayésienne

La statistique bayésienne est une approche statistique fondée sur l'inférence bayésienne, où la probabilité exprime un degré de croyance en un événement. Le degré initial de croyance peut être basé sur des connaissances a priori, telles que les résultats d'expériences antérieures, ou sur des croyances personnelles concernant l'événement. La perspective bayésienne diffère d'un certain nombre d'autres interprétations de la probabilité, comme l'interprétation fréquentiste qui considère la probabilité comme la limite de la fréquence relative d'un événement après de nombreux essais.

Critère d'information bayésien

Le critère d'information bayésien (en anglais bayesian information criterion, en abrégé BIC), aussi appelé critère d'information de Schwarz, est un critère d'information dérivé du critère d'information d'Akaike proposé par en 1978. À la différence du critère d'information d'Akaike, la pénalité dépend de la taille de l'échantillon et pas seulement du nombre de paramètres. Il s'écrit : avec la vraisemblance du modèle estimée, le nombre d'observations dans l'échantillon et le nombre de paramètres libres du modèle.

Deviance information criterion

The deviance information criterion (DIC) is a hierarchical modeling generalization of the Akaike information criterion (AIC). It is particularly useful in Bayesian model selection problems where the posterior distributions of the models have been obtained by Markov chain Monte Carlo (MCMC) simulation. DIC is an asymptotic approximation as the sample size becomes large, like AIC. It is only valid when the posterior distribution is approximately multivariate normal.

Afficher plus

Séances de cours associées (64)

Inférence bayésienne : Estimation et démystification

Couvre les concepts de démystification, d'estimation et d'inférence bayésienne dans le contexte des statistiques bayésiennes.

Inférence maximale de vraisemblance

Explore linférence de vraisemblance maximale, comparant les modèles basés sur les ratios de vraisemblance et démontrant avec un exemple de pièce de monnaie.

Modèles linéaires généralisés

Couvre les probabilités, les variables aléatoires, les attentes, les GLM, les tests d'hypothèse et les statistiques bayésiennes avec des exemples pratiques.

Probabilité maximale: Inférence et comparaison du modèle

Explore l'inférence de vraisemblance maximale, la sélection de modèles et la comparaison de modèles à l'aide de ratios de vraisemblance.

Modèles de mélange gaussien et signaux sonores

Explore les modèles de mélange gaussien et dénigre les signaux bruyants à l'aide d'une approche probabiliste.

Afficher plus

Concepts associés (31)

Fonction de vraisemblance

Test du rapport de vraisemblance

Statistique bayésienne

Critère d'information bayésien

Deviance information criterion

Afficher plus