Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Sélection du modèle : AIC et BIC

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre les concepts de sélection de modèles en utilisant les critères AIC et BIC, en comparant leurs applications et en discutant de lapproche bayésienne à la sélection de modèles. Il explique comment l'AIC et le BIC abordent différentes questions liées à la sélection du meilleur modèle et à l'importance de la parcimonie dans la sélection du modèle. En outre, il introduit le critère dinformation généralisée (GIC) et son lien avec les méthodes de pénalisation pour la sélection des modèles.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (32)

Maximum de vraisemblance

En statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.

Model selection

Model selection is the task of selecting a model from among various candidates on the basis of performance criterion to choose the best one. In the context of learning, this may be the selection of a statistical model from a set of candidate models, given data. In the simplest cases, a pre-existing set of data is considered. However, the task can also involve the design of experiments such that the data collected is well-suited to the problem of model selection.

Fonction de vraisemblance

vignette|Exemple d'une fonction de vraisemblance pour le paramètre d'une Loi de Poisson En théorie des probabilités et en statistique, la fonction de vraisemblance (ou plus simplement vraisemblance) est une fonction des paramètres d'un modèle statistique calculée à partir de données observées. Les fonctions de vraisemblance jouent un rôle clé dans l'inférence statistique fréquentiste, en particulier pour les méthodes statistiques d'estimation de paramètres.

Sélection de caractéristique

La sélection de caractéristique (ou sélection d'attribut ou de variable) est un processus utilisé en apprentissage automatique et en traitement de données. Il consiste, étant donné des données dans un espace de grande dimension, à trouver un sous-sensemble de variables pertinentes. C'est-à-dire que l'on cherche à minimiser la perte d'information venant de la suppression de toutes les autres variables. C'est une méthode de réduction de la dimensionnalité. Extraction de caractéristique Catégorie:Apprentissage

Bayes estimator

In estimation theory and decision theory, a Bayes estimator or a Bayes action is an estimator or decision rule that minimizes the posterior expected value of a loss function (i.e., the posterior expected loss). Equivalently, it maximizes the posterior expectation of a utility function. An alternative way of formulating an estimator within Bayesian statistics is maximum a posteriori estimation. Suppose an unknown parameter is known to have a prior distribution .

Afficher plus

Séances de cours associées (51)

Inférence maximale de vraisemblance

Explore linférence de vraisemblance maximale, comparant les modèles basés sur les ratios de vraisemblance et démontrant avec un exemple de pièce de monnaie.

Probabilité maximale: Inférence et comparaison du modèle

Explore l'inférence de vraisemblance maximale, la sélection de modèles et la comparaison de modèles à l'aide de ratios de vraisemblance.

Critères de sélection du modèle : AIC, BIC, Cp

Explore les critères de sélection des modèles comme l'AIC, le BIC et le Cp en statistique pour la science des données.

Probabilité et statistiques

Introduit la probabilité, les statistiques, les distributions, l'inférence, la probabilité et la combinatoire pour étudier les événements aléatoires et la modélisation en réseau.

Inférence bayésienne : Avant gaussien pour la moyenne

Discute de l'inférence bayésienne pour la moyenne d'une distribution gaussienne avec variance connue, couvrant la moyenne postérieure, la variance et l'estimateur MAP.

Afficher plus

Concepts associés (32)

Maximum de vraisemblance

Model selection

Fonction de vraisemblance

Sélection de caractéristique

Bayes estimator

Afficher plus