Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Échange entre les deux parties dans le cadre de l'estimation de la crête

Description

Cette séance de cours couvre l'échange de biais-variance dans l'estimation des crêtes, en comparant l'estimateur des moindres carrés avec l'estimateur des crêtes. L'instructeur explique comment un peu de biais peut améliorer l'erreur carrée moyenne en réduisant la variance, soulignant l'importance de choisir la bonne plage pour le paramètre de biais. Au moyen de calculs et d'exemples détaillés, la séance de cours montre comment l'estimateur de crête peut surpasser l'estimateur des moindres carrés en équilibrant efficacement le biais et la variance.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques), Validation croisée

Concepts associés (32)

Méthode des moindres carrés

La méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.

Erreur quadratique moyenne

En statistiques, l’erreur quadratique moyenne d’un estimateur d’un paramètre de dimension 1 (mean squared error (), en anglais) est une mesure caractérisant la « précision » de cet estimateur. Elle est plus souvent appelée « erreur quadratique » (« moyenne » étant sous-entendu) ; elle est parfois appelée aussi « risque quadratique ».

Dilemme biais-variance

En statistique et en apprentissage automatique, le dilemme (ou compromis) biais–variance est le problème de minimiser simultanément deux sources d'erreurs qui empêchent les algorithmes d'apprentissage supervisé de généraliser au-delà de leur échantillon d'apprentissage : Le biais est l'erreur provenant d’hypothèses erronées dans l'algorithme d'apprentissage. Un biais élevé peut être lié à un algorithme qui manque de relations pertinentes entre les données en entrée et les sorties prévues (sous-apprentissage).

Ridge regression

Ridge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.

Linear least squares

Linear least squares (LLS) is the least squares approximation of linear functions to data. It is a set of formulations for solving statistical problems involved in linear regression, including variants for ordinary (unweighted), weighted, and generalized (correlated) residuals. Numerical methods for linear least squares include inverting the matrix of the normal equations and orthogonal decomposition methods. The three main linear least squares formulations are: Ordinary least squares (OLS) is the most common estimator.

Afficher plus

Séances de cours associées (51)

Régression des crêtes : les moindres carrés pénalisés

Explore Ridge Regression pour la gestion de la multicolinéarité et la méthode LASSO pour la sélection des modèles.

Régression linéaire : Inférence statistique et régularisation

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Modèles probabilistes pour la régression linéaire

Couvre le modèle probabiliste de régression linéaire et ses applications dans la résonance magnétique nucléaire et l'imagerie par rayons X.

Régularisation de l'apprentissage automatique

Explore Ridge et Lasso Regression pour la régularisation dans les modèles d'apprentissage automatique, en mettant l'accent sur le réglage hyperparamétrique et la visualisation des coefficients des paramètres.

Flexibilité des modèles et de l'échange de devises

S'insère dans le compromis entre la flexibilité du modèle et la variation des biais dans la décomposition des erreurs, la régression polynomiale, le KNN, et la malédiction de la dimensionnalité.

Afficher plus

Concepts associés (32)

Méthode des moindres carrés

Erreur quadratique moyenne

Dilemme biais-variance

Ridge regression

Linear least squares

Afficher plus