Séance de cours

Régularisation de l'apprentissage automatique

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les concepts de la Régression Ridge et de la Régression Lasso, en mettant l'accent sur les techniques de régularisation afin d'éviter un surajustement dans les modèles d'apprentissage automatique. Il explique comment la régularisation influe sur la flexibilité du modèle et les valeurs des paramètres. Les exemples démontrent l'application de la régularisation dans le code Julia, soulignant l'importance d'ajuster les hyperparamètres et d'interpréter les résultats. De plus, il discute de l'utilisation des chemins Lasso pour visualiser l'effet des différentes valeurs de régularisation sur les coefficients de paramètre. La séance de cours se termine par des exercices pratiques sur la mise en œuvre et la compréhension de la régularisation dans les modèles d'apprentissage automatique.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques), Validation croisée

Concepts associés (32)

Regularized least squares

Regularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Lasso (statistiques)

En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.

Ridge regression

Ridge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.

Méthode des moindres carrés

La méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.

Afficher plus

Séances de cours associées (60)

Lecture 06 (2024)

Overfitting dans l'apprentissage supervisé: études de cas et techniques

Aborde l'ajustement excessif dans l'apprentissage supervisé par le biais d'études de cas de régression polynomiale et de techniques de sélection de modèles.

Machine Learning non linéaire : les voisins les plus proches et l’expansion des fonctionnalités

Couvre la transition des modèles linéaires aux modèles non linéaires, en se concentrant sur k-NN et les techniques d'expansion des caractéristiques.

Régression linéaire : Inférence statistique et régularisation

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Sélection et évaluation du modèle : Dilemma à variation de biais, estimation des crêtes

Explore le sur-apprentissage, la généralisation et le sous-apprentissage dans les modèles d'apprentissage automatique.

Afficher plus

Concepts associés (32)

Regularized least squares

Régression linéaire

Lasso (statistiques)

Ridge regression

Méthode des moindres carrés

Afficher plus