Séance de cours

Régression des crêtes : Régularisation des modèles linéaires

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MICRO-455: Machine learning I

Real-world engineering applications must cope with a large dataset of dynamic variables, which cannot be well approximated by classical or deterministic models. This course gives an overview of methods from Machine Learning for the analysis of non-linear, highly noisy and multi dimensional data

Description

Cette séance de cours couvre le concept de régression des crêtes en tant que méthode de régularisation des modèles linéaires en introduisant une pénalité pour les poids importants, réduisant ainsi le nombre de solutions. Il explique la solution de forme fermée pour la régression linéaire, la question de la singularité et l'astuce du noyau pour permettre la régression non linéaire.

Enseignant·e

Aude Billard

Expertise Machine LearningRoboticsMechatronicsDynamical SystemsComputational Neuroscience Enseignement et PhD Doctorant·es actuel·les Hanli Zhang, Maximilian Schmitz, Luyin Hu, Baiyu Peng, Erfan Etesami, Sthithpragya Gupta, Kuanqi Cai A dirigé les thèses EPFL de Eric Sauser, Sylvain Calinon, Micha Hersch, Florent Günter, Biljana Petreska von Ritter-Zahony, Basilio Noris, Elena Gribovskaya, Seyed Mohammad Khansari Zadeh, Seungsu Kim, Ashwini Shukla, Klas Jonas Alfred Kronander, Luka Lukic, Miao Li, Ravin L

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques)

Concepts associés (28)

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Ridge regression

Ridge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.

Modèle linéaire

vignette|Données aléatoires sous forme de points, et leur régression linéaire. Un modèle linéaire multivarié est un modèle statistique dans lequel on cherche à exprimer une variable aléatoire à expliquer en fonction de variables explicatives X sous forme d'un opérateur linéaire. Le modèle linéaire est donné selon la formule : où Y est une matrice d'observations multivariées, X est une matrice de variables explicatives, B est une matrice de paramètres inconnus à estimer et U est une matrice contenant des erreurs ou du bruit.

Régression non linéaire

Une régression non linéaire consiste à ajuster un modèle, en général non linéaire, y = ƒa1, ..., am(x) pour un ensemble de valeurs (xi, yi)1 ≤ i ≤ n. Les variables xi et yi peuvent être des scalaires ou des vecteurs. Par « ajuster », il faut comprendre : déterminer les paramètres de la loi, (a1, ..., am), afin de minimiser S = ||ri||, avec : ri = yi - ƒa1, ..., am(xi). ||...|| est une norme. On utilise en général la norme euclidienne, ou norme l2 ; on parle alors de méthode des moindres carrés.

Modèle linéaire généralisé

En statistiques, le modèle linéaire généralisé (MLG) souvent connu sous les initiales anglaises GLM est une généralisation souple de la régression linéaire. Le GLM généralise la régression linéaire en permettant au modèle linéaire d'être relié à la variable réponse via une fonction lien et en autorisant l'amplitude de la variance de chaque mesure d'être une fonction de sa valeur prévue, en fonction de la loi choisie.

Afficher plus

Séances de cours associées (64)

Régularisation de l'apprentissage automatique

Explore Ridge et Lasso Regression pour la régularisation dans les modèles d'apprentissage automatique, en mettant l'accent sur le réglage hyperparamétrique et la visualisation des coefficients des paramètres.

Validation croisée : Techniques et applications

Explore les techniques de validation croisée, d'ajustement excessif, de régularisation et de régression dans l'apprentissage automatique.

Fondements de l'apprentissage automatique : régularisation et validation croisée

Explore le surajustement, la régularisation et la validation croisée dans l'apprentissage automatique, soulignant l'importance de l'expansion des fonctionnalités et des méthodes du noyau.

Algorithmes ML non linéaires

Introduit des algorithmes ML non linéaires, couvrant le voisin le plus proche, k-NN, ajustement des courbes polynômes, complexité du modèle, surajustement, et régularisation.

Introduction à l'apprentissage automatique : apprentissage supervisé

Introduit l'apprentissage supervisé, couvrant la classification, la régression, l'optimisation des modèles, le surajustement, et les méthodes du noyau.

Afficher plus

Concepts associés (28)

Régression linéaire

Ridge regression

Modèle linéaire

Régression non linéaire

Modèle linéaire généralisé

Afficher plus