Séance de cours

Régression des crêtes : les moindres carrés pénalisés

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-341: Linear models

Regression modelling is a fundamental tool of statistics, because it describes how the law of a random variable of interest may depend on other variables. This course aims to familiarize students with linear models and some of their extensions, which lie a ...

Description

Cette séance de cours couvre Ridge Regression, une méthode pour gérer la multicolinéarité dans les modèles linéaires en ajoutant une «crèche» à la matrice de conception. Il standardise la matrice de conception et remplace ZT Z par ZTZ + AI pour stabiliser l'inversion. La séance de cours traite également du point de vue du rétrécissement de Ridge Regression, du compromis entre biais et variance, et de la méthode LASSO comme un relâchement de la sélection des meilleurs sous-ensembles.

Enseignant·e·s (2)

Victor Panaretos

Enseignement et PhD Doctorant·es actuel·les Ulysse Naepels, Nikitas Georgakis, Ho Yun A dirigé les thèses EPFL de Andrea Kraus, Shahin Tavakoli, Mikael Kuusela, Yoav Zemel, Marie-Hélène Descary, Valentina Masarotto, Tomas Rubin, Tomas Masák, Laya Ghodrati, Kartik Waghmare, Leonardo Santoro A co-dirigé les thèses EPFL de Matthieu Simeoni, Ophelia Miralles, Sonia Alouini, Timmy Rong Tian Tse, Krali Mario Cours Linear models MATH-341 Les modèles de régression sont des outils de base statistiq

Tomas Masák

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques), Validation croisée

Concepts associés (32)

Sélection de caractéristique

La sélection de caractéristique (ou sélection d'attribut ou de variable) est un processus utilisé en apprentissage automatique et en traitement de données. Il consiste, étant donné des données dans un espace de grande dimension, à trouver un sous-sensemble de variables pertinentes. C'est-à-dire que l'on cherche à minimiser la perte d'information venant de la suppression de toutes les autres variables. C'est une méthode de réduction de la dimensionnalité. Extraction de caractéristique Catégorie:Apprentissage

Modèle linéaire

vignette|Données aléatoires sous forme de points, et leur régression linéaire. Un modèle linéaire multivarié est un modèle statistique dans lequel on cherche à exprimer une variable aléatoire à expliquer en fonction de variables explicatives X sous forme d'un opérateur linéaire. Le modèle linéaire est donné selon la formule : où Y est une matrice d'observations multivariées, X est une matrice de variables explicatives, B est une matrice de paramètres inconnus à estimer et U est une matrice contenant des erreurs ou du bruit.

Ridge regression

Ridge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.

Modèle linéaire généralisé

En statistiques, le modèle linéaire généralisé (MLG) souvent connu sous les initiales anglaises GLM est une généralisation souple de la régression linéaire. Le GLM généralise la régression linéaire en permettant au modèle linéaire d'être relié à la variable réponse via une fonction lien et en autorisant l'amplitude de la variance de chaque mesure d'être une fonction de sa valeur prévue, en fonction de la loi choisie.

Elastic net regularization

In statistics and, in particular, in the fitting of linear or logistic regression models, the elastic net is a regularized regression method that linearly combines the L1 and L2 penalties of the lasso and ridge methods. The elastic net method overcomes the limitations of the LASSO (least absolute shrinkage and selection operator) method which uses a penalty function based on Use of this penalty function has several limitations. For example, in the "large p, small n" case (high-dimensional data with few examples), the LASSO selects at most n variables before it saturates.

Afficher plus

Séances de cours associées (64)

Régularisation de l'apprentissage automatique

Explore Ridge et Lasso Regression pour la régularisation dans les modèles d'apprentissage automatique, en mettant l'accent sur le réglage hyperparamétrique et la visualisation des coefficients des paramètres.

Modèles linéaires : Les moindres carrés

Explore les modèles linéaires, les moindres carrés, les vecteurs gaussiens et les méthodes de sélection des modèles.

Estimation, réduction et pénalisation

Couvre l'estimation, le rétrécissement et la pénalisation des statistiques pour la science des données, soulignant l'importance d'équilibrer le biais et la variance dans l'estimation des modèles.

Régression robuste : méthodes et applications

Explore des méthodes robustes et résistantes dans des modèles linéaires, en soulignant l'importance de gérer les observations extrêmes et les implications de la robustesse dans les modèles de régression.

Overfitting dans l'apprentissage supervisé: études de cas et techniques

Aborde l'ajustement excessif dans l'apprentissage supervisé par le biais d'études de cas de régression polynomiale et de techniques de sélection de modèles.

Afficher plus

Concepts associés (32)

Sélection de caractéristique

Modèle linéaire

Ridge regression

Modèle linéaire généralisé

Elastic net regularization

Afficher plus