Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Géométrie du Lasso

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours explique l’intuition géométrique derrière la rareté des solutions Lasso, en se concentrant sur un exemple 2D où la contrainte de norme L1 crée des contours ellipsoïdaux, conduisant à une solution avec un visage de faible dimension. L'instructeur discute également du comportement des coefficients lorsque le paramètre de régularisation change dans la régression de Lasso.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (32)

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Lasso (statistiques)

En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.

4-polytope

En géométrie, un 4-polytope (fréquemment appelé également un polychore) est un polytope de l'espace à quatre dimensions. C'est une figure connexe, composée d'un nombre fini de polytopes de dimension inférieure : des sommets, des arêtes, des faces (qui sont des polygones), et des cellules (qui sont des polyèdres), chaque face appartenant à exactement deux cellules. Le 4-polytope le plus connu est le tesseract (ou hypercube), analogue en 4D du cube. La définition des 4-polytopes varie beaucoup selon les auteurs.

Regularized least squares

Regularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.

Régularisation (mathématiques)

vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.

Afficher plus

Séances de cours associées (39)

Régression linéaire : Inférence statistique et régularisation

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Comparaison des algorithmes L1 et L0 + Greedy

Compare L1 et L0 pénalisation en régression linéaire avec des conceptions orthogonales en utilisant des algorithmes gourmands et des comparaisons empiriques.

Modèles probabilistes pour la régression linéaire

Couvre le modèle probabiliste de régression linéaire et ses applications dans la résonance magnétique nucléaire et l'imagerie par rayons X.

Régularisation de l'apprentissage automatique

Explore Ridge et Lasso Regression pour la régularisation dans les modèles d'apprentissage automatique, en mettant l'accent sur le réglage hyperparamétrique et la visualisation des coefficients des paramètres.

Régression linéaire probabiliste

Examine la régression probabiliste linéaire, couvrant les probabilités articulaires et conditionnelles, la régression des crêtes et l'atténuation excessive.

Afficher plus

Concepts associés (32)

Régression linéaire

Lasso (statistiques)

4-polytope

Regularized least squares

Régularisation (mathématiques)

Afficher plus