Séance de cours

Décomposition de valeur singulière : Ridge et LASSO

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-411: Fundamentals of inference and learning

This is an introductory course in the theory of statistics, inference, and machine learning, with an emphasis on theoretical understanding & practical exercises. The course will combine, and alternate, between mathematical theoretical foundations and prac ...

Description

Cette séance de cours couvre le concept de Singular Value Decomposition (SVD) et son application dans les matrices en décomposition, avec des remarques sur les techniques de régression Ridge et LASSO, discutant de l'importance des valeurs de rang, de portée et singulières dans la résolution des problèmes de régression.

Enseignant·e

Florent Gérard Krzakala

Source officielle

Proximité ontologique

Mathématiques

Algèbre: Algèbre linéaire

Concepts associés (23)

Décomposition en valeurs singulières

En mathématiques, le procédé d'algèbre linéaire de décomposition en valeurs singulières (ou SVD, de l'anglais singular value decomposition) d'une matrice est un outil important de factorisation des matrices rectangulaires réelles ou complexes. Ses applications s'étendent du traitement du signal aux statistiques, en passant par la météorologie. Le théorème spectral énonce qu'une matrice normale peut être diagonalisée par une base orthonormée de vecteurs propres.

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Matrix decomposition

In the mathematical discipline of linear algebra, a matrix decomposition or matrix factorization is a factorization of a matrix into a product of matrices. There are many different matrix decompositions; each finds use among a particular class of problems. In numerical analysis, different decompositions are used to implement efficient matrix algorithms. For instance, when solving a system of linear equations , the matrix A can be decomposed via the LU decomposition.

Décomposition polaire

La décomposition polaire est un outil mathématique fondamental pour comprendre les propriétés topologiques des groupes linéaires réels et complexes. Les applications suivantes sont des homéomorphismes, et même des difféomorphismes. En particulier, toute matrice inversible réelle se décompose de façon unique en produit d'une matrice orthogonale et d'une matrice symétrique définie positive. Les applications suivantes sont surjectives mais non injectives : En particulier, toute matrice réelle se décompose en produit d'une matrice orthogonale et d'une unique matrice symétrique positive (mais pas nécessairement de façon unique).

Singular value

In mathematics, in particular functional analysis, the singular values, or s-numbers of a compact operator acting between Hilbert spaces and , are the square roots of the (necessarily non-negative) eigenvalues of the self-adjoint operator (where denotes the adjoint of ). The singular values are non-negative real numbers, usually listed in decreasing order (σ1(T), σ2(T), ...). The largest singular value σ1(T) is equal to the operator norm of T (see Min-max theorem).

Afficher plus

Séances de cours associées (64)

Régression linéaire : Inférence statistique et régularisation

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Régression linéaire : méthode des moindres carrés

Explique la méthode des moindres carrés dans la régression linéaire pour trouver la ligne la mieux adaptée à un ensemble de points de données.

Régularisation de l'apprentissage automatique

Explore Ridge et Lasso Regression pour la régularisation dans les modèles d'apprentissage automatique, en mettant l'accent sur le réglage hyperparamétrique et la visualisation des coefficients des paramètres.

Régression linéaire : absence ou présence de covariables

Explore la régression linéaire avec et sans covariables, couvrant des modèles capturés par des distributions indépendantes et des outils comme des sous-espaces et des projections orthogonales.

Régression linéaire probabiliste

Examine la régression probabiliste linéaire, couvrant les probabilités articulaires et conditionnelles, la régression des crêtes et l'atténuation excessive.

Afficher plus

Concepts associés (23)

Décomposition en valeurs singulières

Régression linéaire

Matrix decomposition

Décomposition polaire

Singular value

Afficher plus