Séance de cours

Modèles linéaires: Ridge, OLS et LASSO

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-411: Fundamentals of inference and learning

This is an introductory course in the theory of statistics, inference, and machine learning, with an emphasis on theoretical understanding & practical exercises. The course will combine, and alternate, between mathematical theoretical foundations and prac ...

Description

Cette séance de cours couvre des modèles linéaires tels que Ridge, Ordinary Least Squares (OLS) et Least Absolute Shrinkage and Selection Operator (LASSO). Il explique les concepts de valeurs singulières, de matrices définies positives et de valeurs propres. La séance de cours se penche également sur l'application de ces modèles dans l'analyse de régression.

Enseignant·e

Florent Gérard Krzakala

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques)

Mathématiques

Algèbre: Algèbre linéaire

Concepts associés (32)

Décomposition en valeurs singulières

En mathématiques, le procédé d'algèbre linéaire de décomposition en valeurs singulières (ou SVD, de l'anglais singular value decomposition) d'une matrice est un outil important de factorisation des matrices rectangulaires réelles ou complexes. Ses applications s'étendent du traitement du signal aux statistiques, en passant par la météorologie. Le théorème spectral énonce qu'une matrice normale peut être diagonalisée par une base orthonormée de vecteurs propres.

Positive-definite kernel

In operator theory, a branch of mathematics, a positive-definite kernel is a generalization of a positive-definite function or a positive-definite matrix. It was first introduced by James Mercer in the early 20th century, in the context of solving integral operator equations. Since then, positive-definite functions and their various analogues and generalizations have arisen in diverse parts of mathematics.

Complément de Schur

En algèbre linéaire et plus précisément en théorie des matrices, le complément de Schur est défini comme suit. Soit une matrice de dimension (p+q)×(p+q), où les blocs A, B, C, D sont des matrices de dimensions respectives p×p, p×q, q×p et q×q, avec D inversible. Alors, le complément de Schur du bloc D de la matrice M est constitué par la matrice de dimension p×p suivante : Lorsque B est la transposée de C, la matrice M est symétrique définie positive si et seulement si D et son complément de Schur dans M le sont.

Factorisation de Cholesky

La factorisation de Cholesky, nommée d'après André-Louis Cholesky, consiste, pour une matrice symétrique définie positive , à déterminer une matrice triangulaire inférieure telle que : . La matrice est en quelque sorte une « racine carrée » de . Cette décomposition permet notamment de calculer la matrice inverse , de calculer le déterminant de A (égal au carré du produit des éléments diagonaux de ) ou encore de simuler une loi multinormale. Elle est aussi utilisée en chimie quantique pour accélérer les calculs (voir Décomposition de Cholesky (chimie quantique)).

Segmented regression

Segmented regression, also known as piecewise regression or broken-stick regression, is a method in regression analysis in which the independent variable is partitioned into intervals and a separate line segment is fit to each interval. Segmented regression analysis can also be performed on multivariate data by partitioning the various independent variables. Segmented regression is useful when the independent variables, clustered into different groups, exhibit different relationships between the variables in these regions.

Afficher plus

Séances de cours associées (64)

Régression linéaire : Inférence statistique et régularisation

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Modèles linéaires : Les moindres carrés

Explore les modèles linéaires, les moindres carrés, les vecteurs gaussiens et les méthodes de sélection des modèles.

Fondements de l'apprentissage automatique : Découverte de la structure, classification, régression

Couvre les concepts fondamentaux d'apprentissage automatique, y compris la découverte de la structure, la classification et la régression.

Modèles linéaires: Partie 1

Couvre les modèles linéaires, y compris la régression, les dérivés, les gradients, les hyperplans et la transition de classification, en mettant laccent sur la minimisation des risques et des mesures dévaluation.

Machine Learning non linéaire : les voisins les plus proches et l’expansion des fonctionnalités

Couvre la transition des modèles linéaires aux modèles non linéaires, en se concentrant sur k-NN et les techniques d'expansion des caractéristiques.

Afficher plus

Concepts associés (32)

Décomposition en valeurs singulières

Positive-definite kernel

Complément de Schur

Factorisation de Cholesky

Segmented regression

Afficher plus