Séance de cours

Apprentissage du modèle graphique : Exemples de M-Estimateur

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours couvre le concept d'apprentissage de modèles graphiques à l'aide d'estimateurs M, en mettant l'accent sur les propriétés statistiques et les matrices empiriques de covariance. Il s'inscrit également dans la régression du processus gaussien pour le réglage hyperparamétrique du noyau, la modélisation Google PageRank, l'estimation de la densité et les modèles linéaires généralisés. L'instructeur souligne l'importance des formulations d'optimisation, des estimateurs des moindres carrés et des réglages de minimisation des risques dans diverses applications d'apprentissage automatique.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques)

Concepts associés (32)

Méthode des moindres carrés

La méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.

Méthode des moindres carrés ordinaire

vignette|Graphique d'une régression linéaire La méthode des moindres carrés ordinaire (MCO) est le nom technique de la régression mathématique en statistiques, et plus particulièrement de la régression linéaire. Il s'agit d'un modèle couramment utilisé en économétrie. Il s'agit d'ajuster un nuage de points selon une relation linéaire, prenant la forme de la relation matricielle , où est un terme d'erreur.

Generalized least squares

In statistics, generalized least squares (GLS) is a method used to estimate the unknown parameters in a linear regression model when there is a certain degree of correlation between the residuals in the regression model. Least squares and weighted least squares may need to be more statistically efficient and prevent misleading inferences. GLS was first described by Alexander Aitken in 1935. In standard linear regression models one observes data on n statistical units.

Linear least squares

Linear least squares (LLS) is the least squares approximation of linear functions to data. It is a set of formulations for solving statistical problems involved in linear regression, including variants for ordinary (unweighted), weighted, and generalized (correlated) residuals. Numerical methods for linear least squares include inverting the matrix of the normal equations and orthogonal decomposition methods. The three main linear least squares formulations are: Ordinary least squares (OLS) is the most common estimator.

Régression non paramétrique

La régression non paramétrique est une forme d'analyse de la régression dans lequel le prédicteur, ou fonction d'estimation, ne prend pas de forme prédéterminée, mais est construit selon les informations provenant des données. La régression non paramétrique exige des tailles d'échantillons plus importantes que celles de la régression basée sur des modèles paramétriques parce que les données doivent fournir la structure du modèle ainsi que les estimations du modèle. On dispose de données numériques que l'on suppose corrélées.

Afficher plus

Séances de cours associées (64)

Régression linéaire : Inférence statistique et régularisation

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Modèles probabilistes pour la régression linéaire

Couvre le modèle probabiliste de régression linéaire et ses applications dans la résonance magnétique nucléaire et l'imagerie par rayons X.

Fondements de l'apprentissage automatique : Découverte de la structure, classification, régression

Couvre les concepts fondamentaux d'apprentissage automatique, y compris la découverte de la structure, la classification et la régression.

Modèles paramétriques

Explore l'estimation statistique, les modèles de régression et la sélection des modèles dans les modèles paramétriques.

Estimation, réduction et pénalisation

Couvre l'estimation, le rétrécissement et la pénalisation des statistiques pour la science des données, soulignant l'importance d'équilibrer le biais et la variance dans l'estimation des modèles.

Afficher plus

Concepts associés (32)

Méthode des moindres carrés

Méthode des moindres carrés ordinaire

Generalized least squares

Linear least squares

Régression non paramétrique

Afficher plus