Séance de cours

Les bases de la régression linéaire : la perspective ERM

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre les bases de la régression linéaire du point de vue de la minimisation empirique du risque, en se concentrant sur la perte carrée. Les sujets abordés comprennent la matrice de conception, le vecteur de sortie, le prétraitement des données, la régression des moindres carrés ordinaires et la minimisation du risque empirique. L'instructeur explique comment calculer les gradients, les équations normales et les conditions d'une solution unique en régression linéaire.

Enseignant·e

Yoav Zemel

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques)

Concepts associés (32)

Méthode des moindres carrés ordinaire

vignette|Graphique d'une régression linéaire La méthode des moindres carrés ordinaire (MCO) est le nom technique de la régression mathématique en statistiques, et plus particulièrement de la régression linéaire. Il s'agit d'un modèle couramment utilisé en économétrie. Il s'agit d'ajuster un nuage de points selon une relation linéaire, prenant la forme de la relation matricielle , où est un terme d'erreur.

Linear least squares

Linear least squares (LLS) is the least squares approximation of linear functions to data. It is a set of formulations for solving statistical problems involved in linear regression, including variants for ordinary (unweighted), weighted, and generalized (correlated) residuals. Numerical methods for linear least squares include inverting the matrix of the normal equations and orthogonal decomposition methods. The three main linear least squares formulations are: Ordinary least squares (OLS) is the most common estimator.

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Méthode des moindres carrés

La méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.

Régression non linéaire

Une régression non linéaire consiste à ajuster un modèle, en général non linéaire, y = ƒa1, ..., am(x) pour un ensemble de valeurs (xi, yi)1 ≤ i ≤ n. Les variables xi et yi peuvent être des scalaires ou des vecteurs. Par « ajuster », il faut comprendre : déterminer les paramètres de la loi, (a1, ..., am), afin de minimiser S = ||ri||, avec : ri = yi - ƒa1, ..., am(xi). ||...|| est une norme. On utilise en général la norme euclidienne, ou norme l2 ; on parle alors de méthode des moindres carrés.

Afficher plus

Séances de cours associées (64)

Régression : Modèles linéaires

Explore la régression linéaire, les moindres carrés, les résidus et les intervalles de confiance dans les modèles de régression.

Régression linéaire : Approche de vraisemblance maximale

Couvre les sujets de régression linéaire, y compris les intervalles de confiance, la variance et l'approche de la probabilité maximale.

Régression linéaire : Inférence statistique et régularisation

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Régression linéaire : Les moindres carrés

Déplacez-vous dans la régression linéaire, en mettant l'accent sur l'estimation des moindres carrés, les résidus et la variance.

Régression linéaire : estimation et test

Explore l'estimation de régression linéaire, les tests d'hypothèses et les applications pratiques en statistique.

Afficher plus

Concepts associés (32)

Méthode des moindres carrés ordinaire

Linear least squares

Régression linéaire

Méthode des moindres carrés

Régression non linéaire

Afficher plus