Séance de cours

K-Les voisins les plus proches et l'extension de la fonctionnalité

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-233(a): Introduction to machine learning (BA3)

Machine learning and data analysis are becoming increasingly central in many sciences and applications. In this course, fundamental principles and methods of machine learning will be introduced, analyzed and practically implemented. ...

Description

Cette séance de cours couvre la méthode k-Nearest Neighbors pour la classification et la régression, en commençant par les modèles linéaires et la progression vers l'apprentissage automatique non linéaire par l'expansion des fonctionnalités. Il explique le concept d'expansion des caractéristiques polynômes et son application dans la transformation des données d'entrée pour un meilleur ajustement du modèle. La malédiction de la dimensionnalité et les propriétés des voisins k-Nearest sont discutées, soulignant l'importance de choisir les bons paramètres pour une performance efficace du modèle.

Enseignant·e

Mathieu Salzmann

I am a Senior Researcher at EPFL-CVLab, and, since May 2020, an Artificial Intelligence Engineer at ClearSpace (50%). Previously, I was a Senior Researcher and Research Leader in NICTA's computer vision research group. Prior to this, from Sept. 2010 to Jan 2012, I was a Research Assistant Professor at TTI-Chicago, and, from Feb. 2009 to Aug. 2010, a postdoctoral fellow at ICSI and EECS at UC Berkeley under the supervision of Prof. Trevor Darrell. I obtained my PhD in Jan. 2009 from EPFL under the supervision of Prof. Pascal Fua.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques)

Concepts associés (32)

Bayesian linear regression

Bayesian linear regression is a type of conditional modeling in which the mean of one variable is described by a linear combination of other variables, with the goal of obtaining the posterior probability of the regression coefficients (as well as other parameters describing the distribution of the regressand) and ultimately allowing the out-of-sample prediction of the regressand (often labelled ) conditional on observed values of the regressors (usually ).

Segmented regression

Segmented regression, also known as piecewise regression or broken-stick regression, is a method in regression analysis in which the independent variable is partitioned into intervals and a separate line segment is fit to each interval. Segmented regression analysis can also be performed on multivariate data by partitioning the various independent variables. Segmented regression is useful when the independent variables, clustered into different groups, exhibit different relationships between the variables in these regions.

Simple linear regression

In statistics, simple linear regression is a linear regression model with a single explanatory variable. That is, it concerns two-dimensional sample points with one independent variable and one dependent variable (conventionally, the x and y coordinates in a Cartesian coordinate system) and finds a linear function (a non-vertical straight line) that, as accurately as possible, predicts the dependent variable values as a function of the independent variable. The adjective simple refers to the fact that the outcome variable is related to a single predictor.

Bayesian multivariate linear regression

In statistics, Bayesian multivariate linear regression is a Bayesian approach to multivariate linear regression, i.e. linear regression where the predicted outcome is a vector of correlated random variables rather than a single scalar random variable. A more general treatment of this approach can be found in the article MMSE estimator. Consider a regression problem where the dependent variable to be predicted is not a single real-valued scalar but an m-length vector of correlated real numbers.

Linear least squares

Linear least squares (LLS) is the least squares approximation of linear functions to data. It is a set of formulations for solving statistical problems involved in linear regression, including variants for ordinary (unweighted), weighted, and generalized (correlated) residuals. Numerical methods for linear least squares include inverting the matrix of the normal equations and orthogonal decomposition methods. The three main linear least squares formulations are: Ordinary least squares (OLS) is the most common estimator.

Afficher plus

Séances de cours associées (64)

K-Les voisins les plus proches et l'extension de la fonctionnalité

Introduit k-Nearest Neighbors pour la classification et l'expansion des fonctionnalités pour gérer les données non linéaires via des entrées transformées.

Algorithmes ML non linéaires

Introduit des algorithmes ML non linéaires, couvrant le voisin le plus proche, k-NN, ajustement des courbes polynômes, complexité du modèle, surajustement, et régularisation.

Introduction à l'apprentissage automatique: modèles linéaires

Introduit des modèles linéaires pour l'apprentissage supervisé, couvrant le suréquipement, la régularisation et les noyaux, avec des applications dans les tâches d'apprentissage automatique.

Fondements de l'apprentissage automatique

Introduit des concepts fondamentaux d'apprentissage automatique, couvrant la régression, la classification, la réduction de dimensionnalité et des modèles générateurs profonds.

Machine Learning non linéaire : les voisins les plus proches et l’expansion des fonctionnalités

Couvre la transition des modèles linéaires aux modèles non linéaires, en se concentrant sur k-NN et les techniques d'expansion des caractéristiques.

Afficher plus

Concepts associés (32)

Bayesian linear regression

Segmented regression

Simple linear regression

Bayesian multivariate linear regression

Linear least squares

Afficher plus