Séance de cours

Méthodes du noyau : SVM et régression

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les concepts de modèles linéaires, de marge, de classificateur de marge maximale, de machine vectorielle de support, de variables slack, de malédiction de dimensionnalité, de méthode de voisin le plus proche, de k voisins le plus proche, d'ajustement de courbe polynomiale, d'expansion de caractéristique polynomiale, de fonctions noyau, d'astuce noyau, de régression de noyau, de régression de processus gaussien et de formulation double de SVM. Il explique également l'importance de l'expansion des fonctionnalités, du théorème de Représenter et du processus de prédiction dans la régression du noyau. La séance de cours se termine par des exemples de SVM du noyau et les avantages et inconvénients des méthodes du noyau.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques)

Concepts associés (32)

Astuce du noyau

En apprentissage automatique, l'astuce du noyau, ou kernel trick en anglais, est une méthode qui permet d'utiliser un classifieur linéaire pour résoudre un problème non linéaire. L'idée est de transformer l'espace de représentation des données d'entrées en un espace de plus grande dimension, où un classifieur linéaire peut être utilisé et obtenir de bonnes performances. La discrimination linéaire dans l'espace de grande dimension (appelé aussi espace de redescription) est équivalente à une discrimination non linéaire dans l'espace d'origine.

Machine à vecteurs de support

Les machines à vecteurs de support ou séparateurs à vaste marge (en anglais support-vector machine, SVM) sont un ensemble de techniques d'apprentissage supervisé destinées à résoudre des problèmes de discrimination et de régression. Les SVM sont une généralisation des classifieurs linéaires. Les séparateurs à vaste marge ont été développés dans les années 1990 à partir des considérations théoriques de Vladimir Vapnik sur le développement d'une théorie statistique de l'apprentissage : la théorie de Vapnik-Tchervonenkis.

Noyau (statistiques)

Un noyau est une fonction de pondération utilisée dans les techniques d'estimation non-paramétrique. Les noyaux interviennent dans l'estimateur par noyau pour estimer la densité de probabilité d'une variable aléatoire, ou encore dans la régression paramétrique (à noyau) pour estimer des espérances conditionnelles. Pour les séries temporelles, le noyau permet d'estimer la densité spectrale. Un noyau est une fonction positive, intégrable et à valeurs réelles, notée K, qui doit vérifier les deux conditions suivantes : normalisation : symétrie : pour toutes les valeurs de u.

Régression non paramétrique

La régression non paramétrique est une forme d'analyse de la régression dans lequel le prédicteur, ou fonction d'estimation, ne prend pas de forme prédéterminée, mais est construit selon les informations provenant des données. La régression non paramétrique exige des tailles d'échantillons plus importantes que celles de la régression basée sur des modèles paramétriques parce que les données doivent fournir la structure du modèle ainsi que les estimations du modèle. On dispose de données numériques que l'on suppose corrélées.

Kernel regression

In statistics, kernel regression is a non-parametric technique to estimate the conditional expectation of a random variable. The objective is to find a non-linear relation between a pair of random variables X and Y. In any nonparametric regression, the conditional expectation of a variable relative to a variable may be written: where is an unknown function. Nadaraya and Watson, both in 1964, proposed to estimate as a locally weighted average, using a kernel as a weighting function.

Afficher plus

Séances de cours associées (64)

Expansion des fonctionnalités et méthodes Kernel

Explore l'expansion des fonctionnalités, les méthodes du noyau, la SVM et la classification non linéaire dans l'apprentissage automatique.

Expansion des fonctionnalités et des amandes

Couvre l'expansion des fonctionnalités, les noyaux, SVM, et la classification non linéaire dans l'apprentissage automatique.

Introduction à l'apprentissage automatique : apprentissage supervisé

Introduit l'apprentissage supervisé, couvrant la classification, la régression, l'optimisation des modèles, le surajustement, et les méthodes du noyau.

Revue du Machine Learning

Couvre un examen des concepts d'apprentissage automatique, y compris l'apprentissage supervisé, la classification vs régression, les modèles linéaires, les fonctions du noyau, les machines vectorielles de soutien, la réduction de la dimensionnalité, les modèles génératifs profonds et la validation croisée.

Méthodes de noyau: Réseaux neuronaux

Couvre les fondamentaux des réseaux neuronaux, en mettant l'accent sur les noyaux RBF et SVM.

Afficher plus

Concepts associés (32)

Astuce du noyau

Machine à vecteurs de support

Noyau (statistiques)

Régression non paramétrique

Kernel regression

Afficher plus