Séance de cours

Machines vectorielles de soutien: SVM noyau

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre le concept de SVM non linéaire à l'aide de noyaux, où les fonctions linéaires peuvent ne pas convenir pour la séparation des données. Il introduit l'idée de transformer les données en un espace à dimension supérieure pour la séparabilité linéaire, définissant un espace de redesscription pour la séparation linéaire. La séance de cours explique le cas général des espaces de redesscription dans les espaces Hilbert et l'importance de l'exhaustivité et de la séparabilité. Il se penche sur le problème d'optimisation de l'entraînement SVM dans l'espace de redescription et l'utilisation des noyaux pour éviter une connaissance explicite de la transformation. La séance de cours traite également de la définition et des propriétés des noyaux, y compris les noyaux de base quadratiques, polynômes et radiaux.

Source officielle

Concepts associés (24)

Astuce du noyau

En apprentissage automatique, l'astuce du noyau, ou kernel trick en anglais, est une méthode qui permet d'utiliser un classifieur linéaire pour résoudre un problème non linéaire. L'idée est de transformer l'espace de représentation des données d'entrées en un espace de plus grande dimension, où un classifieur linéaire peut être utilisé et obtenir de bonnes performances. La discrimination linéaire dans l'espace de grande dimension (appelé aussi espace de redescription) est équivalente à une discrimination non linéaire dans l'espace d'origine.

Noyau polynomial

En apprentissage automatique, le noyau polynomial est une fonction noyau couramment utilisée avec les machines à vecteurs de support (SVMs) et d'autres modèles à noyaux. Il représente la similarité des vecteurs (échantillons d'apprentissage) dans un espace de degré polynomial plus grand que celui des variables d'origine, ce qui permet un apprentissage de modèles non-linéaires. Intuitivement, le noyau polynomial ne tient pas compte uniquement des propriétés des échantillons d'entrée afin de déterminer leur similitude, mais aussi des combinaisons de ceux-ci.

Espace de Hilbert à noyau reproduisant

En analyse fonctionnelle, un espace de Hilbert à noyau reproduisant est un espace de Hilbert de fonctions pour lequel toutes les applications sont des formes linéaires continues. De manière équivalente, il existe des espaces qu'on peut définir par des noyaux reproduisants. Le sujet a été originellement et simultanément développé par Nachman Aronszajn et Stefan Bergman en 1950. Les espaces de Hilbert à noyau reproduisant sont parfois désignés sous l’acronyme issu du titre anglais RKHS, pour Reproducing Kernel Hilbert Space.

Espace de Hilbert

vignette|Une photographie de David Hilbert (1862 - 1943) qui a donné son nom aux espaces dont il est question dans cet article. En mathématiques, un espace de Hilbert est un espace vectoriel réel (resp. complexe) muni d'un produit scalaire euclidien (resp. hermitien), qui permet de mesurer des longueurs et des angles et de définir une orthogonalité. De plus, un espace de Hilbert est complet, ce qui permet d'y appliquer des techniques d'analyse. Ces espaces doivent leur nom au mathématicien allemand David Hilbert.

Radial basis function kernel

In machine learning, the radial basis function kernel, or RBF kernel, is a popular kernel function used in various kernelized learning algorithms. In particular, it is commonly used in support vector machine classification. The RBF kernel on two samples and x', represented as feature vectors in some input space, is defined as may be recognized as the squared Euclidean distance between the two feature vectors. is a free parameter.

Afficher plus

Séances de cours associées (64)

Méthodes du noyau : RKHS et noyaux

Explore RKHS, les noyaux définis positifs et le théorème de Moore-Aronszajn dans les méthodes du noyau.

SVM non linéaire : Noyaux et double optimisation

Explore la transformation des données avec des cartes non linéaires, des noyaux, une double optimisation et l'interprétation des résultats SVM.

Méthodes de noyau: Machine Learning

Couvre les méthodes du noyau dans l'apprentissage automatique, en se concentrant sur le surajustement, la sélection du modèle, la validation croisée, la régularisation, les fonctions du noyau et la SVM.

Méthodes de noyau et régression

Couvre les méthodes du noyau, la régression du noyau, le noyau RBF et le SVM pour la classification.

Extension de la fonctionnalité: Amandes et KNN

Les couvertures comportent l'expansion, les noyaux et les voisins K-nearest, y compris la non-linéarité, SVM, et les noyaux gaussiens.

Afficher plus

Concepts associés (24)

Astuce du noyau

Noyau polynomial

Espace de Hilbert à noyau reproduisant

Espace de Hilbert

Radial basis function kernel

Afficher plus