Séance de cours

Kernel PCA : Réduction de la dimensionnalité non linéaire

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MICRO-455: Machine learning I

Real-world engineering applications must cope with a large dataset of dynamic variables, which cannot be well approximated by classical or deterministic models. This course gives an overview of methods from Machine Learning for the analysis of non-linear, highly noisy and multi dimensional data

Description

Cette séance de cours couvre Kernel Principal Component Analysis (KPCA), une version non linéaire de PCA qui utilise des noyaux pour rendre le problème linéaire. Il commence par un résumé de l'analyse en composantes principales (ACP) et de son optimisation. Ensuite, il se penche sur la dérivation de KPCA, expliquant comment les données sont envoyées à un espace de fonctionnalités et le problème de la valeur propre est résolu en utilisant l'astuce du noyau. Les solutions au problème de la double valeur propre sont discutées, en mettant l'accent sur l'intensité de calcul de KPCA due à la décomposition de la valeur propre de la matrice de Gram. La séance de cours conclut en soulignant que la KPCA offre une alternative à la PCA standard en n'assumant pas une transformation linéaire et en utilisant l'astuce du noyau pour la détermination de la projection.

Enseignant·e

Aude Billard

Expertise Machine LearningRoboticsMechatronicsDynamical SystemsComputational Neuroscience Enseignement et PhD Doctorant·es actuel·les Hanli Zhang, Maximilian Schmitz, Luyin Hu, Baiyu Peng, Erfan Etesami, Sthithpragya Gupta, Kuanqi Cai A dirigé les thèses EPFL de Eric Sauser, Sylvain Calinon, Micha Hersch, Florent Günter, Biljana Petreska von Ritter-Zahony, Basilio Noris, Elena Gribovskaya, Seyed Mohammad Khansari Zadeh, Seungsu Kim, Ashwini Shukla, Klas Jonas Alfred Kronander, Luka Lukic, Miao Li, Ravin L

Source officielle

Proximité ontologique

Mathématiques

Algèbre: Algèbre linéaire

Concepts associés (30)

Kernel principal component analysis

In the field of multivariate statistics, kernel principal component analysis (kernel PCA) is an extension of principal component analysis (PCA) using techniques of kernel methods. Using a kernel, the originally linear operations of PCA are performed in a reproducing kernel Hilbert space. Recall that conventional PCA operates on zero-centered data; that is, where is one of the multivariate observations.

Analyse en composantes principales

L'analyse en composantes principales (ACP ou PCA en anglais pour principal component analysis), ou, selon le domaine d'application, transformation de Karhunen–Loève (KLT) ou transformation de Hotelling, est une méthode de la famille de l'analyse des données et plus généralement de la statistique multivariée, qui consiste à transformer des variables liées entre elles (dites « corrélées » en statistique) en nouvelles variables décorrélées les unes des autres. Ces nouvelles variables sont nommées « composantes principales » ou axes principaux.

Nonlinear dimensionality reduction

Nonlinear dimensionality reduction, also known as manifold learning, refers to various related techniques that aim to project high-dimensional data onto lower-dimensional latent manifolds, with the goal of either visualizing the data in the low-dimensional space, or learning the mapping (either from the high-dimensional space to the low-dimensional embedding or vice versa) itself. The techniques described below can be understood as generalizations of linear decomposition methods used for dimensionality reduction, such as singular value decomposition and principal component analysis.

Astuce du noyau

En apprentissage automatique, l'astuce du noyau, ou kernel trick en anglais, est une méthode qui permet d'utiliser un classifieur linéaire pour résoudre un problème non linéaire. L'idée est de transformer l'espace de représentation des données d'entrées en un espace de plus grande dimension, où un classifieur linéaire peut être utilisé et obtenir de bonnes performances. La discrimination linéaire dans l'espace de grande dimension (appelé aussi espace de redescription) est équivalente à une discrimination non linéaire dans l'espace d'origine.

Valeur propre, vecteur propre et espace propre

En mathématiques, et plus particulièrement en algèbre linéaire, le concept de vecteur propre est une notion algébrique s'appliquant à une application linéaire d'un espace dans lui-même. Il correspond à l'étude des axes privilégiés, selon lesquels l'application se comporte comme une dilatation, multipliant les vecteurs par une même constante. Ce rapport de dilatation est appelé valeur propre, les vecteurs auxquels il s'applique s'appellent vecteurs propres, réunis en un espace propre.

Afficher plus

Séances de cours associées (64)

Paysage et généralisation dans l'apprentissage profond

Explore les défis et les points de vue de l'apprentissage profond, en mettant l'accent sur le paysage des pertes, la généralisation et l'apprentissage caractéristique.

Réduction de la dimensionnalité: PCA & LDA

Couvre PCA et LDA pour la réduction de dimensionnalité, expliquant la maximisation de la variance, les problèmes de vecteurs propres et les avantages de Kernel PCA pour les données non linéaires.

Estimation du regroupement et de la densité

Couvre les algorithmes de clustering, PCA, LDA, K-means, GMM, KDE et Mean Shift pour l'estimation de la densité et le clustering.

Composantes principales : Propriétés et applications

Explore les principales composantes, la covariance, la corrélation, le choix et les applications dans l'analyse des données.

PCA : Dérivation et optimisation

Couvre la dérivation de la projection PCA, la minimisation des erreurs et l'optimisation du vecteur propre.

Afficher plus

Concepts associés (30)

Kernel principal component analysis

Analyse en composantes principales

Nonlinear dimensionality reduction

Astuce du noyau

Valeur propre, vecteur propre et espace propre

Afficher plus