Séance de cours

Réduction de dimensionnalité: introduction et motivation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours introduit le concept de réduction de dimensionnalité, en mettant l'accent sur les défis posés par les représentations de données à haute dimension dans les applications d'apprentissage automatique telles que le traitement de l'image et la génomique. L'instructeur explique la nécessité de réduire le nombre de variables pour améliorer le rendement du modèle, en discutant de méthodes comme l'analyse des composantes principales (APC) pour obtenir des représentations de données plus compactes et plus robustes. La malédiction de la dimensionnalité est explorée, soulignant comment les espaces à haute dimension conduisent à la sparté des données et à l'augmentation des coûts de calcul. Les implications pratiques de la réduction de dimensionnalité, y compris l'amélioration de la qualité des modèles et l'évitement du surajustement, sont également discutées.

Source officielle

Concepts associés (13)

Réduction de la dimensionnalité

vignette|320x320px|Animation présentant la projection de points en deux dimensions sur les axes obtenus par analyse en composantes principales, une méthode populaire de réduction de la dimensionnalité La réduction de la dimensionnalité (ou réduction de (la) dimension) est un processus étudié en mathématiques et en informatique, qui consiste à prendre des données dans un espace de grande dimension, et à les remplacer par des données dans un espace de plus petite dimension.

Fléau de la dimension

Le fléau de la dimension ou malédiction de la dimension (curse of dimensionality) est un terme inventé par Richard Bellman en 1961 pour désigner divers phénomènes qui ont lieu lorsque l'on cherche à analyser ou organiser des données dans des espaces de grande dimension alors qu'ils n'ont pas lieu dans des espaces de dimension moindre. Plusieurs domaines sont concernés et notamment l'apprentissage automatique, la fouille de données, les bases de données, l'analyse numérique ou encore l'échantillonnage.

Nonlinear dimensionality reduction

Nonlinear dimensionality reduction, also known as manifold learning, refers to various related techniques that aim to project high-dimensional data onto lower-dimensional latent manifolds, with the goal of either visualizing the data in the low-dimensional space, or learning the mapping (either from the high-dimensional space to the low-dimensional embedding or vice versa) itself. The techniques described below can be understood as generalizations of linear decomposition methods used for dimensionality reduction, such as singular value decomposition and principal component analysis.

Analyse en composantes principales

L'analyse en composantes principales (ACP ou PCA en anglais pour principal component analysis), ou, selon le domaine d'application, transformation de Karhunen–Loève (KLT) ou transformation de Hotelling, est une méthode de la famille de l'analyse des données et plus généralement de la statistique multivariée, qui consiste à transformer des variables liées entre elles (dites « corrélées » en statistique) en nouvelles variables décorrélées les unes des autres. Ces nouvelles variables sont nommées « composantes principales » ou axes principaux.

Kernel principal component analysis

In the field of multivariate statistics, kernel principal component analysis (kernel PCA) is an extension of principal component analysis (PCA) using techniques of kernel methods. Using a kernel, the originally linear operations of PCA are performed in a reproducing kernel Hilbert space. Recall that conventional PCA operates on zero-centered data; that is, where is one of the multivariate observations.

Afficher plus

Séances de cours associées (64)

Analyse des composantes principales : réduction de la dimensionnalité

Explore l'analyse des composants principaux pour la réduction de la dimensionnalité dans l'apprentissage automatique, en présentant ses capacités d'extraction de fonctionnalités et de prétraitement de données.

Analyse des composantes principales : réduction de la dimensionnalité

Couvre l'analyse des composantes principales pour la réduction de dimensionnalité, en explorant ses applications, ses limites et l'importance de choisir les composantes appropriées.

Récapitulation des réseaux neuraux : fonctions d'activation

Couvre les bases des réseaux neuronaux, des fonctions d'activation, de la formation, du traitement d'image, des CNN, de la régularisation et des méthodes de réduction de dimensionnalité.

Réduction de la dimensionnalité: PCA & LDA

Couvre PCA et LDA pour la réduction de dimensionnalité, expliquant la maximisation de la variance, les problèmes de vecteurs propres et les avantages de Kernel PCA pour les données non linéaires.

Analyse des composantes principales : réduction des dimensions

Explorer l'analyse des composantes principales pour la réduction des dimensions des ensembles de données et ses implications pour les algorithmes d'apprentissage supervisés.

Afficher plus

Concepts associés (13)

Réduction de la dimensionnalité

Fléau de la dimension

Nonlinear dimensionality reduction

Analyse en composantes principales

Kernel principal component analysis

Afficher plus