Séance de cours

La malédiction de la dimensionnalité dans l'apprentissage profond

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

PHYS-754: Lecture series on scientific machine learning

This lecture presents ongoing work on how scientific questions can be tackled using machine learning. Machine learning enables extracting knowledge from data computationally and in an automatized way. We will learn on examples how this is influencing the v ...

Description

Cette séance de cours explore le paysage, la performance et la malédiction de la dimensionnalité dans l'apprentissage profond, en discutant des défis de la classification des données dans de grandes dimensions, des principes de l'apprentissage profond, de la géométrie du paysage de perte, des phénomènes suradaptés, et de l'impact de la dimensionnalité sur l'apprentissage. Il s'inscrit également dans les concepts de localité, de hiérarchie, de sparsité et de stabilité par rapport aux déformations lisses dans les réseaux neuraux.

Enseignant·e·s (10)

Anne-Clémence Corminboeuf

Enseignement et PhD Doctorant·es actuel·les Liam Oliver Marsh, Pratham Pushparaj Deshmukh, Roel Christiaan M Raike, Thanapat Worakul, Osvaldo Hernandez Cuellar, Juliette Veronique Schleicher, Yannick Calvino Alonso, Sara Bassetta, Yuri Cho, Kelian Dietmar Marc Gaedecke, Guoyuan Liu A dirigé les thèses EPFL de Fabrice Avaltroni, Daniel Filipe Jana, Stephan Niklaus Steinmann, Jérôme Florian Gonthier, Riccardo Petraglia, Antonio Prlj, Laurent Alexis Clément Vannay, Alberto Fabrizio, Kun-Han Lin, Boodsarin Sa

Philippe Schwaller

Michele Ceriotti

Michele Ceriotti received his Ph.D. in Physics from ETH Zürich in 2010. He spent three years in Oxford as a Junior Research Fellow at Merton College. Since 2013 he leads the laboratory for Computational Science and Modeling in the Institute of Materials at EPFL. His research revolves around the atomic-scale modelling of materials, based on the sampling of quantum and thermal fluctuations and on the use of machine learning to predict and rationalize structure-property relations. He has been awarded the IBM Research Forschungspreis in 2010, the Volker Heine Young Investigator Award in 2013, an ERC Starting Grant in 2016, and the IUPAP C10 Young Scientist Prize in 2018.

David Richard Harvey

Enseignement et PhD Doctorant·es actuel·les Ethan Daniel Tregidga, Felix Francisco Vecchi Cours Lecture series on scientific machine learning PHYS-754 Ce cours présente des travaux sur la façon dont les questions scientifiques peuvent être abordées à l'aide de l'apprentissage automatique. L'apprentissage automatique permet d'extraire des connaissances à partir de données de manière automatisée. Nous apprendrons à partir d'exemples concrets.

Matthieu Wyart

Enseignement et PhD A dirigé les thèses EPFL de Riccardo Ravasio, Mario Geiger, Wencheng Ji, Leonardo Petrini, Umberto Maria Tomasini, Alessandro Favero Cours Systèmes complexes PHYS-343 Ce cours montre comment des concepts physiques connus (entropie, transitions de phase) et nouveaux (verres, percolation, réaction de type avalanche) peuvent être utilisés dans divers domaines (y compris l'informatique, les neurosciences, les sciences sociales).

Source officielle

Concepts associés (32)

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Dimension

Le terme dimension, du latin dimensio « action de mesurer », désigne d’abord chacune des grandeurs d’un objet : longueur, largeur et profondeur, épaisseur ou hauteur, ou encore son diamètre si c'est une pièce de révolution. L’acception a dérivé de deux façons différentes en physique et en mathématiques. En physique, la dimension qualifie une grandeur indépendamment de son unité de mesure, tandis qu’en mathématiques, la notion de dimension correspond au nombre de grandeurs nécessaires pour identifier un objet, avec des définitions spécifiques selon le type d’objet (algébrique, topologique ou combinatoire notamment).

Réduction de la dimensionnalité

vignette|320x320px|Animation présentant la projection de points en deux dimensions sur les axes obtenus par analyse en composantes principales, une méthode populaire de réduction de la dimensionnalité La réduction de la dimensionnalité (ou réduction de (la) dimension) est un processus étudié en mathématiques et en informatique, qui consiste à prendre des données dans un espace de grande dimension, et à les remplacer par des données dans un espace de plus petite dimension.

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Afficher plus

Séances de cours associées (64)

Paysage et généralisation dans l'apprentissage profond

Explore les défis et les points de vue de l'apprentissage profond, en mettant l'accent sur le paysage des pertes, la généralisation et l'apprentissage caractéristique.

Perception : Approches fondées sur les données

Explore la perception dans l'apprentissage profond pour les véhicules autonomes, couvrant la classification d'image, les méthodes d'optimisation, et le rôle de la représentation dans l'apprentissage automatique.

Deep Learning : dimensionnalité et représentation des données

Plonge dans la dimensionnalité de l'apprentissage profond, la représentation des données et la performance dans la classification des données à grande dimension, explorant la malédiction de la dimensionnalité et le noyau tangent neuronal.

Apprentissage sans supervision : regroupement et réduction de dimensionnalité

Introduit l'apprentissage non supervisé en cluster avec les moyennes K et la réduction de dimensionnalité à l'aide de PCA, ainsi que des exemples pratiques.

Récapitulation des réseaux neuraux : fonctions d'activation

Couvre les bases des réseaux neuronaux, des fonctions d'activation, de la formation, du traitement d'image, des CNN, de la régularisation et des méthodes de réduction de dimensionnalité.

Afficher plus

Concepts associés (32)

Réseau de neurones récurrents

Réseau de neurones artificiels

Dimension

Réduction de la dimensionnalité

Apprentissage profond

Afficher plus