Séance de cours

Apprentissage des caractéristiques: Stabilité et malédiction de la dimensionnalité

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

PHYS-754: Lecture series on scientific machine learning

This lecture presents ongoing work on how scientific questions can be tackled using machine learning. Machine learning enables extracting knowledge from data computationally and in an automatized way. We will learn on examples how this is influencing the v ...

Description

Cette séance de cours traite de la malédiction de la dimensionnalité et de la façon dont les architectures modernes la surmontent en étant à la fois invariante locale et translationnelle, soulignant l’importance de la stabilité pour faciliter les transformations dans les modèles d’apprentissage profond. Il explore les avantages de l'apprentissage des fonctionnalités dans l'adaptation des échelles de mise en commun et l'importance de la stabilité des déformations dans les performances du réseau. L'instructeur présente des preuves empiriques montrant que l'apprentissage profond converge vers des algorithmes bien définis, battant la malédiction de la dimensionnalité en considérant les objets comme des parties locales avec des positions relatives fluctuantes.

Enseignant·e·s (10)

Anne-Florence Raphaëlle Bitbol

I was trained in physics, and always had a strong interest in biology. I am broadly interested in understanding biological phenomena in a quantitative way, through physical concepts and mathematical and computational tools. I investigate the relative impacts of optimization and historical contingency in biological evolution, both at the scale of protein sequences and at the scale of microbial populations.Here is my research group website.Curriculum vitae Here is my complete CV. Professional experience:Since

Alexander Mathis

Alexander studied pure mathematics with a minor in logic and theory of science at the Ludwig Maximilians University in Munich. For his PhD also at LMU, he worked on optimal coding approaches to elucidate the properties of grid cells. As a postdoctoral fellow with Prof. Venkatesh N. Murthy at Harvard University and Prof. Matthias Bethge at Tuebingen AI, he decided to study olfactory behaviors such as odor-guided navigation, social behaviors and the cocktail party problem in mice. During this time, he increasingly got interested sensorimotor behaviors beyond olfaction and started working on proprioception, motor adaption, as well as computer vision tools for measuring animal behavior. In his group, he is interested in elucidating how the brain gives rise to adaptive behavior. One of the major goals is to synthesize large datasets into computationally useful information. For those purposes, he develops algorithms and systems to analyze animal behavior (e.g. DeepLabCut), neural data, as well as creates experimentally testable computational models.

Giuseppe Carleo

Twitter https://twitter.com/gppcarleo Enseignement et PhD Doctorant·es actuel·les Gian Gentinetta, Linda Mauron, Samuele Piccinelli, Alessandro Sinibaldi, Shao Hen Chiew, David Linteau, Clemens Giuliani, Ali Goodarzi, Gianluca Grosso, Ruize Ma, Ekaterina Pankovets A dirigé les thèses EPFL de Dian Wu, Julien Sebastian Gacon, Gabriel Maria Pescia, Barison Stefano, Imelda Romero Cours Advanced computational physics PHYS-339 Le cours couvre l'algèbre linéaire dense/creuse, les méthodes variati

Lenka Zdeborová

Lenka Zdeborová is a Professor of Physics and of Computer Science in École Polytechnique Fédérale de Lausanne where she leads the Statistical Physics of Computation Laboratory. She received a PhD in physics from University Paris-Sud and from Charles University in Prague in 2008. She spent two years in the Los Alamos National Laboratory as the Director's Postdoctoral Fellow. Between 2010 and 2020 she was a researcher at CNRS working in the Institute of Theoretical Physics in CEA Saclay, France. In 2014, she was awarded the CNRS bronze medal, in 2016 Philippe Meyer prize in theoretical physics and an ERC Starting Grant, in 2018 the Irène Joliot-Curie prize, in 2021 the Gibbs lectureship of AMS. She is an editorial board member for Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, and Information and Inference. Lenka's expertise is in applications of concepts from statistical physics, such as advanced mean field methods, replica method and related message-passing algorithms, to problems in machine learning, signal processing, inference and optimization. She enjoys erasing the boundaries between theoretical physics, mathematics and computer science.

Source officielle

Concepts associés (32)

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Apprentissage de représentations

En apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Neural network

A neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.

Afficher plus

Séances de cours associées (64)

Paysage et généralisation dans l'apprentissage profond

Explore les défis et les points de vue de l'apprentissage profond, en mettant l'accent sur le paysage des pertes, la généralisation et l'apprentissage caractéristique.

Perception : Approches fondées sur les données

Explore la perception dans l'apprentissage profond pour les véhicules autonomes, couvrant la classification d'image, les méthodes d'optimisation, et le rôle de la représentation dans l'apprentissage automatique.

Deep Learning : dimensionnalité et représentation des données

Plonge dans la dimensionnalité de l'apprentissage profond, la représentation des données et la performance dans la classification des données à grande dimension, explorant la malédiction de la dimensionnalité et le noyau tangent neuronal.

Introduction à l'apprentissage automatique

Fournit un aperçu de l'apprentissage automatique, y compris le contexte historique, les tâches clés, et les applications du monde réel.

Machine Learning pour l'extraction de fonctionnalités

Explore l'apprentissage automatique pour l'extraction de fonctionnalités, la vision 3D et les réseaux neuronaux en robotique mobile.

Afficher plus

Concepts associés (32)

Réseau de neurones récurrents

Apprentissage profond

Apprentissage de représentations

Réseau de neurones artificiels

Neural network

Afficher plus