Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Réseaux neuronaux pour l’apprentissage par l’action : Insights sur la mise en œuvre du cerveau

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours couvre les réseaux neuronaux pour l'apprentissage par l'action, en se concentrant sur la mise en œuvre par le cerveau d'algorithmes d'apprentissage par renforcement. Il traite du modèle Actor-Critic, des règles à trois facteurs dans le cerveau, des expériences de conditionnement des animaux et du rôle de la dopamine en tant que troisième facteur dans les changements synaptiques.

Enseignant·e·s (2)

Caglar Gulcehre

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Source officielle

Concepts associés (29)

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Apprentissage par renforcement profond

L'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Conditionnement classique

vignette|thumbtime=192|L'expérience du petit Albert. Le conditionnement classique (aussi appelé conditionnement répondant, conditionnement de type I ou conditionnement pavlovien) est proposé par Ivan Pavlov en 1903. La publication de son livre « Conditioned Reflexes: an Investigation of the Psysiological Activity of the Cerebral Cortex » en 1927 a laissé un impact majeur sur le développement de la psychologie. Cette théorie s'intéresse aux résultats d'un apprentissage dû à l'association entre des stimuli de l'environnement et les réactions inconditionnelles de l'organisme.

Conditionnement opérant

Le conditionnement opérant (appelé aussi conditionnement instrumental, apprentissage skinnerien ou conditionnement de type II) est un concept du béhaviorisme initié par Edward Thorndike et développé par Burrhus Frederic Skinner au milieu du . Cette théorie s'intéresse à l'apprentissage dont résulte une action et tient compte de conséquences de cette dernière rendant plus ou moins probable la reproduction dudit comportement.

Afficher plus

Séances de cours associées (35)

Réseaux de neurones pour l'apprentissage par l'action: règles à trois facteurs et dopamine

Explore les réseaux neuronaux apprenant par récompense, les structures acteur-critique, la plasticité synaptique et le rôle de la dopamine dans les changements synaptiques.

Renforcement de l’apprentissage : l’apprentissage basé sur la récompense

Explore les réseaux neuronaux artificiels, les informations sur les récompenses dans le cerveau, le conditionnement animal, l'apprentissage par renforcement profond et un quiz sur les récompenses.

Perception : Approches fondées sur les données

Explore la perception dans l'apprentissage profond pour les véhicules autonomes, couvrant la classification d'image, les méthodes d'optimisation, et le rôle de la représentation dans l'apprentissage automatique.

Réseaux neuronaux : apprentissage multicouche

Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond, y compris la propagation arrière et les architectures réseau comme LeNet, AlexNet et VGG-16.

Le paysage d'optimisation de Convex caché des réseaux neuronaux profonds

Explore le paysage d'optimisation convexe caché des réseaux neuronaux profonds, montrant la transition des modèles non convexes aux modèles convexes.

Afficher plus

Concepts associés (29)

Apprentissage par renforcement

Apprentissage par renforcement profond

Q-learning

Conditionnement classique

Conditionnement opérant

Afficher plus