Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Mini-bateaux dans l'apprentissage de renforcement profond sur-et-hors-politique

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours couvre l'importance des mini-batches dans l'apprentissage par renforcement profond, expliquant comment éviter la corrélation de données en utilisant des tampons de relecture ou plusieurs acteurs. Il aborde les méthodes on-policy et off-policy, telles que Q-Learning et Advantage Actor-Critic, ainsi que les avantages et les inconvénients de chaque approche.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Source officielle

Concepts associés (26)

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Apprentissage par renforcement profond

L'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Politique publique

Une politique publique est une intervention de l'État ou d'une autre autorité publique (banque centrale, collectivité territoriale, ...) afin d'avoir un effet sur la société ou un territoire. Les politiques publiques sont la modalité d'action de la puissance publique. Jean-Claude Thoenig définit les politiques publiques comme les . Le terme prend un sens différent selon la discipline qui l'utilise.

Évaluation des politiques publiques

L’évaluation des politiques publiques en tant que nouvel outil d’aide à la décision publique est apparue aux États-Unis dans les années 1960 avant de se développer au Royaume-Uni, dans les pays scandinaves puis dans les autres démocraties occidentales vingt ans plus tard, notamment à l’initiative de la Commission européenne, qui en a fait une exigence règlementaire systématique dans le cadre des financements alloués aux États membres à partir des années 1990.

Afficher plus

Séances de cours associées (34)

Apprentissage par renforcement profond: mini-bateaux et méthodes politiques

Discute des méthodes d'apprentissage par renforcement profond, en se concentrant sur les mini-batchs et les implications des techniques de formation on-policy et off-policy.

Apprentissage par renforcement : TD Learning et les variantes de la LEP

Discute de l'apprentissage par renforcement, en se concentrant sur l'apprentissage par différence temporelle et les variations de l'algorithme SARSA.

Perception : Approches fondées sur les données

Explore la perception dans l'apprentissage profond pour les véhicules autonomes, couvrant la classification d'image, les méthodes d'optimisation, et le rôle de la représentation dans l'apprentissage automatique.

Apprentissage par renforcement: gradient de politique et méthodes critiques pour les acteurs

Fournit une vue d'ensemble de l'apprentissage par renforcement, en se concentrant sur le gradient de politique et les méthodes critiques des acteurs pour les réseaux de neurones artificiels profonds.

Renforcement de l'apprentissage : Q-Learning

Couvre l'apprentissage Q en renforçant l'apprentissage, en explorant les valeurs d'action, les politiques et l'impact sociétal des algorithmes.

Afficher plus

Concepts associés (26)

Q-learning

Apprentissage par renforcement profond

Apprentissage par renforcement

Politique publique

Évaluation des politiques publiques

Afficher plus