Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Q-Learning profond: DeepRL1.1

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours couvre Deep Q-learning, une implémentation simple de Q-learning dans les réseaux neuronaux profonds. Les sujets abordés incluent l'application de l'apprentissage Q profond dans des jeux comme Chess and Go, la rétropropagation pour l'apprentissage Q profond, l'examen des valeurs Q et V, les conditions de cohérence de l'équation de Bellman et la fonction semi-gradient sur erreur. La séance de cours se termine par un résumé de Deep Q-learning et des lectures recommandées.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Source officielle

Concepts associés (32)

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Apprentissage par renforcement profond

L'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.

Échecs

vignette|Anand - Kramnik, championnat du monde en 2008. vignette|Une partie simultanée donnée par le GM ukrainien Andrij Maksimenko à Toruń, Pologne. vignette|Enluminure, Liber de Moribus, vers 1300. vignette|Joueurs sur un échiquier géant à Lugano, Suisse. alt=Propriété exclusive de Thelma Ackermann. |vignette|Famille de la noblesse française jouant aux échecs dans les années 1860, carte de visite.

Chess.com

Chess.com est un serveur internet d'échecs, créé dans sa version actuelle en mai 2007. Il s'agit également d'un forum internet et d'un réseau social consacré aux échecs ainsi que d'une application mobile. En 2021, le site figure parmi les principaux serveurs d'échecs. En 2023, le site est considéré comme le serveur d'échecs le plus important du monde en termes de trafic. Il organise régulièrement des tournois de parties rapides et de blitz auxquels participent les meilleurs joueurs du monde. Chess.

Afficher plus

Séances de cours associées (56)

Premiers pas vers l’apprentissage par renforcement profond

Explore le passage à l'apprentissage par renforcement profond à travers les réseaux neuronaux pour l'apprentissage direct des politiques, en contournant les valeurs Q et V.

Introduction générale aux réseaux de neurones artificiels: partie 3

Couvre l'apprentissage par des récompenses dans l'apprentissage par renforcement profond sans détails mathématiques.

Optimisation des réseaux neuraux

Explore l'optimisation des réseaux neuronaux, y compris la rétropropagation, la normalisation des lots, l'initialisation du poids et les stratégies de recherche d'hyperparamètres.

Réseaux neuronaux : formation et activation

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.

Deep Learning : réseaux neuronaux convolutifs

Couvre les réseaux neuronaux convolutifs, les architectures standard, les techniques de formation et les exemples contradictoires en apprentissage profond.

Afficher plus

Concepts associés (32)

Q-learning

Apprentissage par renforcement

Apprentissage par renforcement profond

Échecs

Chess.com

Afficher plus