Séance de cours

Méthodes de dégradé de politique: plusieurs étapes temporelles

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours couvre les méthodes de gradient de politique sur plusieurs étapes temporelles, dans le but de mettre à jour les paramètres de politique pour maximiser la récompense totale escomptée. Les diapositives présentent la dérivation de ces méthodes, y compris le calcul des récompenses accumulées en épisodes et le pseudo-code de l'algorithme REINFORCE.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Enseignement et PhD Doctorant·es actuel·les Tim Ruben Davidson, Skander Moalla, Anja Surina, Xiuying Wei, Liangze Jiang, Mikhail Terekhov, Amin Mansouri, Justin Samuel Deschenaux, Yitao Xu Cours Training Large Language Models EE-628

Source officielle

Concepts associés (32)

Apprentissage par renforcement profond

L'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Dérivée

En mathématiques, la dérivée d'une fonction d'une variable réelle mesure l'ampleur du changement de la valeur de la fonction (valeur de sortie) par rapport à un petit changement de son argument (valeur d'entrée). Les calculs de dérivées sont un outil fondamental du calcul infinitésimal. Par exemple, la dérivée de la position d'un objet en mouvement par rapport au temps est la vitesse (instantanée) de l'objet. La dérivée d'une fonction est une fonction qui, à tout nombre pour lequel admet un nombre dérivé, associe ce nombre dérivé.

Generalizations of the derivative

In mathematics, the derivative is a fundamental construction of differential calculus and admits many possible generalizations within the fields of mathematical analysis, combinatorics, algebra, geometry, etc. The Fréchet derivative defines the derivative for general normed vector spaces . Briefly, a function , an open subset of , is called Fréchet differentiable at if there exists a bounded linear operator such that Functions are defined as being differentiable in some open neighbourhood of , rather than at individual points, as not doing so tends to lead to many pathological counterexamples.

Dérivée seconde

La dérivée seconde est la dérivée de la dérivée d'une fonction, lorsqu'elle est définie. Elle permet de mesurer l'évolution des taux de variations. Par exemple, la dérivée seconde du déplacement par rapport au temps est la variation de la vitesse (taux de variation du déplacement), soit l'accélération. Si la fonction admet une dérivée seconde, on dit qu'elle est de classe D2 ; si de plus cette dérivée seconde est continue, la fonction est dite de classe C2.

Afficher plus

Séances de cours associées (32)

Calcul différentiel : définition et dérivéabilité

Explore la définition et la dérivée des fonctions dans le calcul différentiel, en mettant laccent sur la différentiabilité à des points spécifiques.

Tangente au graphe d'une fonction

Explore la recherche de l'équation de la tangente au graphe d'une fonction à un point.

Dérivés : définition et propriétés

Explore la définition et les propriétés des dérivés, y compris les pentes des lignes tangentes et les conditions de différentiabilité.

Règle de chaîne dérivée

Couvre la dérivée de la composition de deux fonctions et la règle de chaîne théorème.

Dérivabilité et continuité

Explore la dérivation, la continuité et les fonctions composites avec des exemples illustratifs.

Afficher plus

Concepts associés (32)

Apprentissage par renforcement profond

Apprentissage par renforcement

Dérivée

Generalizations of the derivative

Dérivée seconde

Afficher plus