Séance de cours

Comparaison des traces de SARSA et d'admissibilité

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours présente un quiz comparant l'algorithme SARSA en n-étape avec SARSA en utilisant des traces d'éligibilité. Le quiz consiste à analyser les mises à jour des valeurs Q dans les deux algorithmes sur la base d'un scénario de parcours graphique avec des récompenses et des facteurs de réduction.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Enseignement et PhD Doctorant·es actuel·les Tim Ruben Davidson, Skander Moalla, Anja Surina, Xiuying Wei, Liangze Jiang, Mikhail Terekhov, Amin Mansouri, Justin Samuel Deschenaux, Yitao Xu Cours Training Large Language Models EE-628

Source officielle

Concepts associés (9)

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Actualisation

L'actualisation est l'application de taux, dits taux d'actualisation, à des flux financiers non directement comparables et portant sur des durées différentes, afin de les comparer ou combiner de diverses façons. Elle apporte de la méthode dans le choix des investissements et peut intégrer l'évolution de la valeur de l'argent. Les méthodes d'actualisation doivent prendre en considération deux facteurs humains déterminant la valeur temps de l'argent : la préférence pour la jouissance immédiate et l'aversion au risque.

Discounted cash flow

The discounted cash flow (DCF) analysis, in finance, is a method used to value a security, project, company, or asset, that incorporates the time value of money. Discounted cash flow analysis is widely used in investment finance, real estate development, corporate financial management, and patent valuation. Used in industry as early as the 1700s or 1800s, it was widely discussed in financial economics in the 1960s, and U.S. courts began employing the concept in the 1980s and 1990s.

Temporal difference learning

Le Temporal Difference (TD) learning est une classe d'algorithmes d'apprentissage par renforcement sans modèle. Ces algorithmes échantillonnent l'environnement de manière aléatoire à la manière des méthodes de Monte Carlo. Ils mettent à jour la politique (i.e. les actions à prendre dans chaque état) en se basant sur les estimations actuelles, comme les méthodes de programmation dynamique. Les méthodes TD ont un lien avec les modèles TD dans l'apprentissage animal. vignette|151x151px|Diagramme backup.

Afficher plus

Séances de cours associées (33)

Apprentissage des différences temporelles

Couvertures Renforcement Théorie de l'apprentissage, Q-Learning, et horizons multi-étapes.

Économie immobilière MOOC: Economie du Sol et de l'Immobilier I

Couvre les calculs intertemporels, l'arbitrage du propriétaire foncier et l'évaluation de la rentabilité en économie immobilière.

Abrogation des valeurs futures : implications économiques

Couvre le concept d'actualisation des valeurs futures dans les calculs financiers et ses implications pour les investissements environnementaux et le changement climatique.

Décisions d’investissement : rentes et coûts d’actualisation

Couvre les décisions d'investissement, en se concentrant sur les rentes, les coûts d'actualisation et l'évaluation de la rentabilité par la valeur actualisée nette et les taux de rendement internes.

Réduction : Arbitrage intertemporel et évaluation financière

Couvre l'actualisation en économie de l'environnement, en mettant l'accent sur l'arbitrage intertemporel et l'évaluation des coûts et des avantages au fil du temps.

Afficher plus

Concepts associés (9)

Apprentissage par renforcement

Q-learning

Actualisation

Discounted cash flow

Temporal difference learning

Afficher plus