Séance de cours

Traces dans les algorithmes de gradient de politique

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours explore comment les traces d'éligibilité émergent dans les algorithmes de gradient de politique lors de l'optimisation du rendement dans un environnement en plusieurs étapes. L'instructeur esquisse des étapes mathématiques importantes, y compris l'utilisation de variables d'ombre et la règle de mise à jour pour les paramètres avec trace d'éligibilité. Le concept de maximisation du rendement réduit avec gradient de politique conduit naturellement à des traces dadmissibilité, ce qui le rend facile à mettre en œuvre. La séance de cours couvre également Actor-Critic avec des traces d'éligibilité, en mettant l'accent sur l'estimation des fonctions de valeur d'état et le paramétrage des politiques. En mettant à jour les traces d'admissibilité tout en se déplaçant, le processus d'apprentissage devient rapide et efficace.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Enseignement et PhD Doctorant·es actuel·les Tim Ruben Davidson, Skander Moalla, Anja Surina, Xiuying Wei, Liangze Jiang, Mikhail Terekhov, Amin Mansouri, Justin Samuel Deschenaux, Yitao Xu Cours Training Large Language Models EE-628

Source officielle

Concepts associés (14)

Discounted cash flow

The discounted cash flow (DCF) analysis, in finance, is a method used to value a security, project, company, or asset, that incorporates the time value of money. Discounted cash flow analysis is widely used in investment finance, real estate development, corporate financial management, and patent valuation. Used in industry as early as the 1700s or 1800s, it was widely discussed in financial economics in the 1960s, and U.S. courts began employing the concept in the 1980s and 1990s.

Actualisation

L'actualisation est l'application de taux, dits taux d'actualisation, à des flux financiers non directement comparables et portant sur des durées différentes, afin de les comparer ou combiner de diverses façons. Elle apporte de la méthode dans le choix des investissements et peut intégrer l'évolution de la valeur de l'argent. Les méthodes d'actualisation doivent prendre en considération deux facteurs humains déterminant la valeur temps de l'argent : la préférence pour la jouissance immédiate et l'aversion au risque.

Valuation using discounted cash flows

Valuation using discounted cash flows (DCF valuation) is a method of estimating the current value of a company based on projected future cash flows adjusted for the time value of money. The cash flows are made up of those within the “explicit” forecast period, together with a continuing or terminal value that represents the cash flow stream after the forecast period. In several contexts, DCF valuation is referred to as the "income approach".

Taux de rentabilité interne

Le taux de rentabilité interne (TRI) est un taux d'actualisation qui annule la valeur actuelle nette d'une série de flux financiers (en général relatifs à un projet avec un investissement initial suivi de flux de trésorerie positifs). Le TRI est un outil de décision à l'investissement. Un projet d'investissement ne sera généralement retenu que si son TRI prévisible est suffisamment supérieur au taux d'intérêt bancaire, pour tenir compte notamment de la prime de risque propre au type de projet.

Valeur actuelle nette

La valeur actuelle nette (VAN, en anglais : net present value, NPV) est une mesure de la rentabilité d'un investissement calculée comme la somme des flux de trésorerie engendrés par cette opération, chacun étant actualisé de façon à réduire son importance dans cette somme à mesure de son éloignement dans le temps. Si le taux d'actualisation est choisi convenablement, l'investissement sera réputé rentable et donc retenu si et seulement si sa valeur actuelle nette est positive.

Afficher plus

Séances de cours associées (63)

Décisions d’investissement : rentes et coûts d’actualisation

Couvre les décisions d'investissement, en se concentrant sur les rentes, les coûts d'actualisation et l'évaluation de la rentabilité par la valeur actualisée nette et les taux de rendement internes.

Principes de finance: évaluation des actions et stratégies d'investissement

Explore l'évaluation des actions, la relation risque-rendement et les rendements du portefeuille en fonction des pondérations.

Principes de la finance : risque et rendement

Explore les principes de la finance en ce qui concerne le risque et le rendement dans les décisions d'investissement.

Choix de l'investissement : analyse et décisions

Explore l'analyse des investissements, y compris les valeurs de la ferraille, les taux d'actualisation et les taux de rendement internes.

Valorisation des investissements : concepts de valeur actuelle et future

Explique les concepts de valeur présents et futurs dans l'évaluation des investissements, en mettant l'accent sur leur calcul et leur importance dans la prise de décision financière.

Afficher plus

Concepts associés (14)

Discounted cash flow

Actualisation

Valuation using discounted cash flows

Taux de rentabilité interne

Valeur actuelle nette

Afficher plus