Séance de cours

Apprentissage du renforcement: processus Markov et optimisation des politiques

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les fondamentaux de l'apprentissage du renforcement, en commençant par les processus de Markov et l'optimisation des politiques. Les sujets comprennent les propriétés de Markov, l'évolution du temps dans les processus de Markov, les règles de décision et les techniques d'optimisation des politiques telles que la paramétrisation et l'ascension des gradients. La séance de cours traite également de la convergence vers une politique optimale, de l'estimation des valeurs attendues et des défis du renforcement des méthodes d'apprentissage. L'accent est mis sur la compréhension des processus de Markov, l'optimisation des politiques et les compromis impliqués dans le renforcement des algorithmes d'apprentissage.

Source officielle

Concepts associés (32)

Chaîne de Markov

vignette|Exemple élémentaire de chaîne de Markov, à deux états A et E. Les flèches indiquent les probabilités de transition d'un état à un autre. En mathématiques, une chaîne de Markov est un processus de Markov à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »).

Propriété de Markov

vignette|Exemple de processus stochastique vérifiant la propriété de Markov: un mouvement Brownien (ici représenté en 3D) d'une particule dont la position à un instant t+1 ne dépend que de la position précédente à l'instant t. En probabilité, un processus stochastique vérifie la propriété de Markov si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donnés les états passés et l'état présent, ne dépend en fait que de l'état présent et non pas des états passés (absence de « mémoire »).

Markov model

In probability theory, a Markov model is a stochastic model used to model pseudo-randomly changing systems. It is assumed that future states depend only on the current state, not on the events that occurred before it (that is, it assumes the Markov property). Generally, this assumption enables reasoning and computation with the model that would otherwise be intractable. For this reason, in the fields of predictive modelling and probabilistic forecasting, it is desirable for a given model to exhibit the Markov property.

Evolutionism

Evolutionism is a term used (often derogatorily) to denote the theory of evolution. Its exact meaning has changed over time as the study of evolution has progressed. In the 19th century, it was used to describe the belief that organisms deliberately improved themselves through progressive inherited change (orthogenesis). The teleological belief went on to include cultural evolution and social evolution. In the 1970s, the term "Neo-Evolutionism" was used to describe the idea that "human beings sought to preserve a familiar style of life unless change was forced on them by factors that were beyond their control.

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Afficher plus

Séances de cours associées (64)

La mécanique quantique : évolution du temps

Explore l'évolution du temps en mécanique quantique, couvrant la compatibilité, l'incertitude et les propriétés d'évolution.

Exploration de l'évolution: preuves moléculaires et mécanismes

Explore les preuves moléculaires et les mécanismes de l'évolution, y compris les arbres phylogénétiques et les comparaisons de protéines.

Équation de Lindblad

Couvre la dérivation de l'équation de Lindblad et l'évolution des gaz quantiques.

Introduction aux composites polymères

Couvre les principes fondamentaux et les applications des composites polymères dans l'ingénierie moderne.

Théorie quantique des champs : BRST Symétrie

Couvre la symétrie BRST dans la théorie quantique des champs, en se concentrant sur les états physiques et la préservation des normes.

Afficher plus

Concepts associés (32)

Apprentissage par renforcement

Afficher plus