Séance de cours

Exploration et exploitation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours porte sur la théorie du renforcement de l'apprentissage, en mettant l'accent sur le dilemme de l'exploration et de l'exploration, l'apprentissage des différences temporelles et les traces d'admissibilité dans les espaces d'état et d'action continus. Il examine les défis que pose l'estimation des probabilités de récompense et les stratégies visant à équilibrer l'exploration pour estimer les récompenses et l'exploitation afin de maximiser les récompenses.

Source officielle

Concepts associés (4)

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Temporal difference learning

Le Temporal Difference (TD) learning est une classe d'algorithmes d'apprentissage par renforcement sans modèle. Ces algorithmes échantillonnent l'environnement de manière aléatoire à la manière des méthodes de Monte Carlo. Ils mettent à jour la politique (i.e. les actions à prendre dans chaque état) en se basant sur les estimations actuelles, comme les méthodes de programmation dynamique. Les méthodes TD ont un lien avec les modèles TD dans l'apprentissage animal. vignette|151x151px|Diagramme backup.

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Exploration spatiale

vignette|Les premiers pas d'humains sur la Lune : Buzz Aldrin photographié par Neil Armstrong sur la surface lunaire le pour la mission Apollo 11. L'exploration spatiale est l'ensemble des activités qui sont réalisées dans l'espace. Elles reposent sur des techniques spécifiques relevant de l'astronautique qui permettent la réalisation de lanceurs, de satellites, de sondes spatiales, d'équipements et d'instruments spécifiques. L'exploration de l'espace remplit des objectifs scientifiques, économiques, ou militaires.

Concepts associés (4)

Apprentissage par renforcement

Temporal difference learning

Q-learning

Exploration spatiale