Séance de cours

Apprentissage du renforcement : neurorobotique Introduction

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours présente le concept de renforcement de l'apprentissage appliqué aux neurorobotiques, en mettant l'accent sur la mise en œuvre de l'algorithme SARSA dans un environnement simulé. L'instructeur présente l'adaptation des cartes auto-organisationnelles pour l'ASRA, le modèle d'action-récompense-action de l'État et le compromis d'exploration-exploitation dans la prise de décision des robots. La séance de cours se termine par une démonstration de la formation en SARSA dans un environnement simulé, montrant le processus d'apprentissage et les récompenses obtenues.

Source officielle

Concepts associés (6)

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Temporal difference learning

Le Temporal Difference (TD) learning est une classe d'algorithmes d'apprentissage par renforcement sans modèle. Ces algorithmes échantillonnent l'environnement de manière aléatoire à la manière des méthodes de Monte Carlo. Ils mettent à jour la politique (i.e. les actions à prendre dans chaque état) en se basant sur les estimations actuelles, comme les méthodes de programmation dynamique. Les méthodes TD ont un lien avec les modèles TD dans l'apprentissage animal. vignette|151x151px|Diagramme backup.

Grandes découvertes

L’expression « les grandes découvertes » sert généralement à désigner les explorations maritimes entreprises par les puissances européennes aux . Durant cette période, les monarchies et de riches compagnies commerciales financent de grandes expéditions dans le but d'explorer le monde, cartographier la planète et établir des contacts directs avec l'Afrique, l'Amérique, l'Asie et l'Océanie. L'expression « âge des découvertes » est également utilisée par les cartographes.

Comptoir

vignette|Le comptoir d'al-Moka, en mer Rouge, où se négociait le café et la myrrhe. Un comptoir commercial ou colonial est un territoire en pays étranger destiné à favoriser le commerce du pays gouvernant ce territoire avec les régions avoisinantes. Il s'agit aussi du nom de l'organisation qui régit ce territoire, fondée sur une entente entre producteurs ou vendeurs, servant d'intermédiaire entre ceux-ci et leur clientèle.

Afficher plus