Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Apprentissage du renforcement : Traces d'admissibilité

Description

Cette séance de cours porte sur la théorie de l'apprentissage du renforcement, le dilemme de l'exploration et de l'exploration, l'apprentissage des différences temporelles et les traces d'admissibilité, en mettant l'accent sur la mise à jour des valeurs d'action antérieures le long de la trajectoire. L'algorithme SARSA est présenté, ainsi que ses règles d'initialisation et de mise à jour. Il est recommandé d'ajouter du matériel de lecture pour mieux comprendre.

Source officielle

Concepts associés (10)

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Temporal difference learning

Le Temporal Difference (TD) learning est une classe d'algorithmes d'apprentissage par renforcement sans modèle. Ces algorithmes échantillonnent l'environnement de manière aléatoire à la manière des méthodes de Monte Carlo. Ils mettent à jour la politique (i.e. les actions à prendre dans chaque état) en se basant sur les estimations actuelles, comme les méthodes de programmation dynamique. Les méthodes TD ont un lien avec les modèles TD dans l'apprentissage animal. vignette|151x151px|Diagramme backup.

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Action de groupe (mathématiques)

En mathématiques, une action d'un groupe sur un ensemble est une loi de composition externe du groupe sur l'ensemble, vérifiant des conditions supplémentaires. Plus précisément, c'est la donnée, pour chaque élément du groupe, d'une permutation de l'ensemble, de telle manière que toutes ces bijections se composent de façon compatible avec la loi du groupe. Étant donné un ensemble E et un groupe G, dont la loi est notée multiplicativement et dont l'élément neutre est noté e, une action (ou opération) de G sur E est une application : vérifiant chacune des 2 propriétés suivantes : On dit également que G opère (ou agit) sur l'ensemble E.

Continuous symmetry

In mathematics, continuous symmetry is an intuitive idea corresponding to the concept of viewing some symmetries as motions, as opposed to discrete symmetry, e.g. reflection symmetry, which is invariant under a kind of flip from one state to another. However, a discrete symmetry can always be reinterpreted as a subset of some higher-dimensional continuous symmetry, e.g. reflection of a 2 dimensional object in 3 dimensional space can be achieved by continuously rotating that object 180 degrees across a non-parallel plane.

Afficher plus

Séances de cours associées (5)

Apprentissage des différences temporelles

Couvertures Renforcement Théorie de l'apprentissage, Q-Learning, et horizons multi-étapes.

Revêtement galoisien et actions totalement discontinues

Couvre le concept de revêtement galoisien et les actions qui sont totalement discontinues.

Principes fondamentaux de l'apprentissage par renforcement

Plongez dans les bases de l'apprentissage par renforcement, en discutant des états, des actions, des récompenses, des politiques et des applications de réseaux neuronaux.

Méthodes de gradient de politique dans l'apprentissage par renforcement Connectez-vous à Mediaspace pour regarder cette vidéo

Couvre les méthodes de gradient de politique dans l'apprentissage du renforcement, en se concentrant sur les techniques d'optimisation et les applications pratiques comme le problème du poteau.

Réseau neuronal Rapprochement et apprentissage Connectez-vous à Mediaspace pour regarder cette vidéo

S'oriente vers l'approximation du réseau neuronal, l'apprentissage supervisé, les défis de l'apprentissage à haute dimension et la révolution expérimentale de l'apprentissage profond.