Séance de cours

Minimisation des risques à partir de données recueillies adaptativement

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre la minimisation des risques à partir de données recueillies adaptativement avec des garanties pour l'apprentissage des politiques, en mettant l'accent sur les expériences adaptatives, les observations séquentielles et l'importance des stratégies d'exploration. L'instructeur discute des concepts clés, tels que l'exploration en ligne, la séquence de différence de martingale et les fondements théoriques de l'apprentissage des politiques.

Source officielle

Concepts associés (31)

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Analyse séquentielle

En statistique, l'analyse séquentielle, ou test d'hypothèse séquentiel, est une analyse statistique où la taille de l'échantillon n'est pas fixée à l'avance. Plutôt, les données sont évaluées au fur et à mesure qu'elles sont recueillies, et l'échantillonnage est arrêté selon une règle d'arrêt prédéfinie, dès que des résultats significatifs sont observés. Une conclusion peut ainsi parfois être atteinte à un stade beaucoup plus précoce que ce qui serait possible avec des tests d'hypothèse ou des estimations plus classiques, à un coût financier ou humain par conséquent inférieur.

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Temporal difference learning

Le Temporal Difference (TD) learning est une classe d'algorithmes d'apprentissage par renforcement sans modèle. Ces algorithmes échantillonnent l'environnement de manière aléatoire à la manière des méthodes de Monte Carlo. Ils mettent à jour la politique (i.e. les actions à prendre dans chaque état) en se basant sur les estimations actuelles, comme les méthodes de programmation dynamique. Les méthodes TD ont un lien avec les modèles TD dans l'apprentissage animal. vignette|151x151px|Diagramme backup.

CUSUM

In statistical quality control, the CUsUM (or cumulative sum control chart) is a sequential analysis technique developed by E. S. Page of the University of Cambridge. It is typically used for monitoring change detection. CUSUM was announced in Biometrika, in 1954, a few years after the publication of Wald's sequential probability ratio test (SPRT). E. S. Page referred to a "quality number" , by which he meant a parameter of the probability distribution; for example, the mean.

Afficher plus

Séances de cours associées (43)

Apprentissage par renforcement : TD Learning et les variantes de la LEP

Discute de l'apprentissage par renforcement, en se concentrant sur l'apprentissage par différence temporelle et les variations de l'algorithme SARSA.

Renforcement de l'apprentissage : Q-Learning

Couvre l'apprentissage Q en renforçant l'apprentissage, en explorant les valeurs d'action, les politiques et l'impact sociétal des algorithmes.

Agents d'apprentissage profond : Renforcement de l'apprentissage

Explore les agents d'apprentissage profond dans l'apprentissage du renforcement, en mettant l'accent sur les approximations du réseau neuronal et les défis dans la formation des systèmes multiactifs.

Renforcement de l’apprentissage : l’apprentissage basé sur la récompense

Explore les réseaux neuronaux artificiels, les informations sur les récompenses dans le cerveau, le conditionnement animal, l'apprentissage par renforcement profond et un quiz sur les récompenses.

TD Learning : Apprentissage par différence temporelle

Couvre l'apprentissage par différence temporelle, les valeurs V, les valeurs d'état et les méthodes TD dans l'apprentissage par renforcement.

Afficher plus

Concepts associés (31)

Apprentissage par renforcement

Analyse séquentielle

Q-learning

Temporal difference learning

CUSUM

Afficher plus