Séance de cours

Agents d'apprentissage: Tradeoff Exploration-Exploitation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-430: Intelligent agents

Software agents are widely used to control physical, economic and financial processes. The course presents practical methods for implementing software agents and multi-agent systems, supported by programming exercises, and the theoretical underpinnings inc ...

Description

Cette séance de cours couvre la mise en œuvre d'agents réactifs qui apprennent des observations, en se concentrant sur le compromis exploration-exploitation dans l'apprentissage des effets inconnus des actions. Il examine les scénarios où un adversaire peut influencer le monde et les techniques pour développer des stratégies robustes. Les sujets incluent les bandits multi-armes, Q-learning, les bandits contextuels, et des stratégies comme epsilon-greedy, Thompson sampling, et regret matching. La séance de cours explore également les défis de l'apprentissage avec les transitions d'état et l'utilisation de l'apprentissage Q profond et de la rediffusion d'expérience pour les relever.

Enseignant·e

Boi Faltings

Professor Faltings joined EPFL in 1987 as professor of Artificial Intelligence. He holds a PhD degree from the University of Illinois at Urbana-Champaign, and a diploma from the ETHZ. His research has spanned different areas of intelligent systems linked to model-based reasoning. In particular, he has contributed to qualitative spatial reasoning, case-based reasoning (especially for design problems), constraint satisfaction for design and logistics problems, multi-agent systems, and intelligent user interfaces. His current work is oriented towards multi-agent systems and social computing, using concepts of game theory, constraint optimization and machine learning. In 1999, Professor Faltings co-founded Iconomic Systems, a company that developed a new agent-based paradigm for travel e-commerce. He has since co-founded 5 other startup companies and advised several others. Prof. Faltings has published more than 150 refereed papers on his work, and participates regularly in program committees of all major conferences in the field. He has served as associate editor of of the major journals, including the Journal of Artificial Intelligence Research (JAIR) and the Artificial Intelligence Journal. From 1996 to 1998, he served as head of the computer science department.

Source officielle

Concepts associés (32)

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Apprentissage automatique

L'apprentissage automatique (en anglais : machine learning, « apprentissage machine »), apprentissage artificiel ou apprentissage statistique est un champ d'étude de l'intelligence artificielle qui se fonde sur des approches mathématiques et statistiques pour donner aux ordinateurs la capacité d'« apprendre » à partir de données, c'est-à-dire d'améliorer leurs performances à résoudre des tâches sans être explicitement programmés pour chacune. Plus largement, il concerne la conception, l'analyse, l'optimisation, le développement et l'implémentation de telles méthodes.

Apprentissage par renforcement profond

L'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Afficher plus

Séances de cours associées (64)

Acquérir des données pour l'apprentissage : approches et défis modernes

Explore les approches et les défis modernes en matière d'acquisition de données pour l'apprentissage de contrôleurs optimaux au moyen de démonstrations et de méthodes axées sur les données.

Les neurosciences et l'IA : combler l'écart

Explore l'écart entre l'intelligence artificielle et l'intelligence humaine grâce à des modèles et des algorithmes inspirés par les neurosciences.

Apprentissage par renforcement: gradient de politique et méthodes critiques pour les acteurs

Fournit une vue d'ensemble de l'apprentissage par renforcement, en se concentrant sur le gradient de politique et les méthodes critiques des acteurs pour les réseaux de neurones artificiels profonds.

Perception : Approches fondées sur les données

Explore la perception dans l'apprentissage profond pour les véhicules autonomes, couvrant la classification d'image, les méthodes d'optimisation, et le rôle de la représentation dans l'apprentissage automatique.

Physique statistique dans l'apprentissage automatique: Comprendre l'apprentissage profond

Explore l'application de la physique statistique à la compréhension de l'apprentissage profond en mettant l'accent sur les réseaux neuronaux et les défis de l'apprentissage automatique.

Afficher plus

Concepts associés (32)

Q-learning

Apprentissage automatique

Apprentissage par renforcement profond

Apprentissage profond

Apprentissage par renforcement

Afficher plus