Séance de cours

NLP moderne: de GPT à ChatGPT

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre l'évolution du traitement moderne du langage naturel (NLP) de GPT-2 à GPT-3, en mettant l'accent sur l'échelle, le comportement émergent, l'apprentissage en contexte, le raisonnement de la chaîne de pensée et le développement de ChatGPT. Il traite de la transition de l'apprentissage traditionnel à l'apprentissage en contexte, de l'importance des modèles linguistiques à grande échelle et de l'impact d'un ingénierie rapide et d'un alignement rapide. L'instructeur met l'accent sur l'émergence de nouvelles méthodes efficaces d'adaptation des modèles à diverses tâches, y compris l'utilisation de l'apprentissage du renforcement pour l'enseignement. La séance de cours explore également la mise en œuvre d'algorithmes d'apprentissage de renforcement comme Proximal Policy Optimization (PPO) pour l'optimisation des modèles.

Source officielle

Concepts associés (32)

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Grand modèle de langage

Un grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Alignement des intelligences artificielles

Lalignement des intelligences artificielles (ou alignement de l'IA, ou encore problème de l'alignement) est un champ de recherche visant à concevoir des intelligences artificielles (IA) dont les résultats s'orientent vers les objectifs, éthiques ou autres, de leurs concepteurs. On dit ainsi qu'une IA est alignée avec un opérateur si elle essaie de faire ce que l'opérateur veut qu'elle fasse. Les systèmes d'IA peuvent être difficiles à aligner, et être dysfonctionnels ou dangereux si mal alignés.

Modèle de langage

En traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.

Afficher plus

Séances de cours associées (64)

Démarrage et alignement

Explore l'incitation, l'alignement et les capacités des grands modèles de langage pour les tâches de traitement du langage naturel.

Modèles Vision-Langue-Action : Formation et applications

Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.

Apprentissage automatique: Techniques d'apprentissage supervisé et non supervisé

Couvre les techniques d'apprentissage supervisées et non supervisées dans l'apprentissage automatique, en mettant en évidence leurs applications dans la finance et l'analyse environnementale.

Préformation: Transformateurs et modèles

Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.

Paysage et généralisation dans l'apprentissage profond

Explore les défis et les points de vue de l'apprentissage profond, en mettant l'accent sur le paysage des pertes, la généralisation et l'apprentissage caractéristique.

Afficher plus

Concepts associés (32)

Apprentissage par renforcement

Grand modèle de langage

Q-learning

Alignement des intelligences artificielles

Modèle de langage

Afficher plus