Séance de cours

BERT: Préformation et Applications

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre la préformation des transformateurs, en se concentrant sur BERT. Il explique le processus de préformation des codeurs et des décodeurs, l'architecture du modèle BERT et sa formation sur les grands ensembles de données. Il traite également des applications de BERT dans diverses tâches de traitement du langage naturel, telles que la réponse aux questions, l'analyse des sentiments et la détection de paraphrases.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Source officielle

Concepts associés (25)

Grand modèle de langage

Un grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.

Modèle de langage

En traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Langage de modélisation

Un langage de modélisation est un langage artificiel qui peut être utilisé pour exprimer de l'information ou de la connaissance ou des systèmes dans une structure qui est définie par un ensemble cohérent de règles. Les règles sont utilisées pour l'interprétation de la signification des composants dans la structure. Un langage de modélisation peut être graphique ou textuel.

UML (informatique)

Le Langage de Modélisation Unifié, de l'anglais Unified Modeling Language (UML), est un langage de modélisation graphique à base de pictogrammes conçu comme une méthode normalisée de visualisation dans les domaines du développement logiciel et en conception orientée objet. L'UML est une synthèse de langages de modélisation objet antérieurs : Booch, OMT, OOSE. Principalement issu des travaux de Grady Booch, James Rumbaugh et Ivar Jacobson, UML est à présent un standard adopté par l'Object Management Group (OMG).

Afficher plus

Séances de cours associées (64)

Préformation: Transformateurs et modèles

Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.

Représentations contextuelles : ELMO et BERT Vue d'ensemble

Couvre les représentations contextuelles en PNL, en se concentrant sur les architectures ELMO et BERT et leurs applications dans diverses tâches.

Modèles de séquence de préformation: BART et T5

Couvre la préformation des modèles séquence à séquence, en se concentrant sur les architectures BART et T5.

Transformers: Techniques de pré-entraînement et de décodage

Couvre les concepts avancés de transformateur, en se concentrant sur les techniques de pré-formation et de décodage en PNL.

Démarrage et alignement

Explore l'incitation, l'alignement et les capacités des grands modèles de langage pour les tâches de traitement du langage naturel.

Afficher plus

Concepts associés (25)

Grand modèle de langage

Modèle de langage

Transformeur

Langage de modélisation

UML (informatique)

Afficher plus