Séance de cours

Transformateurs : Architecture complète et mécanisme d'auto-attention

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre l'architecture complète des Transformers, composée de blocs d'encodeur et de décodeur avec des couches d'attention multi-têtes et des réseaux d'alimentation avant. Il explique le mécanisme d'auto-attention utilisé pour l'encodage des séquences sans calculs récurrents, ainsi que l'importance des emboîtements positionnels. La séance de cours se penche également sur les spécificités de l'auto-attention dans les blocs d'encodeur et de décodeur, soulignant la reconnaissance par le comité Nobel de Strickland pour l'avancement de l'optique. De plus, il examine les différences entre l'auto-attention dans l'encodeur et le décodeur, l'attention multi-tête masquée et le mécanisme d'attention croisée. La séance de cours se termine par des réflexions sur le changement de paradigme apporté par l'utilisation de modèles entièrement préformés comme le GPT et les améliorations massives des tâches NLP réalisées grâce à des modèles comme le GPT-2 et le GPT-3.

Source officielle

Concepts associés (32)

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Transformeur génératif pré-entraîné

droite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.

Text-to-image model

A text-to-image model is a machine learning model which takes an input natural language description and produces an image matching that description. Such models began to be developed in the mid-2010s, as a result of advances in deep neural networks. In 2022, the output of state of the art text-to-image models, such as OpenAI's DALL-E 2, Google Brain's , StabilityAI's Stable Diffusion, and Midjourney began to approach the quality of real photographs and human-drawn art.

Attention (machine learning)

Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.

Grand modèle de langage

Un grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.

Afficher plus

Séances de cours associées (48)

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Transformers: Techniques de pré-entraînement et de décodage

Couvre les concepts avancés de transformateur, en se concentrant sur les techniques de pré-formation et de décodage en PNL.

Transformateurs: Vue d'ensemble et auto-attention

Fournit un aperçu des Transformateurs, de l'auto-attention, de l'attention multi-têtes, et du décodeur et de l'encodeur Transformateur.

Préformation: Transformateurs et modèles

Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.

Transformateurs Graph-to-Graph : Encodage graphique sensible à la syntaxe

Introduit l'architecture Graph-to-Graph Transformer sensible à la syntaxe pour un conditionnement efficace sur les graphes de dépendance syntaxiques.

Afficher plus

Concepts associés (32)

Transformeur

Transformeur génératif pré-entraîné

Text-to-image model

Attention (machine learning)

Grand modèle de langage

Afficher plus