Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Architecture des transformateurs : le X Gomega

Description

Cette séance de cours couvre l'architecture Transformer, en mettant l'accent sur les composants d'encodeur et de décodeur, le mécanisme d'auto-attention, l'attention multi-tête, les encodages positionnels, et des opérations supplémentaires comme les connexions résiduelles et la normalisation des couches. Il explique comment les transformateurs sont utilisés pour la traduction automatique et la reconnaissance d'images, en soulignant l'importance des mécanismes d'attention et des stratégies de formation.

Source officielle

Concepts associés (32)

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Attention (machine learning)

Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.

Transformeur génératif pré-entraîné

droite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.

Réseau neuronal résiduel

droite|vignette| Forme canonique d'un réseau neuronal résiduel. Une couche l − 1 est ignoré sur l'activation de l − 2. Un réseau neuronal résiduel ( ResNet ) est un réseau neuronal artificiel (ANN). Il s'agit d'une variante du HighwayNet , le premier réseau neuronal à action directe très profond avec des centaines de couches, beaucoup plus profond que les réseaux neuronaux précédents. Les sauts de connexion ou "raccourcis" sont utilisés pour passer par-dessus certaines couches ( les HighwayNets peuvent également avoir des poids pour les saut eux-mêmes, grâce à une matrice de poids supplémentaire pour leurs portes).

Traduction automatique

La traduction automatique désigne la traduction brute d'un texte entièrement réalisée par un ou plusieurs programmes informatiques. Dans le cas de la traduction d'une conversation audio, en direct ou en différé, on parle de transcription automatique. Un traducteur humain n’intervient pas pour corriger les erreurs du texte durant la traduction, mais seulement avant et/ou après. On la distingue de la traduction assistée par ordinateur où la traduction est en partie manuelle, éventuellement de façon interactive avec la machine.

Afficher plus

Séances de cours associées (32)

Transformers: Techniques de pré-entraînement et de décodage

Couvre les concepts avancés de transformateur, en se concentrant sur les techniques de pré-formation et de décodage en PNL.

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Transformers : Révolutionner les mécanismes d’attention en PNL

Couvre le développement des transformateurs et leur impact sur les mécanismes d'attention en PNL.

Séquence aux modèles de séquence: Aperçu et mécanismes d'attention

Explore la séquence des modèles de séquence, les mécanismes d'attention et leur rôle dans le traitement des limites des modèles et l'amélioration de l'interprétation.

Modèles de séquence de préformation: BART et T5

Couvre la préformation des modèles séquence à séquence, en se concentrant sur les architectures BART et T5.

Afficher plus

Concepts associés (32)

Transformeur

Attention (machine learning)

Transformeur génératif pré-entraîné

Réseau neuronal résiduel

Traduction automatique

Afficher plus