Séance de cours

Modèles de séquence à séquence: BART + T5

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre la préformation de modèles séquence à séquence utilisant BART et T5, en discutant des concepts d'apprentissage de transfert, de réglage fin, et des architectures spécifiques de BART et T5. Il explique le processus de préformation, les stratégies de corruption et les tâches que ces modèles peuvent accomplir, comme la classification et l'étiquetage des séquences. La séance de cours compare également les performances de BART et T5 avec d'autres modèles tels que BERT, UniLM et XLNet, mettant en évidence leurs capacités dans diverses tâches. En outre, il examine les résultats des tâches de récapitulation et les références pour une lecture plus approfondie du sujet.

Source officielle

Concepts associés (18)

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Transformeur génératif pré-entraîné

droite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.

Résumé automatique de texte

Un résumé est une forme de compression textuelle avec perte d'information. Un résumé automatique de texte est une version condensée d'un document textuel, obtenu au moyen de techniques informatiques. La forme la plus connue et la plus visible des condensés de textes est le résumé, représentation abrégée et exacte du contenu d'un document. Cependant, produire un résumé pertinent et de qualité demande au résumeur (un humain ou un système automatique) l'effort de sélectionner, d'évaluer, d'organiser et d'assembler des segments d'information selon leur pertinence.

Text-to-image model

A text-to-image model is a machine learning model which takes an input natural language description and produces an image matching that description. Such models began to be developed in the mid-2010s, as a result of advances in deep neural networks. In 2022, the output of state of the art text-to-image models, such as OpenAI's DALL-E 2, Google Brain's , StabilityAI's Stable Diffusion, and Midjourney began to approach the quality of real photographs and human-drawn art.

Federal enterprise architecture

A federal enterprise architecture framework (FEAF) is the U.S. reference enterprise architecture of a federal government. It provides a common approach for the integration of strategic, business and technology management as part of organization design and performance improvement. The most familiar federal enterprise architecture is the enterprise architecture of the Federal government of the United States, the U.S. "Federal Enterprise Architecture" (FEA) and the corresponding U.S. "Federal Enterprise Architecture Framework" (FEAF).

Afficher plus

Séances de cours associées (43)

Transformateurs: Vue d'ensemble et auto-attention

Fournit un aperçu des Transformateurs, de l'auto-attention, de l'attention multi-têtes, et du décodeur et de l'encodeur Transformateur.

Préformation: Transformateurs et modèles

Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Transformers: Techniques de pré-entraînement et de décodage

Couvre les concepts avancés de transformateur, en se concentrant sur les techniques de pré-formation et de décodage en PNL.

Transformateurs Graph-to-Graph : Encodage graphique sensible à la syntaxe

Introduit l'architecture Graph-to-Graph Transformer sensible à la syntaxe pour un conditionnement efficace sur les graphes de dépendance syntaxiques.

Afficher plus

Concepts associés (18)

Transformeur

Transformeur génératif pré-entraîné

Résumé automatique de texte

Text-to-image model

Federal enterprise architecture

Afficher plus