Séance de cours

Résolution de coréférence : Modèles et évaluation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les modèles de résolution de coréférence, y compris les modèles de bout en bout et les approches basées sur BERT pour de meilleures tâches de prédiction basées sur la portée. Il aborde également les défis de la notation de chaque paire de portées et l'importance de l'attention dans l'identification des mentions coreferent. La séance de cours explore en outre les techniques de raffinement des graphes à laide de Graph2Graph Transformer et évalue les résultats de pointe pour les modèles de résolution de coréférence. Il se termine par un résumé soulignant l'importance de la coréférence dans le discours et l'impact des transformateurs préformés sur l'exactitude.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Source officielle

Concepts associés (16)

Transformeur génératif pré-entraîné

droite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.

Coréférence

En linguistique, la coréférence est le phénomène qui consiste pour plusieurs syntagmes nominaux (SN) différents contenus dans une phrase ou dans un discours, à désigner la même entité. Par exemple une personne, un lieu, un événement, ou encore une date. Dans la terminologie linguistique, on dit qu'une coréférence est reliée à son antécédent. Pour que les syntagmes se coréférent, les deux expressions doivent porter les mêmes trait-φ. C'est-à-dire qu'ils doivent être en accord en genre, en nombre et en personne.

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Attention (machine learning)

Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.

Annotation sémantique

L'annotation sémantique est l'opération consistant à relier le contenu d'un texte à des entités dans une ontologie. Par exemple, pour la phrase «Paris est la capitale de la France.», l'annotation correcte de Paris serait Paris et non Paris Hilton. L'annotation sémantique est une variante plus détaillée mais moins exacte de la méthode des entitiés nommées, car ces dernières décrivent seulement la catégorie de l'entité (Paris est une ville, sans la relier à la bonne page Wikipédia).

Afficher plus

Séances de cours associées (47)

Résolution de référence

Se penche sur la résolution de la coréférence, en discutant des défis, des progrès et des méthodes d'évaluation.

Préformation: Transformateurs et modèles

Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.

Transformers: Techniques de pré-entraînement et de décodage

Couvre les concepts avancés de transformateur, en se concentrant sur les techniques de pré-formation et de décodage en PNL.

Désambigation de l'entité

Explore les techniques de désambigation des entités, y compris les modèles NER, Viterbi et GPT, en mettant l'accent sur la conception rapide et l'apprentissage en contexte.

Représentations contextuelles : ELMO et BERT Vue d'ensemble

Couvre les représentations contextuelles en PNL, en se concentrant sur les architectures ELMO et BERT et leurs applications dans diverses tâches.

Afficher plus

Concepts associés (16)

Transformeur génératif pré-entraîné

Coréférence

Transformeur

Attention (machine learning)

Annotation sémantique

Afficher plus