Séance de cours

Transformateurs Graph-to-Graph : Encodage graphique sensible à la syntaxe

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-608: Deep Learning For Natural Language Processing

This course covers advanced topics in deep learning architectures for natural language processing. The focus is on attention-based architectures, structure processing and variational-Bayesian approaches, and why these models are particularly suited to the ...

Description

Cette séance de cours couvre larchitecture de transformateur de graphique sensible à la syntaxe, ce qui améliore lentrée des relations de graphe dans le mécanisme dauto-attention du modèle de transformateur. Il permet de conditionner efficacement les graphes de dépendance syntaxiques pour prédire à la fois les graphes d'étiquetage de rôle sémantique basés sur la dépendance et basés sur l'étendue.

Enseignant·e

James Henderson

Enseignement et PhD Doctorant·es actuel·les Haruki Shirakami, Dina El Zein, Jose Rafael Espinosa Mena, Kimia Alavi, Mojtaba Nafez A co-dirigé les thèses EPFL de Lesly Sadiht Miculicich Werlen, Rabeeh Karimi Mahabadi, Alireza Mohammadshahi, Andreas Thomas Marfurt, Jan Frederik Jonas Florian Mai, Melika Behjati, Fabio James Fehr, Andrei Catalin Coman Cours Deep Learning For Natural Language Processing EE-608

Source officielle

Proximité ontologique

Mathématiques

Mathématiques discrètes: Théorie des graphes

Concepts associés (32)

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Graph embedding

In topological graph theory, an embedding (also spelled imbedding) of a graph on a surface is a representation of on in which points of are associated with vertices and simple arcs (homeomorphic images of ) are associated with edges in such a way that: the endpoints of the arc associated with an edge are the points associated with the end vertices of no arcs include points associated with other vertices, two arcs never intersect at a point which is interior to either of the arcs. Here a surface is a compact, connected -manifold.

Similarité sémantique

La similarité sémantique est une notion définie entre deux concepts soit au sein d'une même hiérarchie conceptuelle, soit - dans le cas d'alignement d'ontologies - entre deux concepts appartenant respectivement à deux hiérarchies conceptuelles distinctes. La similarité sémantique indique que ces deux concepts possèdent un grand nombre d'éléments en commun (propriétés, termes, instances). D’un point de vue psychologie cognitive, les notions de proximité et de similarité sont bien distinctes.

Dependency graph

In mathematics, computer science and digital electronics, a dependency graph is a directed graph representing dependencies of several objects towards each other. It is possible to derive an evaluation order or the absence of an evaluation order that respects the given dependencies from the dependency graph. Given a set of objects and a transitive relation with modeling a dependency "a depends on b" ("a needs b evaluated first"), the dependency graph is a graph with the transitive reduction of R.

Graphe planaire

Dans la théorie des graphes, un graphe planaire est un graphe qui a la particularité de pouvoir se représenter sur un plan sans qu'aucune arête (ou arc pour un graphe orienté) n'en croise une autre. Autrement dit, ces graphes sont précisément ceux que l'on peut plonger dans le plan, ou encore les graphes dont le nombre de croisements est nul. Les méthodes associées à ces graphes permettent de résoudre des problèmes comme l'énigme des trois maisons et d'autres plus difficiles comme le théorème des quatre couleurs.

Afficher plus

Séances de cours associées (38)

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Formation des classificateurs de sentiments binaires

Couvre la formation d'un classificateur de sentiment binaire à l'aide d'un RNN.

Systèmes de connaissances non conceptuels

Explore l'impact de l'apprentissage profond sur les humanités numériques, en se concentrant sur les systèmes de connaissances non conceptuels et les progrès récents de l'IA.

Modèles génériques : auto-attention et transformateurs

Couvre les modèles générateurs en mettant l'accent sur l'auto-attention et les transformateurs, en discutant des méthodes d'échantillonnage et des moyens empiriques.

Transformations linéaires : matrices et noyaux

Couvre les transformations linéaires, les matrices, les noyaux et les propriétés des matrices inversible.

Afficher plus

Concepts associés (32)

Transformeur

Graph embedding

Similarité sémantique

Dependency graph

Graphe planaire

Afficher plus