Séance de cours

Réseaux de transformateurs : auto-attention

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

PHYS-467: Machine learning for physicists

Machine learning and data analysis are becoming increasingly central in sciences including physics. In this course, fundamental principles and methods of machine learning will be introduced and practised. ...

Description

Cette séance de cours couvre les réseaux de transformateurs et les couches d'auto-attention, expliquant comment ils cartographient les ensembles d'entrées et le concept d'attention multi-têtes. Il s'inscrit dans le processus d'apprentissage des poids, de l'importance de l'encodage positionnel et de l'interprétabilité des têtes.

Source officielle

Concepts associés (32)

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Langage

Le langage est la capacité d'exprimer une pensée et de communiquer au moyen d'un système de signes (vocaux, gestuel, graphiques, tactiles, olfactifs, etc.) doté d'une sémantique, et le plus souvent d'une syntaxe — mais ce n'est pas systématique (la cartographie est un exemple de langage non syntaxique). Fruit d'une acquisition, la langue est une des nombreuses manifestations du langage. Les langages sont constitués de signaux correspondant au support physique de l'information.

Ensemble flou

La théorie des sous-ensembles flous est une théorie mathématique du domaine de l’algèbre abstraite. Elle a été développée par Lotfi Zadeh en 1965 afin de représenter mathématiquement l'imprécision relative à certaines classes d'objets et sert de fondement à la logique floue. Les sous-ensembles flous (ou parties floues) ont été introduits afin de modéliser la représentation humaine des connaissances, et ainsi améliorer les performances des systèmes de décision qui utilisent cette modélisation.

Attention (machine learning)

Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.

Théorie des ensembles approximatifs

Théorie des ensembles approximatifs – est un formalisme mathématique proposé en 1982 par le professeur Zdzisław Pawlak. Elle généralise la théorie des ensembles classique. Un ensemble approximatif (anglais : rough set) est un objet mathématique basé sur la logique 3 états. Dans sa première définition, un ensemble approximatif est une paire de deux ensembles : une approximation inférieure et une approximation supérieure. Il existe également un type d'ensembles approximatifs défini par une paire d'ensembles flous (anglais : fuzzy set).

Afficher plus

Séances de cours associées (64)

Algèbre linéaire: ensembles et sous-ensembles

Couvre les concepts fondamentaux des ensembles et des sous-ensembles en algèbre linéaire, y compris les opérations et les propriétés.

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Ensembles et opérations: Introduction aux mathématiques

Couvre les bases des ensembles et des opérations en mathématiques, des propriétés des ensembles aux opérations avancées.

Intégrations de mots neuronaux: Représentations d'apprentissage pour le langage naturel

Couvre les incorporations de mots neuronaux et les méthodes d'apprentissage des représentations de mots dans le traitement du langage naturel.

Fonctions: Définitions et notations

Couvre les généralités des fonctions, y compris la définition d'une application entre les ensembles et l'unicité des éléments dans l'ensemble d'images.

Afficher plus

Concepts associés (32)

Transformeur

Langage

Ensemble flou

Attention (machine learning)

Théorie des ensembles approximatifs

Afficher plus