Séance de cours

Embeddings de mots neuraux

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les fondamentaux de l'intégration de mots neuraux dans les NLP modernes, en se concentrant sur les représentations vectorielles denses comme CBOW, Skipgram, GloVe, et fastText. L'instructeur explique comment représenter les séquences de langage naturel, apprendre la similarité entre les mots, et former sémantique-encodage mot embeddings.

Source officielle

Proximité ontologique

Information engineering

Traitement automatique du langage naturel: Traitement automatique du langage naturel

Concepts associés (28)

Word2vec

En intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (word embedding). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de . Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim. Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram.

Plongement lexical

Le plongement lexical (« word embedding » en anglais) est une méthode d'apprentissage d'une représentation de mots utilisée notamment en traitement automatique des langues. Le terme devrait plutôt être rendu par vectorisation de mots pour correspondre plus proprement à cette méthode. Cette technique permet de représenter chaque mot d'un dictionnaire par un vecteur de nombres réels. Cette nouvelle représentation a ceci de particulier que les mots apparaissant dans des contextes similaires possèdent des vecteurs correspondants qui sont relativement proches.

Désambiguïsation lexicale

La désambiguïsation lexicale ou désambigüisation lexicale est la détermination du sens d'un mot dans une phrase lorsque ce mot peut avoir plusieurs sens possibles. Dans la linguistique informatique, la désambiguïsation lexicale est un problème non résolu dans le traitement des langues naturelles et de l'ontologie informatique. La résolution de ce problème permettrait des avancées importantes dans d'autres champs de la linguistique informatique comme l'analyse du discours, l'amélioration de la pertinence des résultats des moteurs de recherche, la résolution des anaphores, la cohérence, l'inférence, etc.

Traitement automatique du langage naturel

Le traitement automatique du langage naturel (TALN), en anglais natural language processing ou NLP, est un domaine multidisciplinaire impliquant la linguistique, l'informatique et l'intelligence artificielle, qui vise à créer des outils de traitement du langage naturel pour diverses applications. Il ne doit pas être confondu avec la linguistique informatique, qui vise à comprendre les langues au moyen d'outils informatiques.

Sentence embedding

In natural language processing, a sentence embedding refers to a numeric representation of a sentence in the form of a vector of real numbers which encodes meaningful semantic information. State of the art embeddings are based on the learned hidden layer representation of dedicated sentence transformer models. BERT pioneered an approach involving the use of a dedicated [CLS] token preprended to the beginning of each sentence inputted into the model; the final hidden state vector of this token encodes information about the sentence and can be fine-tuned for use in sentence classification tasks.

Afficher plus

Séances de cours associées (62)

Word Embeddings: Modélisation du contexte et de la similarité des mots

Couvre les encastrements de mots, la modélisation du contexte des mots et la similitude dans un espace de faible dimension.

Intégrations de mots neuronaux: Représentations d'apprentissage pour le langage naturel

Couvre les incorporations de mots neuronaux et les méthodes d'apprentissage des représentations de mots dans le traitement du langage naturel.

Formation des classificateurs de sentiments binaires

Couvre la formation d'un classificateur de sentiment binaire à l'aide d'un RNN.

Habillements de mots: Gants et relations sémantiques

Explore les ancrages de mots, le modèle de gants, les relations sémantiques, les ancrages de sous-mots et les relations syntaxiques.

Word Embeddings: Présentation et applications

Introduit des intégrations de mots, expliquant comment ils capturent les significations des mots en fonction du contexte et de leurs applications dans les tâches de traitement du langage naturel.

Afficher plus

Concepts associés (28)

Word2vec

Plongement lexical

Désambiguïsation lexicale

Traitement automatique du langage naturel

Sentence embedding

Afficher plus