Séance de cours

Word Embeddings: Modèles et applications

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-423: Distributed information systems

This course introduces the foundations of information retrieval, data mining and knowledge bases, which constitute the foundations of today's Web-based distributed information systems. ...

Description

Cette séance de cours couvre le concept d'intégration de mots, en se concentrant sur les modèles d'intégration, tels que CBOW et Skipgram, et leurs applications. Il traite de l'obtention d'échantillons négatifs, du calcul de dérivées, et introduit Fasttext et Byte Pair Encoding. La séance de cours explore également les modèles de gant, les intégrations de sous-mots et l'utilisation des intégrations de mots pour la recherche de documents, la construction de thésaurus et la classification de documents.

Enseignant·e

Karl Aberer

Co-Founder of LinkAlong Sarl, 2017.Vice-president EPFL for Information Systems, 2012 –2016.Director of the Swiss National Centre for Mobile Information and Communication Systems NCCR MICS (mics.ch), 2005 -2012.Member of the Swiss Research and Technology Council SWTR, consulting the Swiss Federal government, 2004 - 2011.

Source officielle

Proximité ontologique

Information engineering

Traitement automatique du langage naturel: Traitement automatique du langage naturel

Concepts associés (29)

Word2vec

En intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (word embedding). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de . Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim. Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram.

Plongement lexical

Le plongement lexical (« word embedding » en anglais) est une méthode d'apprentissage d'une représentation de mots utilisée notamment en traitement automatique des langues. Le terme devrait plutôt être rendu par vectorisation de mots pour correspondre plus proprement à cette méthode. Cette technique permet de représenter chaque mot d'un dictionnaire par un vecteur de nombres réels. Cette nouvelle représentation a ceci de particulier que les mots apparaissant dans des contextes similaires possèdent des vecteurs correspondants qui sont relativement proches.

Désambiguïsation lexicale

La désambiguïsation lexicale ou désambigüisation lexicale est la détermination du sens d'un mot dans une phrase lorsque ce mot peut avoir plusieurs sens possibles. Dans la linguistique informatique, la désambiguïsation lexicale est un problème non résolu dans le traitement des langues naturelles et de l'ontologie informatique. La résolution de ce problème permettrait des avancées importantes dans d'autres champs de la linguistique informatique comme l'analyse du discours, l'amélioration de la pertinence des résultats des moteurs de recherche, la résolution des anaphores, la cohérence, l'inférence, etc.

Analyse sémantique latente

L’analyse sémantique latente (LSA, de l'anglais : Latent semantic analysis) ou indexation sémantique latente (ou LSI, de l'anglais : Latent semantic indexation) est un procédé de traitement des langues naturelles, dans le cadre de la sémantique vectorielle. La LSA fut brevetée en 1988 et publiée en 1990. Elle permet d'établir des relations entre un ensemble de documents et les termes qu'ils contiennent, en construisant des « concepts » liés aux documents et aux termes.

Similarité sémantique

La similarité sémantique est une notion définie entre deux concepts soit au sein d'une même hiérarchie conceptuelle, soit - dans le cas d'alignement d'ontologies - entre deux concepts appartenant respectivement à deux hiérarchies conceptuelles distinctes. La similarité sémantique indique que ces deux concepts possèdent un grand nombre d'éléments en commun (propriétés, termes, instances). D’un point de vue psychologie cognitive, les notions de proximité et de similarité sont bien distinctes.

Afficher plus

Séances de cours associées (13)

Intégrations de mots neuronaux: Représentations d'apprentissage pour le langage naturel

Couvre les incorporations de mots neuronaux et les méthodes d'apprentissage des représentations de mots dans le traitement du langage naturel.

L'adhésion des mots : modèles et apprentissage

Explore l'intégration de mots, l'importance du contexte et les algorithmes d'apprentissage pour créer de nouvelles représentations.

Traitement de texte : Analyse de grandes collections de texte numérique

Plongez dans le traitement de grandes collections de textes numériques, en explorant les régularités cachées, la réutilisation du texte et l'analyse TF-IDF.

Embeddings de mots neuraux

Introduit des ancrages de mots neural et des représentations vectorielles denses pour le traitement du langage naturel.

Données de base sur la récupération de l'information

Présente les bases de la récupération d'informations, couvrant la représentation de documents, l'expansion des requêtes et TF-IDF pour le classement des documents.

Afficher plus

Concepts associés (29)

Word2vec

Plongement lexical

Désambiguïsation lexicale

Analyse sémantique latente

Similarité sémantique

Afficher plus