Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

L'adhésion des mots : modèles et apprentissage

Dans cours

CS-423: Distributed information systems

This course introduces the foundations of information retrieval, data mining and knowledge bases, which constitute the foundations of today's Web-based distributed information systems. ...

Description

Cette séance de cours couvre les concepts d'intégration de mots, y compris les modèles d'intégration de mots et le processus d'apprentissage en cause. Il explique comment les documents sont cartographiés en vecteurs à terme et en vecteurs denses, et comment les sujets sont répartis en termes. L'instructeur discute de l'importance du contexte dans la détermination du sens des mots et du processus d'établissement des probabilités à partir des représentations des mots. La séance de cours se penche également sur les propriétés de l'intégration et l'algorithme d'apprentissage utilisé pour créer de nouvelles représentations. Il se termine par une explication détaillée des paramètres d'apprentissage et la maximisation des probabilités globales dans le contexte de l'intégration des mots.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Enseignant·e

Karl Aberer

Co-Founder of LinkAlong Sarl, 2017.Vice-president EPFL for Information Systems, 2012 –2016.Director of the Swiss National Centre for Mobile Information and Communication Systems NCCR MICS (mics.ch), 2005 -2012.Member of the Swiss Research and Technology Council SWTR, consulting the Swiss Federal government, 2004 - 2011.

Source officielle

Concepts associés (32)

Plongement lexical

Le plongement lexical (« word embedding » en anglais) est une méthode d'apprentissage d'une représentation de mots utilisée notamment en traitement automatique des langues. Le terme devrait plutôt être rendu par vectorisation de mots pour correspondre plus proprement à cette méthode. Cette technique permet de représenter chaque mot d'un dictionnaire par un vecteur de nombres réels. Cette nouvelle représentation a ceci de particulier que les mots apparaissant dans des contextes similaires possèdent des vecteurs correspondants qui sont relativement proches.

Word2vec

En intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (word embedding). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de . Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim. Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram.

Modèle de langage

En traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.

Loi de probabilité

thumb|400px 3 répartitions.png En théorie des probabilités et en statistique, une loi de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard. L'étude des phénomènes aléatoires a commencé avec l'étude des jeux de hasard. Jeux de dés, tirage de boules dans des urnes et jeu de pile ou face ont été des motivations pour comprendre et prévoir les expériences aléatoires. Ces premières approches sont des phénomènes discrets, c'est-à-dire dont le nombre de résultats possibles est fini ou infini dénombrable.

Similarité sémantique

La similarité sémantique est une notion définie entre deux concepts soit au sein d'une même hiérarchie conceptuelle, soit - dans le cas d'alignement d'ontologies - entre deux concepts appartenant respectivement à deux hiérarchies conceptuelles distinctes. La similarité sémantique indique que ces deux concepts possèdent un grand nombre d'éléments en commun (propriétés, termes, instances). D’un point de vue psychologie cognitive, les notions de proximité et de similarité sont bien distinctes.

Afficher plus

Séances de cours associées (29)

Probabilité et statistiques

Couvre p-quantile, approximation normale, distributions articulaires et familles exponentielles en probabilité et en statistiques.

Probabilité et statistiques

Couvre le paradoxe de Simpson, les distributions de probabilités, et des exemples de vie réelle dans les probabilités et les statistiques.

Probabilité et statistiques

Couvre les concepts fondamentaux des probabilités et des statistiques, y compris les distributions, les propriétés et les attentes des variables aléatoires.

Variables aléatoires continues

Explore les variables aléatoires continues, les fonctions de densité, les variables articulaires, l'indépendance et les densités conditionnelles.

Probabilité et statistiques

Déplacez-vous dans les probabilités, les statistiques, les paradoxes et les variables aléatoires, montrant leurs applications et propriétés du monde réel.

Afficher plus

Concepts associés (32)

Similarité sémantique

Afficher plus