Word Embeddings: Modélisation du contexte et de la similarité des mots

Cette séance de cours introduit le concept d'incorporation de mots, qui vise à modéliser la probabilité qu'un mot et son contexte se produisent ensemble dans un espace de faible dimension. En mappant des mots et des contextes dans cet espace, la distance vectorielle peut être interprétée comme une mesure de leur probabilité de cooccurrence. Linstructeur explique le processus dapprentissage du modèle à partir de données, y compris la formulation dun problème doptimisation et la définition dune fonction de perte à minimiser. La séance de cours couvre des sujets tels que l'obtention d'échantillons négatifs, la descente de gradient stochastique et le calcul de dérivés. En outre, des approches alternatives telles que CBOW et GLOVE sont discutées, ainsi que les propriétés de l'incorporation de mots et leurs applications pratiques dans la recherche de documents, la construction de thésaurus et la classification de documents.