Modèles de texte: Word Embeddings et modèles de sujet

Cette séance de cours couvre les modèles probabilistes pour le texte, y compris les intégrations de mots pour capturer la sémantique des mots, les modèles de sujets pour les ensembles de documents et une introduction aux modèles graphiques. Il explique comment les intégrations de mots trouvent des relations entre les mots en fonction du contexte et comment les modèles de sujet classent les significations des documents sans requête. La séance de cours explore également le modèle de saut de gramme de Word2vec, l'échantillonnage négatif et les propriétés des vecteurs de mots. En outre, il explore les réseaux bayésiens, leur paramétrage et les méthodes d'inférence comme l'échantillonnage Gibbs. La séance de cours se termine par une discussion sur les défis informatiques dans les grands modèles et les idées clés derrière les réseaux bayésiens.