NLP moderne: Modèles de langage classique

Cette séance de cours présente des modèles de langage, y compris des modèles basés sur le nombre et des modèles neuraux à context fixe. Il couvre l'évaluation des modèles linguistiques, les techniques de lissage et l'impact des modèles linguistiques sur les applications en aval. L'instructeur explique le concept de modèles de langage comme modèles probabilistes de séquences de jetons et discute de la règle de chaîne pour le calcul des probabilités conjointes. La séance de cours se décline également en modèles n-gram, des méthodes de lissage comme le lissage Laplace et l'actualisation absolue, et les défis auxquels sont confrontés les modèles n-gram. Enfin, il explore les modèles de langage neuronal à context fixe, leurs avantages et leurs limites par rapport aux modèles n-gram traditionnels.