Introduit le cours sur le traitement du langage naturel moderne, couvrant son importance, ses applications, ses défis et les progrès de la technologie.
Présente des modèles de langage classiques, leurs applications et des concepts fondamentaux tels que la modélisation et les mesures d'évaluation basées sur le nombre.
Explore la séquence des modèles de séquence, les mécanismes d'attention et leur rôle dans le traitement des limites des modèles et l'amélioration de l'interprétation.
Couvre les méthodes d'évaluation des systèmes de génération de langage naturel, y compris les mesures et les évaluations humaines de la qualité du texte généré.
Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.
Fournit un aperçu du traitement du langage naturel, en se concentrant sur les transformateurs, la tokenisation et les mécanismes d'auto-attention pour une analyse et une synthèse efficaces du langage.
Explore le mécanisme d'attention dans la traduction automatique, en s'attaquant au problème du goulot d'étranglement et en améliorant considérablement les performances NMT.
Explore le modèle Transformer, des modèles récurrents à la PNL basée sur l'attention, en mettant en évidence ses composants clés et ses résultats significatifs dans la traduction automatique et la génération de documents.