Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.
Introduit le cours sur le traitement du langage naturel moderne, couvrant son importance, ses applications, ses défis et les progrès de la technologie.
Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.
Présente des modèles de langage classiques, leurs applications et des concepts fondamentaux tels que la modélisation et les mesures d'évaluation basées sur le nombre.
Explore l'impact de l'apprentissage profond sur les humanités numériques, en se concentrant sur les systèmes de connaissances non conceptuels et les progrès récents de l'IA.
Fournit un aperçu du traitement du langage naturel, en se concentrant sur les transformateurs, la tokenisation et les mécanismes d'auto-attention pour une analyse et une synthèse efficaces du langage.
Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.
Couvre l'impact des transformateurs dans la vision par ordinateur, en discutant de leur architecture, de leurs applications et de leurs progrès dans diverses tâches.
Explore le mécanisme d'attention dans la traduction automatique, en s'attaquant au problème du goulot d'étranglement et en améliorant considérablement les performances NMT.
