Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.
Présente des modèles de langage classiques, leurs applications et des concepts fondamentaux tels que la modélisation et les mesures d'évaluation basées sur le nombre.
Explore les techniques de compression des modèles dans les NLP, en discutant de la taille, de la quantification, de la factorisation du poids, de la distillation des connaissances et des mécanismes d'attention.
Introduit les bases du NLP moderne, couvrant l'intégration de mots, les modèles neuraux, et les tâches comme l'étiquetage de séquence et la génération de texte.
