Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.
Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.
Couvre les réseaux neuronaux convolutifs, les architectures standard, les techniques de formation et les exemples contradictoires en apprentissage profond.
Explore l'impact de l'apprentissage profond sur les humanités numériques, en se concentrant sur les systèmes de connaissances non conceptuels et les progrès récents de l'IA.
Explore l'optimisation des réseaux neuronaux, y compris la rétropropagation, la normalisation des lots, l'initialisation du poids et les stratégies de recherche d'hyperparamètres.
Plonge dans l'impact de l'apprentissage profond sur les systèmes de connaissances non conceptuels et les progrès dans les transformateurs et les réseaux antagonistes génératifs.
Présente les réseaux neuronaux convolutifs, en expliquant leur architecture, leur processus de formation et leurs applications dans les tâches de segmentation sémantique.
Introduit des intégrations de mots, expliquant comment ils capturent les significations des mots en fonction du contexte et de leurs applications dans les tâches de traitement du langage naturel.
Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.
