Séances de cours associées à Transformer: Pre-Training

Transformers: Techniques de pré-entraînement et de décodage

Couvre les concepts avancés de transformateur, en se concentrant sur les techniques de pré-formation et de décodage en PNL.

Modèles de séquence de préformation: BART et T5

Couvre la préformation des modèles séquence à séquence, en se concentrant sur les architectures BART et T5.

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Transformers : Révolutionner les mécanismes d’attention en PNL

Couvre le développement des transformateurs et leur impact sur les mécanismes d'attention en PNL.

Séquence aux modèles de séquence: Aperçu et mécanismes d'attention

Explore la séquence des modèles de séquence, les mécanismes d'attention et leur rôle dans le traitement des limites des modèles et l'amélioration de l'interprétation.

Architecture des transformateurs : le X Gomega

Déplacez-vous dans l'architecture Transformer, l'auto-attention et les stratégies de formation pour la traduction automatique et la reconnaissance d'image.

Préformation: Transformateurs et modèles

Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.

Traduction automatique: séquence à séquence et attention

Explore les progrès de la traduction automatique, en mettant l'accent sur les modèles de séquence à séquence et les mécanismes d'attention.

Représentations contextuelles : ELMO et BERT Vue d'ensemble

Couvre les représentations contextuelles en PNL, en se concentrant sur les architectures ELMO et BERT et leurs applications dans diverses tâches.

Transformateurs: Vue d'ensemble et auto-attention

Fournit un aperçu des Transformateurs, de l'auto-attention, de l'attention multi-têtes, et du décodeur et de l'encodeur Transformateur.

La PNL multilingue : défis et innovations

Couvre l'importance de la PNL multilingue et les défis de l'échelle des modèles linguistiques.

Modèles de langage classique: fondements et applications

Présente des modèles de langage classiques, leurs applications et des concepts fondamentaux tels que la modélisation et les mesures d'évaluation basées sur le nombre.

Introduction au traitement du langage naturel moderne

Introduit le cours sur le traitement du langage naturel moderne, couvrant son importance, ses applications, ses défis et les progrès de la technologie.

Systèmes de connaissances non conceptuels

Explore l'impact de l'apprentissage profond sur les humanités numériques, en se concentrant sur les systèmes de connaissances non conceptuels et les progrès récents de l'IA.

Génération du langage naturel: comprendre la tâche et les techniques

Fournit un aperçu de la génération de langage naturel, en se concentrant sur les tâches, les défis et les méthodologies pour créer un texte cohérent.

NLP moderne: Introduction

Par Antoine Bosselut présente le traitement du langage naturel et ses défis, ses avancées dans les modèles neuronaux et ses objectifs de cours.

Représentations contextuelles: ELMo & BERT

Explore le développement d'intégrations contextuelles dans le NLP, en mettant l'accent sur les progrès réalisés par ELMo et BERT et son impact sur les tâches du NLP.

Deep Learning pour le NLP Connectez-vous à Mediaspace pour regarder cette vidéo

Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.

Traitement du langage naturel: comprendre les transformateurs et la tokenisation Connectez-vous à Mediaspace pour regarder cette vidéo

Fournit un aperçu du traitement du langage naturel, en se concentrant sur les transformateurs, la tokenisation et les mécanismes d'auto-attention pour une analyse et une synthèse efficaces du langage.

Traduction automatique : Mécanisme d'attention Connectez-vous à Mediaspace pour regarder cette vidéo

Explore le mécanisme d'attention dans la traduction automatique, en s'attaquant au problème du goulot d'étranglement et en améliorant considérablement les performances NMT.