Séance de cours

Réseaux neuronaux pour la PNL

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours donne un large aperçu des approches modernes du réseau neuronal pour le traitement du langage naturel (NLP). Il couvre l'évolution de la linguistique basée sur le corpus, l'importance de l'intégration des mots et l'utilisation des réseaux de neurones pour les tâches de PNL. La séance de cours aborde des concepts clés tels que l'apprentissage des représentations de mots, l'utilisation de réseaux neuronaux pour transformer des vecteurs en sorties et l'application de modèles tels que word2vec, Glove et fastText. En outre, il explore les avantages et les inconvénients des réseaux neuronaux en PNL, y compris l’utilisation de perceptrons multicouches (MLP) et les procédures d’apprentissage impliquées. La séance de cours se termine par un aperçu de l'avenir de la PNL, y compris les techniques d'apprentissage par transfert comme ULMFIT, ELMO et BERT.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Traitement automatique du langage naturel: Traitement automatique du langage naturel

Concepts associés (32)

Plongement lexical

Le plongement lexical (« word embedding » en anglais) est une méthode d'apprentissage d'une représentation de mots utilisée notamment en traitement automatique des langues. Le terme devrait plutôt être rendu par vectorisation de mots pour correspondre plus proprement à cette méthode. Cette technique permet de représenter chaque mot d'un dictionnaire par un vecteur de nombres réels. Cette nouvelle représentation a ceci de particulier que les mots apparaissant dans des contextes similaires possèdent des vecteurs correspondants qui sont relativement proches.

Traitement automatique du langage naturel

Le traitement automatique du langage naturel (TALN), en anglais natural language processing ou NLP, est un domaine multidisciplinaire impliquant la linguistique, l'informatique et l'intelligence artificielle, qui vise à créer des outils de traitement du langage naturel pour diverses applications. Il ne doit pas être confondu avec la linguistique informatique, qui vise à comprendre les langues au moyen d'outils informatiques.

Corpus

Un corpus est un ensemble de documents, artistiques ou non (textes, s, vidéos), regroupés dans une optique précise. On peut utiliser des corpus dans plusieurs domaines : études littéraires, linguistiques, scientifiques, philosophie La branche de la linguistique qui se préoccupe plus spécifiquement des corpus s'appelle logiquement la linguistique de corpus. Elle est liée au développement des systèmes informatiques, en particulier à la constitution de bases de données textuelles.

Réseau neuronal convolutif

En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.

Redresseur (réseaux neuronaux)

vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par : pour tout réel Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée. Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient.

Afficher plus

Séances de cours associées (64)

Modèles linguistiques : réseaux neuronaux à contexte fixe et récurrents

Discute des modèles de langage, en se concentrant sur les modèles neuronaux à contexte fixe et les réseaux neuronaux récurrents.

Intégrations de mots neuronaux: Représentations d'apprentissage pour le langage naturel

Couvre les incorporations de mots neuronaux et les méthodes d'apprentissage des représentations de mots dans le traitement du langage naturel.

Formation des classificateurs de sentiments binaires

Couvre la formation d'un classificateur de sentiment binaire à l'aide d'un RNN.

Deep Learning pour répondre aux questions

Explore l'apprentissage profond pour répondre aux questions, analyser les réseaux neuronaux et modéliser la robustesse au bruit.

Deep Learning : réseaux neuronaux convolutifs

Couvre les réseaux neuronaux convolutifs, les architectures standard, les techniques de formation et les exemples contradictoires en apprentissage profond.

Afficher plus

Concepts associés (32)

Plongement lexical

Traitement automatique du langage naturel

Corpus

Réseau neuronal convolutif

Redresseur (réseaux neuronaux)

Afficher plus