Séance de cours

Interpretabilité et analyse: NLP moderne

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours porte sur l'importance de l'interprétation des modèles dans le traitement moderne du langage naturel (NLP). Elle se décline en méthodes comme l'étude de modèles, les explications locales et les explications générées par des modèles pour comprendre comment les modèles font des prédictions. La séance de cours explore également l'utilisation de sondes linguistiques pour interpréter le comportement du modèle et les défis des explications fidèles. De plus, il traite des limites des méthodes d'interprétation et de la nécessité de faire la distinction entre plausibilité et fidélité dans les explications des modèles.

Source officielle

Concepts associés (32)

Traitement automatique du langage naturel

Le traitement automatique du langage naturel (TALN), en anglais natural language processing ou NLP, est un domaine multidisciplinaire impliquant la linguistique, l'informatique et l'intelligence artificielle, qui vise à créer des outils de traitement du langage naturel pour diverses applications. Il ne doit pas être confondu avec la linguistique informatique, qui vise à comprendre les langues au moyen d'outils informatiques.

Compréhension du langage naturel

vignette|L'apprentissage de la lecture par Sigurður málari, siècle. La compréhension du langage naturel (NLU en anglais) ou linterprétation en langage naturel (NLI) est une sous-rubrique du traitement de la langue naturelle en intelligence artificielle qui traite de la compréhension en lecture automatique. La compréhension du langage naturel est considérée comme un problème difficile en IA. Il existe un intérêt commercial considérable dans ce domaine en raison de son application à la collecte de nouvelles, à la catégorisation des textes, à l'activation vocale, à l'archivage et à l'analyse de contenu à grande échelle.

Génération automatique de textes

La génération automatique de texte (GAT) est une sous discipline de la linguistique computationnelle qui vise à exprimer sous une forme textuelle, syntaxiquement et sémantiquement correcte, une représentation formelle d'un contenu. Outre ses nombreuses applications existantes ou potentielles - par exemple pour produire automatiquement des bulletins météorologiques, ou des rapports automatisés - elle offre par ailleurs un cadre d'investigation des théories linguistiques, et particulièrement de ses mécanismes de production.

Modèle de langage

En traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.

Langage naturel

Un langage naturel, ou langage ordinaire, est une langue « normale » parlée par un être humain. Il s'oppose au langage formel, tel que le langage informatique, ainsi qu'aux langues construites. histoire des langues On désigne par langage naturel le langage parlé par les humains, apparu entre et avant notre ère.

Afficher plus

Séances de cours associées (64)

Considérations éthiques dans le traitement des langues naturelles

Examine les défis éthiques dans les systèmes de PNL, y compris les biais, la toxicité, la vie privée et la désinformation.

Deep Learning pour répondre aux questions

Explore l'apprentissage profond pour répondre aux questions, analyser les réseaux neuronaux et modéliser la robustesse au bruit.

NLP moderne: Introduction

Par Antoine Bosselut présente le traitement du langage naturel et ses défis, ses avancées dans les modèles neuronaux et ses objectifs de cours.

Word Embeddings: Présentation et applications

Introduit des intégrations de mots, expliquant comment ils capturent les significations des mots en fonction du contexte et de leurs applications dans les tâches de traitement du langage naturel.

Prédiction de la structure protéique : AlphaFold Evolution et OpenFold Insights

Explore l'évolution de la prédiction de la structure protéique avec les modèles AlphaFold et introduit les idées OpenFold.

Afficher plus

Concepts associés (32)

Traitement automatique du langage naturel

Compréhension du langage naturel

Génération automatique de textes

Modèle de langage

Langage naturel

Afficher plus