Séance de cours

Le PNL moderne et l'éthique dans le PNL

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours explore les progrès dans le traitement du langage naturel (NLP), y compris la préformation et l'échelle, ainsi que les nouveaux défis tels que l'incitation, la connaissance et le raisonnement, et la robustesse. Elle s'inscrit dans les considérations éthiques entourant les grands modèles linguistiques, l'encodage implicite des biais et les risques de dommages comme la toxicité, la désinformation et les atteintes à la vie privée.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Source officielle

Concepts associés (32)

Modèle de langage

En traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.

Traitement automatique du langage naturel

Le traitement automatique du langage naturel (TALN), en anglais natural language processing ou NLP, est un domaine multidisciplinaire impliquant la linguistique, l'informatique et l'intelligence artificielle, qui vise à créer des outils de traitement du langage naturel pour diverses applications. Il ne doit pas être confondu avec la linguistique informatique, qui vise à comprendre les langues au moyen d'outils informatiques.

Grand modèle de langage

Un grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.

Raison

La raison est généralement considérée comme une faculté propre de l'esprit humain dont la mise en œuvre lui permet de créer des critères de vérité et d'erreur et d'atteindre ses objectifs. Elle repose sur la capacité qu'aurait l'être humain de faire des choix en se basant sur son intelligence, ses perceptions et sa mémoire tout en faisant abstraction de ses préjugés, ses émotions ou ses pulsions. Cette faculté a donc plusieurs emplois : connaissance, éthique et technique.

Transformeur génératif pré-entraîné

droite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.

Afficher plus

Séances de cours associées (64)

Représentations neuro-symboliques: Connaissances communes et Raisonnement

Déplacez-vous dans des représentations neuro-symboliques pour la connaissance du sens commun et le raisonnement dans les applications de traitement du langage naturel.

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Représentations neuro-symboliques: Connaissances communes et Raisonnement

Explore les représentations neuro-symboliques pour comprendre les connaissances et le raisonnement communs, en mettant l'accent sur les défis et les limites de l'apprentissage profond dans le traitement du langage naturel.

L’imprimerie : une révolution en France

Explore l’introduction de l’imprimerie en France et son impact sociétal.

Modèles Vision-Langue-Action : Formation et applications

Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.

Afficher plus

Concepts associés (32)

Modèle de langage

Traitement automatique du langage naturel

Grand modèle de langage

Raison

Transformeur génératif pré-entraîné

Afficher plus