Séance de cours

Génération de langues naturelles

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les principes fondamentaux de la génération de langage naturel (NLG), y compris les modèles de NLG neuronaux, les stratégies de décodage, les algorithmes de formation et les méthodes d'évaluation. Elle se penche sur les défis que posent les biais d'exposition, les biais dans les modèles de génération de texte et les considérations éthiques. La séance de cours met l'accent sur l'importance des évaluations humaines et sur la nécessité de prendre des mesures de sauvegarde pour prévenir la production de contenus nocifs. Il explore également des sujets avancés tels que les mesures fondées sur des modèles, les biais cachés et l'impact des modèles linguistiques à grande échelle sur la recherche sur le GNL.

Source officielle

Concepts associés (32)

Modèle de langage

En traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Models of neural computation

Models of neural computation are attempts to elucidate, in an abstract and mathematical fashion, the core principles that underlie information processing in biological nervous systems, or functional components thereof. This article aims to provide an overview of the most definitive models of neuro-biological computation as well as the tools commonly used to construct and analyze them.

Réseau de neurones (biologie)

En neurosciences, un réseau de neurones correspond, schématiquement : Soit à un nombre restreint de différents neurones interconnectés, qui ont une fonction précise, comme le ganglion stomatogastrique qui contrôle l'activité des muscles de l'estomac des crustacés. Soit à un grand nombre de neurones similaires interconnectés, qui ont des fonctions plus cognitives, comme les réseaux corticaux qui permettent entre autres la catégorisation.

Rythme cérébral

Un rythme cérébral (appelé aussi activité neuro-électrique) désigne l'oscillation électromagnétique émise par le cerveau des êtres humains, mais également de tout être vivant. Le cortex frontal qui permet la cognition, la logique et le raisonnement est composé de neurones qui sont reliés entre eux par des synapses permettant la neurotransmission. Mesurables en volt et en hertz, ces ondes sont de très faible amplitude : de l'ordre du microvolt (chez l'être humain), elles ne suivent pas toujours une sinusoïde régulière.

Afficher plus

Séances de cours associées (64)

Génération de langage naturel: Décodage et formation

Explore les défis dans la génération de langage naturel, le décodage des algorithmes, les problèmes de formation et les fonctions de récompense.

Résolution de référence

Se penche sur la résolution de la coréférence, en discutant des défis, des progrès et des méthodes d'évaluation.

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Génération du langage naturel: Techniques de décodage et défis de formation

Couvre les méthodes de décodage et les défis de formation en génération de langage naturel.

NLP moderne: Introduction

Par Antoine Bosselut présente le traitement du langage naturel et ses défis, ses avancées dans les modèles neuronaux et ses objectifs de cours.

Afficher plus

Concepts associés (32)

Modèle de langage

Réseau de neurones artificiels

Models of neural computation

Réseau de neurones (biologie)

Rythme cérébral

Afficher plus