Séance de cours

Mots et jetons : modèles de langage et probabilités

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours passe en revue les concepts clés liés aux modèles de langage dans le traitement du langage naturel, en mettant l'accent sur l'entrée des systèmes de PNL, la tokenisation et l'identification du langage. Il couvre également l'estimation des probabilités en utilisant des n-grammes et des techniques comme le lissage Laplace et le lissage Good-Turing. Linstructeur souligne limportance de choisir la meilleure séquence dans les modèles de langage et discute des défis de la comparaison des probabilités dans différents espaces.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Source officielle

Concepts associés (32)

Modèle de langage

En traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.

Probabilité

vignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.

Traitement automatique du langage naturel

Le traitement automatique du langage naturel (TALN), en anglais natural language processing ou NLP, est un domaine multidisciplinaire impliquant la linguistique, l'informatique et l'intelligence artificielle, qui vise à créer des outils de traitement du langage naturel pour diverses applications. Il ne doit pas être confondu avec la linguistique informatique, qui vise à comprendre les langues au moyen d'outils informatiques.

Bayesian probability

Bayesian probability (ˈbeɪziən or ˈbeɪʒən ) is an interpretation of the concept of probability, in which, instead of frequency or propensity of some phenomenon, probability is interpreted as reasonable expectation representing a state of knowledge or as quantification of a personal belief. The Bayesian interpretation of probability can be seen as an extension of propositional logic that enables reasoning with hypotheses; that is, with propositions whose truth or falsity is unknown.

Probabilité conditionnelle

vignette|Illustration des probabilités conditionnelles avec un diagramme d'Euler. On a la probabilité a priori et les probabilités conditionnelles , et .|320x320px En théorie des probabilités, une probabilité conditionnelle est la probabilité d'un événement sachant qu'un autre événement a eu lieu. Par exemple, si une carte d'un jeu est tirée au hasard, on estime qu'il y a une chance sur quatre d'obtenir un cœur ; mais si on aperçoit un reflet rouge sur la table, il y a maintenant une chance sur deux d'obtenir un cœur.

Afficher plus

Séances de cours associées (64)

Probabilités et statistiques: bases et applications

Couvre les concepts fondamentaux de probabilité et de statistiques, en se concentrant sur l'analyse des données, la représentation graphique et les applications pratiques.

Probabilité et statistiques

Couvre les concepts fondamentaux de probabilité et de statistique, y compris la loi de probabilité totale, le théorème de Bayes, et l'indépendance des événements.

Loi des grands nombres : Convergence forte

Explore la forte convergence des variables aléatoires et l'approximation de la distribution normale dans les probabilités et les statistiques.

Probabilités et statistiques : modélisation et analyse des données

Explore les formulaires PDF, les statistiques, les diagrammes de boîtes, les courbes de densité et les méthodes d'analyse de données.

Probabilité et statistiques

Introduit des concepts clés en probabilité et en statistiques, tels que les événements, les diagrammes de Venn et la probabilité conditionnelle.

Afficher plus

Concepts associés (32)

Modèle de langage

Probabilité

Traitement automatique du langage naturel

Bayesian probability

Probabilité conditionnelle

Afficher plus