Séance de cours

Mots, jetons, n-grammes et modèles linguistiques

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les concepts de mots, de jetons, de n-grammes et de modèles de langage. Il commence par discuter de l'ambiguïté de la définition des mots et des jetons, puis se décline en modèles n-gram et leurs applications dans l'identification de la langue et la correction d'erreurs d'orthographe. La séance de cours souligne l'importance de comprendre l'approche probabiliste, y compris le lissage additif et les antécédents de Dirichlet. Parmi les points clés, mentionnons les défis posés par les formes non-vocabulaires et l'approche probabiliste de correction des erreurs d'orthographe.

Source officielle

Proximité ontologique

Statistique

Inférence statistique: Statistique mathématique

Concepts associés (32)

Analyse lexicale

En informatique, l’analyse lexicale, lexing, segmentation ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte.

Categorical distribution

In probability theory and statistics, a categorical distribution (also called a generalized Bernoulli distribution, multinoulli distribution) is a discrete probability distribution that describes the possible results of a random variable that can take on one of K possible categories, with the probability of each category separately specified. There is no innate underlying ordering of these outcomes, but numerical labels are often attached for convenience in describing the distribution, (e.g. 1 to K).

Posterior predictive distribution

In Bayesian statistics, the posterior predictive distribution is the distribution of possible unobserved values conditional on the observed values. Given a set of N i.i.d. observations , a new value will be drawn from a distribution that depends on a parameter , where is the parameter space. It may seem tempting to plug in a single best estimate for , but this ignores uncertainty about , and because a source of uncertainty is ignored, the predictive distribution will be too narrow.

Loi de Dirichlet

thumb|right|250px|Plusieurs images de la densité de la loi de Dirichlet lorsque K=3 pour différents vecteurs de paramètres α. Dans le sens horaire à partir du coin supérieur gauche : α=(6, 2, 2), (3, 7, 5), (6, 2, 6), (2, 3, 4). En probabilité et statistiques, la loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales. Cette loi (ou encore distribution) est paramétrée par le vecteur α de nombres réels positifs et tire son nom de Johann Peter Gustav Lejeune Dirichlet.

Dirichlet process

In probability theory, Dirichlet processes (after the distribution associated with Peter Gustav Lejeune Dirichlet) are a family of stochastic processes whose realizations are probability distributions. In other words, a Dirichlet process is a probability distribution whose range is itself a set of probability distributions. It is often used in Bayesian inference to describe the prior knowledge about the distribution of random variables—how likely it is that the random variables are distributed according to one or another particular distribution.

Afficher plus

Séances de cours associées (64)

Modèles thématiques

Introduit des modèles thématiques, couvrant le clustering, le GMM, le LDA, la distribution de Dirichlet et l'inférence variationnelle.

Limites fondamentales de l'apprentissage basé sur le graduat

S'inscrit dans les limites fondamentales de l'apprentissage par gradient sur les réseaux neuronaux, couvrant des sujets tels que le théorème binôme, les séries exponentielles et les fonctions génératrices de moments.

Modèles de mélange gaussien : Classification des données

Explore les signaux de débruitage avec des modèles de mélange gaussien et l'algorithme EM, l'analyse de signal EMG et la segmentation d'image à l'aide de modèles markoviens.

Modèle dirichlet-multinomial

Discute de la distribution de Dirichlet, de l'inférence bayésienne, de la moyenne postérieure et de la variance, des antécédents conjugués et de la distribution prédictive dans le modèle de Dirichlet-Multinôme.

Probabilité et statistiques

Couvre les probabilités, les statistiques, l'indépendance, la covariance, la corrélation et les variables aléatoires.

Afficher plus

Concepts associés (32)

Analyse lexicale

Categorical distribution

Posterior predictive distribution

Loi de Dirichlet

Dirichlet process

Afficher plus