Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Mots, jetons, n-grammes et modèles linguistiques

Description

Cette séance de cours couvre les concepts de mots, de jetons, de n-grammes et de modèles de langage. Il commence par discuter de l'ambiguïté de la définition des mots et des jetons, puis se décline en modèles n-gram et leurs applications dans l'identification de la langue et la correction d'erreurs d'orthographe. La séance de cours souligne l'importance de comprendre l'approche probabiliste, y compris le lissage additif et les antécédents de Dirichlet. Parmi les points clés, mentionnons les défis posés par les formes non-vocabulaires et l'approche probabiliste de correction des erreurs d'orthographe.

Source officielle

Proximité ontologique

Statistique

Inférence statistique: Statistique mathématique

Concepts associés (32)

Analyse lexicale

En informatique, l’analyse lexicale, lexing, segmentation ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte.

Categorical distribution

In probability theory and statistics, a categorical distribution (also called a generalized Bernoulli distribution, multinoulli distribution) is a discrete probability distribution that describes the possible results of a random variable that can take on one of K possible categories, with the probability of each category separately specified. There is no innate underlying ordering of these outcomes, but numerical labels are often attached for convenience in describing the distribution, (e.g. 1 to K).

Posterior predictive distribution

In Bayesian statistics, the posterior predictive distribution is the distribution of possible unobserved values conditional on the observed values. Given a set of N i.i.d. observations , a new value will be drawn from a distribution that depends on a parameter , where is the parameter space. It may seem tempting to plug in a single best estimate for , but this ignores uncertainty about , and because a source of uncertainty is ignored, the predictive distribution will be too narrow.

Loi de Dirichlet

thumb|right|250px|Plusieurs images de la densité de la loi de Dirichlet lorsque K=3 pour différents vecteurs de paramètres α. Dans le sens horaire à partir du coin supérieur gauche : α=(6, 2, 2), (3, 7, 5), (6, 2, 6), (2, 3, 4). En probabilité et statistiques, la loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales. Cette loi (ou encore distribution) est paramétrée par le vecteur α de nombres réels positifs et tire son nom de Johann Peter Gustav Lejeune Dirichlet.

Dirichlet process

In probability theory, Dirichlet processes (after the distribution associated with Peter Gustav Lejeune Dirichlet) are a family of stochastic processes whose realizations are probability distributions. In other words, a Dirichlet process is a probability distribution whose range is itself a set of probability distributions. It is often used in Bayesian inference to describe the prior knowledge about the distribution of random variables—how likely it is that the random variables are distributed according to one or another particular distribution.

Afficher plus

Séances de cours associées (38)

Limites fondamentales de l'apprentissage basé sur le graduat

S'inscrit dans les limites fondamentales de l'apprentissage par gradient sur les réseaux neuronaux, couvrant des sujets tels que le théorème binôme, les séries exponentielles et les fonctions génératrices de moments.

Modèle dirichlet-multinomial

Discute de la distribution de Dirichlet, de l'inférence bayésienne, de la moyenne postérieure et de la variance, des antécédents conjugués et de la distribution prédictive dans le modèle de Dirichlet-Multinôme.

Modèles graphiques : Représentation des distributions probabilistes

Couvre les modèles graphiques pour les distributions probabilistes à l'aide de graphiques, de nœuds et de bords.

Essais d'hypothèse statistique

Couvre les tests d'hypothèses statistiques, les intervalles de confiance, les valeurs p et les niveaux de signification dans les tests d'hypothèses.

Probabilité et statistiques

Couvre les probabilités, les statistiques, l'indépendance, la covariance, la corrélation et les variables aléatoires.

Afficher plus

Concepts associés (32)

Analyse lexicale

Categorical distribution

Posterior predictive distribution

Loi de Dirichlet

Dirichlet process

Afficher plus