Séance de cours

Modèles du sujet: Allocation de dirichlet latent

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre le concept de modèles thématiques, en se concentrant sur lallocation de Dirichlet latente (LDA). Il commence par une introduction aux tâches de clustering et à l'algorithme K-means, puis se penche sur l'estimation de la densité et les modèles de mélange gaussien. La séance de cours explique le processus d'apprentissage dans les MGM et les limites de l'estimation de la densité non paramétrique. Il explore en outre la distribution de Dirichlet et son rôle dans LDA, en discutant du processus génératif, de l'apprentissage et des méthodes approximatives d'inférence. La séance de cours se termine par une discussion sur l'évaluation des modèles LDA, son application dans les humanités numériques, et des extensions comme les modèles de sujets corrélés.

Source officielle

Proximité ontologique

Statistique

Inférence statistique: Statistique bayésienne, Statistique mathématique

Concepts associés (32)

Allocation de Dirichlet latente

Dans le domaine du traitement automatique des langues, l’allocation de Dirichlet latente (de l’anglais Latent Dirichlet Allocation) ou LDA est un modèle génératif probabiliste permettant d’expliquer des ensembles d’observations, par le moyen de groupes non observés, eux-mêmes définis par des similarités de données. Par exemple, si les observations () sont les mots collectés dans un ensemble de documents textuels (), le modèle LDA suppose que chaque document () est un mélange () d’un petit nombre de sujets ou thèmes ( topics), et que la génération de chaque occurrence d’un mot () est attribuable (probabilité) à l’un des thèmes () du document.

Loi de Dirichlet

thumb|right|250px|Plusieurs images de la densité de la loi de Dirichlet lorsque K=3 pour différents vecteurs de paramètres α. Dans le sens horaire à partir du coin supérieur gauche : α=(6, 2, 2), (3, 7, 5), (6, 2, 6), (2, 3, 4). En probabilité et statistiques, la loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales. Cette loi (ou encore distribution) est paramétrée par le vecteur α de nombres réels positifs et tire son nom de Johann Peter Gustav Lejeune Dirichlet.

Dirichlet-multinomial distribution

In probability theory and statistics, the Dirichlet-multinomial distribution is a family of discrete multivariate probability distributions on a finite support of non-negative integers. It is also called the Dirichlet compound multinomial distribution (DCM) or multivariate Pólya distribution (after George Pólya). It is a compound probability distribution, where a probability vector p is drawn from a Dirichlet distribution with parameter vector , and an observation drawn from a multinomial distribution with probability vector p and number of trials n.

Modèle de mélange

In statistics, a mixture model is a probabilistic model for representing the presence of subpopulations within an overall population, without requiring that an observed data set should identify the sub-population to which an individual observation belongs. Formally a mixture model corresponds to the mixture distribution that represents the probability distribution of observations in the overall population.

Topic model

vignette|Visualisation du résumé d'un article scientifique traité par topic model. L'intensité de la couleur varie selon la probabilité d'appartenir au topic en question. En apprentissage automatique et en traitement automatique du langage naturel, un topic model (modèle thématique ou « modèle de sujet ») est un modèle probabiliste permettant de déterminer des sujets ou thèmes abstraits dans un document. Analyse sémantique latente (LSA) Allocation de Dirichlet latente (LDA) Analyse sémantique latente probab

Afficher plus

Séances de cours associées (64)

Modèles de mélange gaussien et signaux sonores

Explore les modèles de mélange gaussien et dénigre les signaux bruyants à l'aide d'une approche probabiliste.

Modèles du sujet: Comprendre les structures latentes

Explore les modèles thématiques, les modèles de mélange gaussien, la répartition des dirichlets latents et l'inférence variationnelle dans la compréhension des structures latentes à l'intérieur des données.

Apprentissage sans supervision : regroupement

Explore l'apprentissage non supervisé par des techniques de regroupement, des algorithmes, des applications et des défis dans divers domaines.

Modèles thématiques

Introduit des modèles thématiques, couvrant le clustering, le GMM, le LDA, la distribution de Dirichlet et l'inférence variationnelle.

Éléments de la statistique : probabilité et variables aléatoires

Introduit des concepts clés en variables de probabilité et aléatoires, couvrant les statistiques, les distributions et la covariance.

Afficher plus

Concepts associés (32)

Allocation de Dirichlet latente

Loi de Dirichlet

Dirichlet-multinomial distribution

Modèle de mélange

Topic model

Afficher plus