Séance de cours

Modèles de sujets probabilistes : Latent Dirichlet Allocation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-308: Internet analytics

Internet analytics is the collection, modeling, and analysis of user data in large-scale online services, such as social networking, e-commerce, search, and advertisement. This class explores a number of the key functions of such online services that have ...

Description

Cette séance de cours couvre des modèles de sujets probabilistes, en se concentrant sur l'allocation de Dirichlet latente (LDA). Il explique comment LDA modélise des sujets en tant que distributions sur des mots, les documents étant des mélanges de ces sujets. L'instructeur discute des inconvénients de l'indexation sémantique latente probabiliste (PLSI) et introduit LDA comme solution. La séance de cours se penche sur la distribution de Dirichlet, qui est utilisée pour modéliser la distribution des distributions dans LDA. Il explore également l'application de LDA dans le regroupement de documents et ses méthodes d'inférence, telles que MCMC et l'inférence bayésienne variationnelle. Des exemples du corpus TREC-AP sont fournis pour illustrer l'efficacité de LDA dans le regroupement de documents logiciels. La séance de cours se termine en discutant des variantes de LDA, des extensions et de lidée générale de modèles de sujets dans lanalyse de documents.

Enseignant·e

Matthias Grossglauser

Enseignement et PhD Doctorant·es actuel·les Daichi Kuroda, Oscar Villemaud, Mohammadsadegh Khorasani, Amir Mohammad Aboueimehrizi A dirigé les thèses EPFL de Michal Piorkowski, Natasa Sarafijanovic-Djukic, Pedram Pedarsani, Mohamed Kafsi, Vincent Etter, Ehsan Kazemi, Lyudmila Yartseva, Young Jun Ko, Lucas Maystre, William Trouleau, Daniyar Chumbalov, Aswin Suresh A co-dirigé les thèses EPFL de Henri Dubois-Ferrière, Dominique Florian Tschopp, Victor Kristof Cours Internet analytics COM-308

Source officielle

Concepts associés (26)

Dirichlet-multinomial distribution

In probability theory and statistics, the Dirichlet-multinomial distribution is a family of discrete multivariate probability distributions on a finite support of non-negative integers. It is also called the Dirichlet compound multinomial distribution (DCM) or multivariate Pólya distribution (after George Pólya). It is a compound probability distribution, where a probability vector p is drawn from a Dirichlet distribution with parameter vector , and an observation drawn from a multinomial distribution with probability vector p and number of trials n.

Dirichlet negative multinomial distribution

In probability theory and statistics, the Dirichlet negative multinomial distribution is a multivariate distribution on the non-negative integers. It is a multivariate extension of the beta negative binomial distribution. It is also a generalization of the negative multinomial distribution (NM(k, p)) allowing for heterogeneity or overdispersion to the probability vector. It is used in quantitative marketing research to flexibly model the number of household transactions across multiple brands.

Modèle de mélange

In statistics, a mixture model is a probabilistic model for representing the presence of subpopulations within an overall population, without requiring that an observed data set should identify the sub-population to which an individual observation belongs. Formally a mixture model corresponds to the mixture distribution that represents the probability distribution of observations in the overall population.

Dirichlet process

In probability theory, Dirichlet processes (after the distribution associated with Peter Gustav Lejeune Dirichlet) are a family of stochastic processes whose realizations are probability distributions. In other words, a Dirichlet process is a probability distribution whose range is itself a set of probability distributions. It is often used in Bayesian inference to describe the prior knowledge about the distribution of random variables—how likely it is that the random variables are distributed according to one or another particular distribution.

Plate notation

In Bayesian inference, plate notation is a method of representing variables that repeat in a graphical model. Instead of drawing each repeated variable individually, a plate or rectangle is used to group variables into a subgraph that repeat together, and a number is drawn on the plate to represent the number of repetitions of the subgraph in the plate. The assumptions are that the subgraph is duplicated that many times, the variables in the subgraph are indexed by the repetition number, and any links that cross a plate boundary are replicated once for each subgraph repetition.

Afficher plus

Séances de cours associées (46)

Modèles du sujet: Comprendre les structures latentes

Explore les modèles thématiques, les modèles de mélange gaussien, la répartition des dirichlets latents et l'inférence variationnelle dans la compréhension des structures latentes à l'intérieur des données.

Modèles thématiques

Introduit des modèles thématiques, couvrant le clustering, le GMM, le LDA, la distribution de Dirichlet et l'inférence variationnelle.

Analyse de documents et modélisation de sujets

Couvre l'analyse documentaire, la modélisation thématique et les modèles génératifs profonds, y compris les auto-encodeurs et les GAN.

Modèles du sujet: Allocation de dirichlet latent

Couvre des modèles thématiques, en se concentrant sur l'allocation de Dirichlet latente, le regroupement, les MGM, la distribution de Dirichlet, l'apprentissage LDA et les applications en humanités numériques.

Modèle dirichlet-multinomial

Discute de la distribution de Dirichlet, de l'inférence bayésienne, de la moyenne postérieure et de la variance, des antécédents conjugués et de la distribution prédictive dans le modèle de Dirichlet-Multinôme.

Afficher plus

Concepts associés (26)

Dirichlet-multinomial distribution

Dirichlet negative multinomial distribution