Séance de cours

K-means et modèle de mélange gaussien

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre l'algorithme K-means pour regrouper les données en grappes arrondies, les propriétés de K-means, l'algorithme EM pour le modèle de mélange gaussien, l'inégalité de Jensen, la divergence Kullback-Leibler et l'algorithme Expectation-Maximisation.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (32)

K-moyennes

Le partitionnement en k-moyennes (ou k-means en anglais) est une méthode de partitionnement de données et un problème d'optimisation combinatoire. Étant donnés des points et un entier k, le problème est de diviser les points en k groupes, souvent appelés clusters, de façon à minimiser une certaine fonction. On considère la distance d'un point à la moyenne des points de son cluster ; la fonction à minimiser est la somme des carrés de ces distances.

Partitionnement de données

vignette|upright=1.2|Exemple de clustering hiérarchique. Le partitionnement de données (ou data clustering en anglais) est une méthode en analyse des données. Elle vise à diviser un ensemble de données en différents « paquets » homogènes, en ce sens que les données de chaque sous-ensemble partagent des caractéristiques communes, qui correspondent le plus souvent à des critères de proximité (similarité informatique) que l'on définit en introduisant des mesures et classes de distance entre objets.

Regroupement hiérarchique

Dans le domaine de l'analyse et de la classification automatique de données, le regroupement hiérarchique est un partitionnement de données ou clustering, au moyen de diverses méthodes, dites « ascendantes » et « descendantes ». Les méthodes dites « descendantes » partent d’une solution générale vers une autre plus spécifique. Les méthodes de cette catégorie démarrent avec une seule classe contenant la totalité puis se divisent à chaque étape selon un critère jusqu’à l’obtention d’un ensemble de classes différentes.

Maximum de vraisemblance

En statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.

Fonction de vraisemblance

vignette|Exemple d'une fonction de vraisemblance pour le paramètre d'une Loi de Poisson En théorie des probabilités et en statistique, la fonction de vraisemblance (ou plus simplement vraisemblance) est une fonction des paramètres d'un modèle statistique calculée à partir de données observées. Les fonctions de vraisemblance jouent un rôle clé dans l'inférence statistique fréquentiste, en particulier pour les méthodes statistiques d'estimation de paramètres.

Afficher plus

Séances de cours associées (64)

Modèle de mélange gaussien: forme finale EM

Explique les calculs E-step et M-step dans le modèle de mélange gaussien, y compris le pseudocode de lalgorithme EM.

Mesures d'information

Couvre les mesures d'information comme l'entropie et la divergence Kullback-Leibler.

Boltzmann Machine

Introduit la machine Boltzmann, couvrant la cohérence d'attente, le regroupement des données, et les fonctions de distribution de probabilité.

Groupement : moyenne en k

Explique le regroupement des moyennes k, en attribuant des points de données à des grappes en fonction de la proximité et en minimisant les distances carrées à l'intérieur des grappes.

Estimation du regroupement et de la densité

Couvre la réduction de dimensionnalité, l'APC, les techniques de regroupement et les méthodes d'estimation de la densité.

Afficher plus

Concepts associés (32)

K-moyennes

Partitionnement de données

Regroupement hiérarchique

Maximum de vraisemblance

Fonction de vraisemblance

Afficher plus