Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

K-means et modèle de mélange gaussien

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre l'algorithme K-means pour regrouper les données en grappes arrondies, les propriétés de K-means, l'algorithme EM pour le modèle de mélange gaussien, l'inégalité de Jensen, la divergence Kullback-Leibler et l'algorithme Expectation-Maximisation.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (32)

K-moyennes

Le partitionnement en k-moyennes (ou k-means en anglais) est une méthode de partitionnement de données et un problème d'optimisation combinatoire. Étant donnés des points et un entier k, le problème est de diviser les points en k groupes, souvent appelés clusters, de façon à minimiser une certaine fonction. On considère la distance d'un point à la moyenne des points de son cluster ; la fonction à minimiser est la somme des carrés de ces distances.

Maximum de vraisemblance

En statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.

Partitionnement de données

vignette|upright=1.2|Exemple de clustering hiérarchique. Le partitionnement de données (ou data clustering en anglais) est une méthode en analyse des données. Elle vise à diviser un ensemble de données en différents « paquets » homogènes, en ce sens que les données de chaque sous-ensemble partagent des caractéristiques communes, qui correspondent le plus souvent à des critères de proximité (similarité informatique) que l'on définit en introduisant des mesures et classes de distance entre objets.

Regroupement hiérarchique

Dans le domaine de l'analyse et de la classification automatique de données, le regroupement hiérarchique est un partitionnement de données ou clustering, au moyen de diverses méthodes, dites « ascendantes » et « descendantes ». Les méthodes dites « descendantes » partent d’une solution générale vers une autre plus spécifique. Les méthodes de cette catégorie démarrent avec une seule classe contenant la totalité puis se divisent à chaque étape selon un critère jusqu’à l’obtention d’un ensemble de classes différentes.

Fonction de vraisemblance

vignette|Exemple d'une fonction de vraisemblance pour le paramètre d'une Loi de Poisson En théorie des probabilités et en statistique, la fonction de vraisemblance (ou plus simplement vraisemblance) est une fonction des paramètres d'un modèle statistique calculée à partir de données observées. Les fonctions de vraisemblance jouent un rôle clé dans l'inférence statistique fréquentiste, en particulier pour les méthodes statistiques d'estimation de paramètres.

Afficher plus

Séances de cours associées (39)

Modèle de mélange gaussien: forme finale EM

Explique les calculs E-step et M-step dans le modèle de mélange gaussien, y compris le pseudocode de lalgorithme EM.

Boltzmann Machine

Introduit la machine Boltzmann, couvrant la cohérence d'attente, le regroupement des données, et les fonctions de distribution de probabilité.

Mesures d'information

Couvre les mesures d'information comme l'entropie et la divergence Kullback-Leibler.

Groupement : moyenne en k

Explique le regroupement des moyennes k, en attribuant des points de données à des grappes en fonction de la proximité et en minimisant les distances carrées à l'intérieur des grappes.

Modèles variables latents

Explore les modèles variables latents, l'algorithme EM et l'inégalité de Jensen dans la modélisation statistique.

Afficher plus

Concepts associés (32)

K-moyennes

Maximum de vraisemblance

Partitionnement de données

Regroupement hiérarchique

Fonction de vraisemblance

Afficher plus