Séance de cours

Théorie de l'entropie et de l'échantillonnage

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les concepts de théorie de l'entropie et de l'échantillonnage, en se concentrant sur des statistiques minimales suffisantes, des familles exponentielles et des distributions d'échantillonnage gaussiennes. Il explique comment des statistiques suffisantes compressent les données sans perte d'informations et l'importance d'une suffisance minimale. Des exemples illustrent l'application de ces concepts dans divers scénarios.

Source officielle

Proximité ontologique

Statistique

Inférence statistique: Statistique mathématique

Concepts associés (32)

Statistique exhaustive

Les statistiques exhaustives sont liées à la notion d'information et en particulier à l'information de Fisher. Elles servent entre autres à améliorer des estimateurs grâce à l'usage du théorème de Rao-Blackwell et du théorème de Lehmann-Scheffé. Intuitivement, parler d'une statistique exhaustive revient à dire que cette statistique contient l'ensemble de l'information sur le(s) paramètre(s) de la loi de probabilité. Soit un vecteur d'observation de taille , dont les composantes sont indépendantes et identiquement distribués (iid).

Completeness (statistics)

In statistics, completeness is a property of a statistic in relation to a parameterised model for a set of observed data. A complete statistic T is one for which any proposed distribution on the domain of T is predicted by one or more prior distributions on the model parameter space. In other words, the model space is 'rich enough' that every possible distribution of T can be explained by some prior distribution on the model parameter space. In contrast, a sufficient statistic T is one for which any two prior distributions will yield different distributions on T.

Théorie de l'estimation

En statistique, la théorie de l'estimation s'intéresse à l'estimation de paramètres à partir de données empiriques mesurées ayant une composante aléatoire. Les paramètres décrivent un phénomène physique sous-jacent tel que sa valeur affecte la distribution des données mesurées. Un estimateur essaie d'approcher les paramètres inconnus à partir des mesures.

Maximum de vraisemblance

En statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.

Statistique descriptive

La statistique descriptive est la branche des statistiques qui regroupe les nombreuses techniques utilisées pour décrire un ensemble relativement important de données. L'objectif de la statistique descriptive est de décrire, c'est-à-dire de résumer ou représenter, par des statistiques, les données disponibles quand elles sont nombreuses. Toute description d'un phénomène nécessite d'observer ou de connaître certaines choses sur ce phénomène. Les observations disponibles sont toujours constituées d'ensemble d'observations synchrones.

Afficher plus

Séances de cours associées (64)

Statistiques suffisantes: Compréhension de la compression des données

Explore des statistiques suffisantes, la compression des données et leur rôle dans l'inférence statistique, avec des exemples comme Bernoulli Trials et des familles exponentielles.

Théorie de l'entropie et de l'échantillonnage

Explore l'entropie, la famille exponentielle, la théorie de l'échantillonnage et l'inférence statistique des échantillons.

Méthodes d'estimation statistique

Couvre les méthodes d'estimation statistique, y compris le maximum de vraisemblance et l'estimation bayésienne.

Estimation : Mesure des résultats

Explore les mesures d'estimation de la performance, y compris l'estimation liée à Cramér-Rao et la probabilité maximale.

Famille exponentielle : distributions d'entropie maximales

Couvre les familles exponentielles et les distributions d'entropie maximales sous contraintes de moment.

Afficher plus

Concepts associés (32)

Statistique exhaustive

Completeness (statistics)

Théorie de l'estimation

Maximum de vraisemblance

Statistique descriptive

Afficher plus