Séance de cours

Estimation de la distribution

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-406: Foundations of Data Science

We discuss a set of topics that are important for the understanding of modern data science but that are typically not taught in an introductory ML course. In particular we discuss fundamental ideas and techniques that come from probability, information the ...

Description

Cette séance de cours explore le concept d'estimation de la distribution, en se concentrant sur les fonctions de perte min-max et les estimateurs naturels. L'instructeur explique l'importance des contraintes dans l'estimation des distributions et introduit la notion d'analyse concurrentielle pour concevoir des estimateurs robustes. La séance de cours explore la dérivation d'un estimateur concurrentiel et sa signification opérationnelle en minimisant le regret. À travers un exemple détaillé, l'instructeur illustre comment construire un estimateur naturel basé sur des symboles et des probabilités observés. La discussion se termine par une comparaison entre l'estimateur naturel et le génie compétitif, soulignant la nécessité de contraintes raisonnables pour assurer une estimation significative.

Enseignant·e·s (2)

Rüdiger Urbanke

Rüdiger L. Urbanke obtained his Dipl. Ing. degree from the Vienna University of Technology, Austria in 1990 and the M.Sc. and PhD degrees in Electrical Engineering from Washington University in St. Louis, MO, in 1992 and 1995, respectively. He held a position at the Mathematics of Communications Department at Bell Labs from 1995 till 1999 before becoming a faculty member at the School of Computer & Communication Sciences (I&C) of EPFL. He is a member of the Information Processing Group. He is principally interested in the analysis and design of iterative coding schemes, which allow reliable transmission close to theoretical limits at low complexities. Such schemes are part of most modern communications standards, including wireless transmission, optical communication and hard disk storage. More broadly, his research focuses on the analysis of graphical models and the application of methods from statistical physics to problems in communications. From 2000-2004 he was an Associate Editor of the IEEE Transactions on Information Theory and he is currently on the board of the series "Foundations and Trends in Communications and Information Theory." In 2017 he was President of the Information Theory Society. From 2009 till 2012 he was the head of the I&C doctoral school, in 2013 he served as Dean a. i. of I&C, and since 2016 he is the Associated Dean for teaching of I&C. He is a co-author of the book "Modern Coding Theory" published by Cambridge University Press. Awards: 2021 IEEE Information Theory Society Paper Award 2016 STOC Best Paper Award 2014 La Polysphere Teaching Award 2014 IEEE Hamming Medal 2013 IEEE Information Theory Society Paper Award 2011 MASCO Best Paper Award 2011 IEEE Koji Kobayashi Award 2009 La Polysphere Teaching Award 2002 IEEE Information Theory Society Paper Award Fulbright Scholarship My students have won the following awards: M. Mondelli, 2021 IEEE Information Theory Paper Award M. Mondelli, EPFL Doctorate Award 2018 M. Mondelli, Patrick Denantes Award, 2017 M. Mondelli, IEEE IT Society Student Paper Award at ISIT, 2015 M. Mondelli, Dan David Prize Scholarship, 2015 H. Hassani, Inaugural Thomas Cover Dissertation Award, 2014 S. Kudekar, 2013 & 2021 IEEE Information Theory Paper Award A. Karbasi, Patrick Denantes Award, 2013 V. Venkatesan, Best Paper Award at MASCOTS, 2011 A. Karbasi, Best Student Paper Award at ICASSP, 2011 (with R. Parhizkar) A. Karbasi, Best Student Paper Award at ACM SIGMETRICS, 2010 (with S. Oh) S. Korada, ABB Dissertation Award, 2010 S. Korada, IEEE IT Society Student Paper Award at ISIT, 2009 (with E. Sasoglu) S. Korada, IEEE IT Society Student Paper Award at ISIT, 2008

Source officielle

Concepts associés (24)

Maximum de vraisemblance

En statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.

Théorie de l'estimation

En statistique, la théorie de l'estimation s'intéresse à l'estimation de paramètres à partir de données empiriques mesurées ayant une composante aléatoire. Les paramètres décrivent un phénomène physique sous-jacent tel que sa valeur affecte la distribution des données mesurées. Un estimateur essaie d'approcher les paramètres inconnus à partir des mesures.

Biais (statistique)

En statistique ou en épidémiologie, un biais est une démarche ou un procédé qui engendre des erreurs dans les résultats d'une étude. Formellement, le biais de l'estimateur d'un paramètre est la différence entre la valeur de l'espérance de cet estimateur (qui est une variable aléatoire) et la valeur qu'il est censé estimer (définie et fixe). biais effet-centre biais de vérification (work-up biais) biais d'autosélection, estimé à 27 % des travaux d'écologie entre 1960 et 1984 par le professeur de biologie américain Stuart H.

Minimum-variance unbiased estimator

In statistics a minimum-variance unbiased estimator (MVUE) or uniformly minimum-variance unbiased estimator (UMVUE) is an unbiased estimator that has lower variance than any other unbiased estimator for all possible values of the parameter. For practical statistics problems, it is important to determine the MVUE if one exists, since less-than-optimal procedures would naturally be avoided, other things being equal. This has led to substantial development of statistical theory related to the problem of optimal estimation.

Bayes estimator

In estimation theory and decision theory, a Bayes estimator or a Bayes action is an estimator or decision rule that minimizes the posterior expected value of a loss function (i.e., the posterior expected loss). Equivalently, it maximizes the posterior expectation of a utility function. An alternative way of formulating an estimator within Bayesian statistics is maximum a posteriori estimation. Suppose an unknown parameter is known to have a prior distribution .

Afficher plus

Séances de cours associées (64)

Le phénomène Stein et la superefficacité

Explore le phénomène Stein, présentant les avantages du biais dans les statistiques de grande dimension et la supériorité de l'estimateur James-Stein sur l'estimateur de probabilité maximale.

Principes de base de l'estimation ponctuelle

Explore la méthode des moments, le compromis biais-variance, la cohérence, le principe de plug-in et le principe de vraisemblance dans lestimation de point.

Modèles probabilistes pour la régression linéaire

Couvre le modèle probabiliste de régression linéaire et ses applications dans la résonance magnétique nucléaire et l'imagerie par rayons X.

Introduction à la détection quantique: estimation des paramètres et informations sur les pêcheurs

Présente Fisher Information pour l'estimation des paramètres basée sur les données recueillies.

Optimisation dans la théorie de la décision : estimation impartiale

Explore l'optimalité dans la théorie de la décision et l'estimation impartiale, en mettant l'accent sur la suffisance, l'exhaustivité et les limites inférieures du risque.

Afficher plus

Concepts associés (24)

Maximum de vraisemblance

Théorie de l'estimation

Biais (statistique)

Minimum-variance unbiased estimator

Bayes estimator

Afficher plus