Séance de cours

Échantillonnage de Gibbs : Annealing simulé

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

PHYS-467: Machine learning for physicists

Machine learning and data analysis are becoming increasingly central in sciences including physics. In this course, fundamental principles and methods of machine learning will be introduced and practised. ...

Description

Cette séance de cours couvre le concept d'échantillonnage de Gibbs et son application dans le recuit simulé, en mettant l'accent sur l'équilibre détaillé, l'estimation MMSE, le chevauchement marginal et l'algorithme Metropolis-Hastings. L'instructeur explique le processus d'obtention de nouvelles configurations en recueillant des indices aléatoires et en les actualisant, en soulignant l'importance d'atteindre l'équilibre dans le processus d'échantillonnage.

Enseignant·e

Lenka Zdeborová

Lenka Zdeborová is a Professor of Physics and of Computer Science in École Polytechnique Fédérale de Lausanne where she leads the Statistical Physics of Computation Laboratory. She received a PhD in physics from University Paris-Sud and from Charles University in Prague in 2008. She spent two years in the Los Alamos National Laboratory as the Director's Postdoctoral Fellow. Between 2010 and 2020 she was a researcher at CNRS working in the Institute of Theoretical Physics in CEA Saclay, France. In 2014, she was awarded the CNRS bronze medal, in 2016 Philippe Meyer prize in theoretical physics and an ERC Starting Grant, in 2018 the Irène Joliot-Curie prize, in 2021 the Gibbs lectureship of AMS. She is an editorial board member for Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, and Information and Inference. Lenka's expertise is in applications of concepts from statistical physics, such as advanced mean field methods, replica method and related message-passing algorithms, to problems in machine learning, signal processing, inference and optimization. She enjoys erasing the boundaries between theoretical physics, mathematics and computer science.

Source officielle

Concepts associés (32)

Échantillonnage de Gibbs

L' est une méthode MCMC. Étant donné une distribution de probabilité sur un univers , cet algorithme définit une chaîne de Markov dont la distribution stationnaire est . Il permet ainsi de tirer aléatoirement un élément de selon la loi (on parle d'échantillonnage). Comme pour toutes les méthodes de Monte-Carlo à chaîne de Markov, on se place dans un espace vectoriel Ɛ de dimension finie n ; on veut générer aléatoirement N vecteurs x(i) suivant une distribution de probabilité π ; pour simplifier le problème, on détermine une distribution qx(i) permettant de générer aléatoirement x(i + 1) à partir de x(i).

Méthode de rejet

La méthode du rejet est une méthode utilisée dans le domaine des probabilités. La méthode de rejet est utilisée pour engendrer indirectement une variable aléatoire , de densité de probabilité lorsqu'on ne sait pas simuler directement la loi de densité de probabilité (c'est le cas par exemple si n'est pas une densité classique, mais aussi pour la loi de Gauss). Soit un couple de variables aléatoires indépendantes tirées selon une loi uniforme, i.e. est un point tiré uniformément dans le carré unité.

Bayes estimator

In estimation theory and decision theory, a Bayes estimator or a Bayes action is an estimator or decision rule that minimizes the posterior expected value of a loss function (i.e., the posterior expected loss). Equivalently, it maximizes the posterior expectation of a utility function. An alternative way of formulating an estimator within Bayesian statistics is maximum a posteriori estimation. Suppose an unknown parameter is known to have a prior distribution .

Minimum mean square error

In statistics and signal processing, a minimum mean square error (MMSE) estimator is an estimation method which minimizes the mean square error (MSE), which is a common measure of estimator quality, of the fitted values of a dependent variable. In the Bayesian setting, the term MMSE more specifically refers to estimation with quadratic loss function. In such case, the MMSE estimator is given by the posterior mean of the parameter to be estimated.

Point estimation

In statistics, point estimation involves the use of sample data to calculate a single value (known as a point estimate since it identifies a point in some parameter space) which is to serve as a "best guess" or "best estimate" of an unknown population parameter (for example, the population mean). More formally, it is the application of a point estimator to the data to obtain a point estimate. Point estimation can be contrasted with interval estimation: such interval estimates are typically either confidence intervals, in the case of frequentist inference, or credible intervals, in the case of Bayesian inference.

Afficher plus

Séances de cours associées (64)

Maximisation et regroupement des attentes

Couvre l'algorithme de maximisation des attentes et les techniques de regroupement, en mettant l'accent sur l'échantillonnage Gibbs et l'équilibre détaillé.

Génération du langage naturel: Techniques de décodage et défis de formation

Couvre les méthodes de décodage et les défis de formation en génération de langage naturel.

Densité des États et inférence bayésienne en mathématiques computationnelles

Explorer la densité de calcul des états et l'inférence bayésienne à l'aide d'un échantillonnage d'importance, montrant une variance inférieure et la parallélisation de la méthode proposée.

Échantillonnage spatial: concepts et techniques

Couvre l'échantillonnage spatial dans les SIG, y compris l'autocorrélation, les modèles d'élévation et les méthodes d'interpolation.

Distributions d'échantillonnage: Théorie et applications

Explorer les distributions d'échantillonnage, les propriétés des estimateurs et les mesures statistiques pour les applications de la science des données.

Afficher plus

Concepts associés (32)

Échantillonnage de Gibbs

Méthode de rejet

Bayes estimator

Minimum mean square error

Point estimation

Afficher plus