Séance de cours

Modèle linéaire généralisé : Optimisation et approximation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours (2)

PHYS-467: Machine learning for physicists

Machine learning and data analysis are becoming increasingly central in sciences including physics. In this course, fundamental principles and methods of machine learning will be introduced and practised. ...

PHYS-512: Statistical physics of computation

The students understand tools from the statistical physics of disordered systems, and apply them to study computational and statistical problems in graph theory, discrete optimisation, inference and machine learning. ...

Description

Cette séance de cours couvre la formulation unifiée du modèle linéaire généralisé, le perceptron enseignant-étudiant, la généralisation optimale de Bayes, la performance et le passage approximatif de message. Il traite de l'optimisation des fonctions de perte, de l'entropie libre, de la propagation des croyances et de l'algorithme AMP.

Enseignant·e·s (3)

Florent Gérard Krzakala

Lenka Zdeborová

Lenka Zdeborová is a Professor of Physics and of Computer Science in École Polytechnique Fédérale de Lausanne where she leads the Statistical Physics of Computation Laboratory. She received a PhD in physics from University Paris-Sud and from Charles University in Prague in 2008. She spent two years in the Los Alamos National Laboratory as the Director's Postdoctoral Fellow. Between 2010 and 2020 she was a researcher at CNRS working in the Institute of Theoretical Physics in CEA Saclay, France. In 2014, she was awarded the CNRS bronze medal, in 2016 Philippe Meyer prize in theoretical physics and an ERC Starting Grant, in 2018 the Irène Joliot-Curie prize, in 2021 the Gibbs lectureship of AMS. She is an editorial board member for Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, and Information and Inference. Lenka's expertise is in applications of concepts from statistical physics, such as advanced mean field methods, replica method and related message-passing algorithms, to problems in machine learning, signal processing, inference and optimization. She enjoys erasing the boundaries between theoretical physics, mathematics and computer science.

Vittorio Erba

Enseignement et PhD Cours Statistical physics of computation PHYS-512 Les étudiants comprennent les outils de la physique statistique des systèmes désordonnés et les appliquent pour étudier des problèmes d'informatique et de statistiques en théorie des graphes, en optimisation discrète, ainsi qu'en inférence et en apprentissage automatique.

Source officielle

Concepts associés (13)

Entropie (thermodynamique)

L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().

Free entropy

A thermodynamic free entropy is an entropic thermodynamic potential analogous to the free energy. Also known as a Massieu, Planck, or Massieu–Planck potentials (or functions), or (rarely) free information. In statistical mechanics, free entropies frequently appear as the logarithm of a partition function. The Onsager reciprocal relations in particular, are developed in terms of entropic potentials. In mathematics, free entropy means something quite different: it is a generalization of entropy defined in the subject of free probability.

Entropy production

Entropy production (or generation) is the amount of entropy which is produced during heat process to evaluate the efficiency of the process. Entropy is produced in irreversible processes. The importance of avoiding irreversible processes (hence reducing the entropy production) was recognized as early as 1824 by Carnot. In 1865 Rudolf Clausius expanded his previous work from 1854 on the concept of "unkompensierte Verwandlungen" (uncompensated transformations), which, in our modern nomenclature, would be called the entropy production.

Propagation des convictions

La propagation des convictions (Belief Propagation ou BP en anglais), aussi connu comme la transmission de message somme-produit, est un algorithme à passage de message pour effectuer des inférences sur des modèles graphiques, tels que les réseaux Bayésiens et les champs de Markov. Il calcule la distribution marginale de chaque nœud « non-observé » conditionnée sur les nœuds observés.

Néguentropie

La néguentropie est une « entropie négative », une variation générant une baisse du degré de désorganisation d'un système. Elle équivaut par conséquent à un facteur d'organisation des systèmes physiques, biologiques, écologiques et éventuellement sociaux et humains, qui s'oppose à la tendance naturelle à la désorganisation (entropie). Elle est une caractéristique essentielle des êtres vivants. Pour désigner la néguentropie, dans certains contextes, on emploie aussi parfois le nom de syntropie (nom proposé par Albert Szent-Györgyi).

Afficher plus

Séances de cours associées (64)

Modèle d'identification aléatoire du champ : aperçu et analyse

Fournit une analyse approfondie du modèle d'Ising de champ aléatoire, couvrant la description du modèle, l'entropie libre et l'algorithme de champ moyen.

Modèle de subcube aléatoire

Introduit le modèle de subcube aléatoire (RSM) pour les problèmes de satisfaction des contraintes, explorant sa structure, les transitions de phase et le gel variable.

Analyse du degré de liberté

Explore le degré d'analyse de la liberté, la redondance et la réconciliation des données dans la modélisation et l'optimisation des processus.

Coloration graphique: aléatoire vs symétrique

Comparer la coloration aléatoire et symétrique des graphiques en termes de coloration et d'équilibre des amas.

Optimisation avec contraintes : conditions KKT

Couvre les conditions KKT pour l'optimisation avec des contraintes, essentielles pour résoudre efficacement les problèmes d'optimisation.

Afficher plus

Concepts associés (13)

Entropie (thermodynamique)

Free entropy

Entropy production

Propagation des convictions

Néguentropie

Afficher plus