Séance de cours

Algorithmes de descente aux gradients bruyants

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

PHYS-754: Lecture series on scientific machine learning

This lecture presents ongoing work on how scientific questions can be tackled using machine learning. Machine learning enables extracting knowledge from data computationally and in an automatized way. We will learn on examples how this is influencing the v ...

Description

Cette séance de cours traite de la motivation derrière les algorithmes de descente de gradient bruyants, de leurs performances par rapport à la transmission de messages et aux SCP, et de l'utilisation du modèle de tenseur à matrice mixte à pointes pour analyser les algorithmes à grande échelle. Il couvre également l'estimateur bayésien, le passage approximatif des messages et l'algorithme de Langevin, explorant leurs propriétés et leurs performances dans les problèmes d'optimisation non convexes de grande dimension.

Enseignant·e·s (10)

Lenka Zdeborová

Lenka Zdeborová is a Professor of Physics and of Computer Science in École Polytechnique Fédérale de Lausanne where she leads the Statistical Physics of Computation Laboratory. She received a PhD in physics from University Paris-Sud and from Charles University in Prague in 2008. She spent two years in the Los Alamos National Laboratory as the Director's Postdoctoral Fellow. Between 2010 and 2020 she was a researcher at CNRS working in the Institute of Theoretical Physics in CEA Saclay, France. In 2014, she was awarded the CNRS bronze medal, in 2016 Philippe Meyer prize in theoretical physics and an ERC Starting Grant, in 2018 the Irène Joliot-Curie prize, in 2021 the Gibbs lectureship of AMS. She is an editorial board member for Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, and Information and Inference. Lenka's expertise is in applications of concepts from statistical physics, such as advanced mean field methods, replica method and related message-passing algorithms, to problems in machine learning, signal processing, inference and optimization. She enjoys erasing the boundaries between theoretical physics, mathematics and computer science.

Paolo De Los Rios

Enseignement et PhD Doctorant·es actuel·les María Li López Bautista, Subhasis Dehury, Lisa Gennai A dirigé les thèses EPFL de Giovanni Salvi, Thomas Petermann, David Gfeller, Cécile Caretta Cartozo, David Morton de Lachapelle, Carlo Maffi, Lucio Floretta, Salvatore Assenza, Duccio Malinverni, Alberto Stefano Sassi, Andrea Martini, Solange Flatt, Adélaïde Alice Mohr, Shiling Liang, Alexandra Shelest, Davide Cois A co-dirigé les thèses EPFL de Lorenzo Talamanca Cours EDCB seminar series BIOENG-606

Anne-Clémence Corminboeuf

Enseignement et PhD Doctorant·es actuel·les Liam Oliver Marsh, Pratham Pushparaj Deshmukh, Roel Christiaan M Raike, Thanapat Worakul, Osvaldo Hernandez Cuellar, Juliette Veronique Schleicher, Yannick Calvino Alonso, Sara Bassetta, Yuri Cho, Kelian Dietmar Marc Gaedecke, Guoyuan Liu A dirigé les thèses EPFL de Fabrice Avaltroni, Daniel Filipe Jana, Stephan Niklaus Steinmann, Jérôme Florian Gonthier, Riccardo Petraglia, Antonio Prlj, Laurent Alexis Clément Vannay, Alberto Fabrizio, Kun-Han Lin, Boodsarin Sa

Philippe Schwaller

Source officielle

Concepts associés (8)

Biais (statistique)

En statistique ou en épidémiologie, un biais est une démarche ou un procédé qui engendre des erreurs dans les résultats d'une étude. Formellement, le biais de l'estimateur d'un paramètre est la différence entre la valeur de l'espérance de cet estimateur (qui est une variable aléatoire) et la valeur qu'il est censé estimer (définie et fixe). biais effet-centre biais de vérification (work-up biais) biais d'autosélection, estimé à 27 % des travaux d'écologie entre 1960 et 1984 par le professeur de biologie américain Stuart H.

Invariant estimator

In statistics, the concept of being an invariant estimator is a criterion that can be used to compare the properties of different estimators for the same quantity. It is a way of formalising the idea that an estimator should have certain intuitively appealing qualities. Strictly speaking, "invariant" would mean that the estimates themselves are unchanged when both the measurements and the parameters are transformed in a compatible way, but the meaning has been extended to allow the estimates to change in appropriate ways with such transformations.

Minimum-variance unbiased estimator

In statistics a minimum-variance unbiased estimator (MVUE) or uniformly minimum-variance unbiased estimator (UMVUE) is an unbiased estimator that has lower variance than any other unbiased estimator for all possible values of the parameter. For practical statistics problems, it is important to determine the MVUE if one exists, since less-than-optimal procedures would naturally be avoided, other things being equal. This has led to substantial development of statistical theory related to the problem of optimal estimation.

Réduction de la dimensionnalité

vignette|320x320px|Animation présentant la projection de points en deux dimensions sur les axes obtenus par analyse en composantes principales, une méthode populaire de réduction de la dimensionnalité La réduction de la dimensionnalité (ou réduction de (la) dimension) est un processus étudié en mathématiques et en informatique, qui consiste à prendre des données dans un espace de grande dimension, et à les remplacer par des données dans un espace de plus petite dimension.

Analyse en composantes principales

L'analyse en composantes principales (ACP ou PCA en anglais pour principal component analysis), ou, selon le domaine d'application, transformation de Karhunen–Loève (KLT) ou transformation de Hotelling, est une méthode de la famille de l'analyse des données et plus généralement de la statistique multivariée, qui consiste à transformer des variables liées entre elles (dites « corrélées » en statistique) en nouvelles variables décorrélées les unes des autres. Ces nouvelles variables sont nommées « composantes principales » ou axes principaux.

Afficher plus

Séances de cours associées (21)

Réduction dimensionnelle

Introduit des réseaux de neurones artificiels et explore diverses techniques de réduction de la dimensionnalité telles que PCA, LDA, Kernel PCA et t-SNE.

Chaînes Monte Carlo Markov

Couvre l'apprentissage non supervisé, la réduction de dimensionnalité, SVD, l'estimation de bas grade, PCA, et les chaînes Monte Carlo Markov.

PCA: Directions de la plus grande variance Connectez-vous à Mediaspace pour regarder cette vidéo

Couvre l'APC, trouvant les directions de la plus grande variance, la réduction de dimensionnalité des données et les limites de l'APC.

Estimation du rétrécissement des grandes matrices de covariance

Explorer l'estimation du rétrécissement des matrices de covariance à haute dimension, en comparant les approches linéaires et non linéaires pour une meilleure précision.

Flexibilité des modèles et de l'échange de devises

S'insère dans le compromis entre la flexibilité du modèle et la variation des biais dans la décomposition des erreurs, la régression polynomiale, le KNN, et la malédiction de la dimensionnalité.

Afficher plus

Concepts associés (8)

Biais (statistique)

Invariant estimator

Minimum-variance unbiased estimator

Réduction de la dimensionnalité

Analyse en composantes principales

Afficher plus