Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Modèles linéaires: LASSO et AMP

Dans cours

PHYS-642: Statistical physics for optimization & learning

This course covers the statistical physics approach to computer science problems, with an emphasis on heuristic & rigorous mathematical technics, ranging from graph theory and constraint satisfaction to inference to machine learning, neural networks and st ...

Description

Cette séance de cours porte sur les problèmes linéaires, le LASSO et l'AMP dans l'apprentissage supervisé. Il explique le concept de modèles linéaires généralisés et comment les inverser. La séance de cours se décline également en modèles N-dimensionnels, LASSO, et la performance d'algorithmes comme r-BP et G-AMP.

Enseignant·e·s (2)

Florent Gérard Krzakala

Lenka Zdeborová

Lenka Zdeborová is a Professor of Physics and of Computer Science in École Polytechnique Fédérale de Lausanne where she leads the Statistical Physics of Computation Laboratory. She received a PhD in physics from University Paris-Sud and from Charles University in Prague in 2008. She spent two years in the Los Alamos National Laboratory as the Director's Postdoctoral Fellow. Between 2010 and 2020 she was a researcher at CNRS working in the Institute of Theoretical Physics in CEA Saclay, France. In 2014, she was awarded the CNRS bronze medal, in 2016 Philippe Meyer prize in theoretical physics and an ERC Starting Grant, in 2018 the Irène Joliot-Curie prize, in 2021 the Gibbs lectureship of AMS. She is an editorial board member for Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, and Information and Inference. Lenka's expertise is in applications of concepts from statistical physics, such as advanced mean field methods, replica method and related message-passing algorithms, to problems in machine learning, signal processing, inference and optimization. She enjoys erasing the boundaries between theoretical physics, mathematics and computer science.

Source officielle

Concepts associés (31)

Modèle linéaire généralisé

En statistiques, le modèle linéaire généralisé (MLG) souvent connu sous les initiales anglaises GLM est une généralisation souple de la régression linéaire. Le GLM généralise la régression linéaire en permettant au modèle linéaire d'être relié à la variable réponse via une fonction lien et en autorisant l'amplitude de la variance de chaque mesure d'être une fonction de sa valeur prévue, en fonction de la loi choisie.

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Trois dimensions

Trois dimensions, tridimensionnel ou 3D sont des expressions qui caractérisent l'espace qui nous entoure, tel que perçu par notre vision, en ce qui concerne la largeur, la hauteur et la profondeur. Le terme « 3D » est également (et improprement) utilisé (surtout en anglais) pour désigner la représentation en (numérique), le relief des images stéréoscopiques ou autres , et même parfois le simple effet stéréophonique, qui ne peut par construction rendre que de la 2D (il ne s'agit donc que du calcul des projections perspectives, des ombrages, des rendus de matières).

Generalized linear mixed model

In statistics, a generalized linear mixed model (GLMM) is an extension to the generalized linear model (GLM) in which the linear predictor contains random effects in addition to the usual fixed effects. They also inherit from GLMs the idea of extending linear mixed models to non-normal data. GLMMs provide a broad range of models for the analysis of grouped data, since the differences between groups can be modelled as a random effect. These models are useful in the analysis of many kinds of data, including longitudinal data.

Dimension

Le terme dimension, du latin dimensio « action de mesurer », désigne d’abord chacune des grandeurs d’un objet : longueur, largeur et profondeur, épaisseur ou hauteur, ou encore son diamètre si c'est une pièce de révolution. L’acception a dérivé de deux façons différentes en physique et en mathématiques. En physique, la dimension qualifie une grandeur indépendamment de son unité de mesure, tandis qu’en mathématiques, la notion de dimension correspond au nombre de grandeurs nécessaires pour identifier un objet, avec des définitions spécifiques selon le type d’objet (algébrique, topologique ou combinatoire notamment).

Afficher plus

Séances de cours associées (44)

Introduction à l'apprentissage automatique : apprentissage supervisé

Introduit l'apprentissage supervisé, couvrant la classification, la régression, l'optimisation des modèles, le surajustement, et les méthodes du noyau.

Introduction à l'apprentissage automatique: modèles linéaires

Introduit des modèles linéaires pour l'apprentissage supervisé, couvrant le suréquipement, la régularisation et les noyaux, avec des applications dans les tâches d'apprentissage automatique.

Modèles linéaires et suréquipement

Explore les modèles linéaires, les surajustements et l'importance de l'expansion des fonctionnalités et ajoute plus de données pour réduire les surajustements.

Régression Diagnostics

Couvre les diagnostics de régression pour les modèles linéaires, en soulignant limportance de vérifier les hypothèses et didentifier les valeurs aberrantes et les observations influentes.

Régression des crêtes : les moindres carrés pénalisés

Explore Ridge Regression pour la gestion de la multicolinéarité et la méthode LASSO pour la sélection des modèles.

Afficher plus

Concepts associés (31)

Modèle linéaire généralisé

Régression linéaire

Trois dimensions

Generalized linear mixed model

Dimension

Afficher plus