Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Régression du noyau

Dans cours

PHYS-467: Machine learning for physicists

Machine learning and data analysis are becoming increasingly central in sciences including physics. In this course, fundamental principles and methods of machine learning will be introduced and practised. ...

Description

Cette séance de cours couvre le concept de régression du noyau, en mettant l'accent sur la séparation linéaire des données en ajoutant des fonctionnalités et en utilisant des méthodes locales. Il explique la malédiction de la dimensionnalité et le processus de rendre les données linéairement séparables en ajoutant des fonctionnalités.

Enseignant·e

Lenka Zdeborová

Lenka Zdeborová is a Professor of Physics and of Computer Science in École Polytechnique Fédérale de Lausanne where she leads the Statistical Physics of Computation Laboratory. She received a PhD in physics from University Paris-Sud and from Charles University in Prague in 2008. She spent two years in the Los Alamos National Laboratory as the Director's Postdoctoral Fellow. Between 2010 and 2020 she was a researcher at CNRS working in the Institute of Theoretical Physics in CEA Saclay, France. In 2014, she was awarded the CNRS bronze medal, in 2016 Philippe Meyer prize in theoretical physics and an ERC Starting Grant, in 2018 the Irène Joliot-Curie prize, in 2021 the Gibbs lectureship of AMS. She is an editorial board member for Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, and Information and Inference. Lenka's expertise is in applications of concepts from statistical physics, such as advanced mean field methods, replica method and related message-passing algorithms, to problems in machine learning, signal processing, inference and optimization. She enjoys erasing the boundaries between theoretical physics, mathematics and computer science.

Source officielle

Concepts associés (32)

Linear separability

In Euclidean geometry, linear separability is a property of two sets of points. This is most easily visualized in two dimensions (the Euclidean plane) by thinking of one set of points as being colored blue and the other set of points as being colored red. These two sets are linearly separable if there exists at least one line in the plane with all of the blue points on one side of the line and all the red points on the other side. This idea immediately generalizes to higher-dimensional Euclidean spaces if the line is replaced by a hyperplane.

Kernel regression

In statistics, kernel regression is a non-parametric technique to estimate the conditional expectation of a random variable. The objective is to find a non-linear relation between a pair of random variables X and Y. In any nonparametric regression, the conditional expectation of a variable relative to a variable may be written: where is an unknown function. Nadaraya and Watson, both in 1964, proposed to estimate as a locally weighted average, using a kernel as a weighting function.

Perceptron

Le perceptron est un algorithme d'apprentissage supervisé de classifieurs binaires (c'est-à-dire séparant deux classes). Il a été inventé en 1957 par Frank Rosenblatt au laboratoire d'aéronautique de l'université Cornell. Il s'agit d'un neurone formel muni d'une règle d'apprentissage qui permet de déterminer automatiquement les poids synaptiques de manière à séparer un problème d'apprentissage supervisé. Si le problème est linéairement séparable, un théorème assure que la règle du perceptron permet de trouver une séparatrice entre les deux classes.

Kernel smoother

A kernel smoother is a statistical technique to estimate a real valued function as the weighted average of neighboring observed data. The weight is defined by the kernel, such that closer points are given higher weights. The estimated function is smooth, and the level of smoothness is set by a single parameter. Kernel smoothing is a type of weighted moving average. Let be a kernel defined by where: is the Euclidean norm is a parameter (kernel radius) D(t) is typically a positive real valued function, whose value is decreasing (or not increasing) for the increasing distance between the X and X0.

Analyse discriminante linéaire

En statistique, l’analyse discriminante linéaire ou ADL (en anglais, linear discriminant analysis ou LDA) fait partie des techniques d’analyse discriminante prédictive. Il s’agit d’expliquer et de prédire l’appartenance d’un individu à une classe (groupe) prédéfinie à partir de ses caractéristiques mesurées à l’aide de variables prédictives. Dans l’exemple de l'article Analyse discriminante, le fichier Flea Beetles, l’objectif est de déterminer l’appartenance de puces à telle ou telle espèce à partir de la largeur et de l’angle de son édéage (partie des organes génitaux mâles de l'insecte.

Afficher plus

Séances de cours associées (36)

Méthodes de noyau et régression

Couvre les méthodes du noyau, la régression du noyau, le noyau RBF et le SVM pour la classification.

Méthodes de noyau: Réseaux neuronaux

Couvre les fondamentaux des réseaux neuronaux, en mettant l'accent sur les noyaux RBF et SVM.

Introduction à l'apprentissage automatique: modèles linéaires

Introduit des modèles linéaires pour l'apprentissage supervisé, couvrant le suréquipement, la régularisation et les noyaux, avec des applications dans les tâches d'apprentissage automatique.

Régression non paramétrique

Couvre la régression non paramétrique, le lissage par dispersion, les méthodes du noyau et le compromis biais-variance.

Introduction à l'apprentissage automatique : apprentissage supervisé

Introduit l'apprentissage supervisé, couvrant la classification, la régression, l'optimisation des modèles, le surajustement, et les méthodes du noyau.

Afficher plus

Concepts associés (32)

Analyse discriminante linéaire

Afficher plus