Séance de cours

Courbes de double descente : surparamétrisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours de l'instructeur couvre les mathématiques des données, en se concentrant sur la transition de la théorie au calcul. Les sujets abordés comprennent le compromis entre la complexité du modèle et le risque, les dangers des classes de fonctions complexes conduisant à un surajustement, les avantages de la surparamètrisation et le mystère de la généralisation dans lapprentissage profond. La séance de cours se penche sur le concept de courbes à double descente, explorant les implications de la surparamètrisation dans les modèles d'apprentissage automatique.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Proximité ontologique

Mathématiques

Analyse (mathématiques): Analyse numérique

Concepts associés (32)

Interpolation numérique

En analyse numérique (et dans son application algorithmique discrète pour le calcul numérique), l'interpolation est une opération mathématique permettant de remplacer une courbe ou une fonction par une autre courbe (ou fonction) plus simple, mais qui coïncide avec la première en un nombre fini de points (ou de valeurs) donnés au départ. Suivant le type d'interpolation, outre le fait de coïncider en un nombre fini de points ou de valeurs, il peut aussi être demandé à la courbe ou à la fonction construite de vérifier des propriétés supplémentaires.

Computational complexity

In computer science, the computational complexity or simply complexity of an algorithm is the amount of resources required to run it. Particular focus is given to computation time (generally measured by the number of needed elementary operations) and memory storage requirements. The complexity of a problem is the complexity of the best algorithms that allow solving the problem. The study of the complexity of explicitly given algorithms is called analysis of algorithms, while the study of the complexity of problems is called computational complexity theory.

Interpolation multivariée

En analyse numérique, linterpolation multivariée ou linterpolation spatiale désigne l'interpolation numérique de fonctions de plus d'une variable. Le problème est similaire à celui de l'interpolation polynomiale sur un intervalle réel : on connait les valeurs d'une fonction à interpoler aux points et l'objectif consiste à évaluer la valeur de la fonction en des points . L'interpolation multivariée est notamment utilisée en géostatistique, où elle est utilisée pour reconstruire les valeurs d'une variable régionalisée sur un domaine à partir d'échantillons connus en un nombre limité de points.

Interpolation polynomiale

En mathématiques, en analyse numérique, l'interpolation polynomiale est une technique d'interpolation d'un ensemble de données ou d'une fonction par un polynôme. En d'autres termes, étant donné un ensemble de points (obtenu, par exemple, à la suite d'une expérience), on cherche un polynôme qui passe par tous ces points, p(xi) = yi, et éventuellement vérifie d'autres conditions, de degré si possible le plus bas. Cependant, dans le cas de l'interpolation lagrangienne, par exemple, le choix des points d'interpolation est critique.

Extrapolation (mathématiques)

En mathématiques, l'extrapolation est le calcul d'un point d'une courbe dont on ne dispose pas d'équation, à partir d'autres points, lorsque l'abscisse du point à calculer est au-dessus du maximum ou en dessous du minimum des points connus. En dehors de cette particularité, les méthodes sont les mêmes que pour l'interpolation. C'est, d'autre part, une méthode développée par Norbert Wiener en traitement du signal pour la prédiction. Le choix de la méthode d'extrapolation dépend de la connaissance a priori de la méthode de génération des données.

Afficher plus

Séances de cours associées (64)

La généralisation dans l'apprentissage profond

S'insère dans le compromis entre la complexité du modèle et le risque, les limites de généralisation, et les dangers d'un ajustement excessif des classes de fonctions complexes.

La généralisation dans l'apprentissage profond

Explore la généralisation dans l'apprentissage profond, couvrant la complexité du modèle, le biais implicite, et le phénomène de double descente.

Techniques de réduction des écarts

Couvre les techniques de réduction de la variance dans l'optimisation, en mettant l'accent sur la descente en gradient et les méthodes de descente en gradient stochastique.

Apprendre avec les réseaux neuronaux profonds

Explore le succès et les défis de l'apprentissage profond, y compris le suréquipement, la généralisation et l'impact sur divers domaines.

Théorème d'approximation universelle: MLP

Couvre les perceptrons multicouches (MLP) et leur application de la classification à la régression, y compris le théorème d'approximation universelle et les défis liés aux gradients.

Afficher plus

Concepts associés (32)

Interpolation numérique

Computational complexity

Interpolation multivariée

Interpolation polynomiale

Extrapolation (mathématiques)

Afficher plus