Séance de cours

Minimisation du convex composite

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours couvre les méthodes de solution pour la minimisation convexe composite, y compris l'algorithme proximale-gradient et l'algorithme proximale-gradient rapide. L'instructeur explique les schémas de base, les théorèmes de convergence et la complexité par itération. La séance de cours se décline également en exemples tels que les moindres carrés et les limites théoriques régularisés par rapport à la performance pratique. En outre, il explore le problème de minimisation composite convexe stochastique et l'opérateur de cartographie des gradients. Le contenu comprend des discussions sur la méthode de graduation proximale, l'approche de Frank-Wolfe et la recherche de phase. La séance de cours se termine par un accent sur les problèmes non convexes, les points fixes et les problèmes de contrainte stochastiques.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Concepts associés (32)

Point stationnaire

350px|thumb|right|Les points stationnaires de la fonction sont marquées par des ronds rouges. Dans ce cas, ce sont des extrema locaux. Les carrés bleus désignent les points d'inflexion. En analyse réelle, un point stationnaire ou point critique d'une fonction dérivable d'une variable réelle est un point de son graphe où sa dérivée s'annule. Visuellement, cela se traduit par un point où la fonction arrête de croître ou de décroître. Pour une fonction de plusieurs variables réelles, un point stationnaire (critique) est un point où le gradient s'annule.

Théorème de Fermat sur les points stationnaires

En analyse réelle, le théorème de Fermat sur les points stationnaires permet, lors de la recherche d'éventuels extrema locaux d'une fonction dérivable, de limiter l'étude aux zéros de sa dérivée et aux bornes de son ensemble de définition. L'énoncé est le suivant : La réciproque est fausse : par exemple, la fonction , en , a une dérivée nulle mais pas d'extremum local. La condition nécessaire pour un extremum local ne s'applique pas aux bornes de l'intervalle. Par exemple, la fonction admet deux extremums globaux (a fortiori locaux), atteints en 0 et 1.

Point d'inflexion

thumb|Représentation graphique de la fonction x ↦ x montrant un point d'inflexion aux coordonnées (0, 0). thumb|Point d'inflexion de la fonction arc tangente. En mathématiques, et plus précisément en analyse et en géométrie différentielle, un point d'inflexion est un point où s'opère un changement de concavité d'une courbe plane. En un tel point, la tangente traverse la courbe. C'est pourquoi les points d'inflexion, quand on arrive à les déterminer explicitement, aident à bien représenter l'allure de la courbe.

Ensemble convexe

Un objet géométrique est dit convexe lorsque, chaque fois qu'on y prend deux points et , le segment qui les joint y est entièrement contenu. Ainsi un cube plein, un disque ou une boule sont convexes, mais un objet creux ou bosselé ne l'est pas. On suppose travailler dans un contexte où le segment reliant deux points quelconques et a un sens (par exemple dans un espace affine sur R — en particulier dans un espace affine sur C — ou dans un ).

Enveloppe convexe

L'enveloppe convexe d'un objet ou d'un regroupement d'objets géométriques est l'ensemble convexe le plus petit parmi ceux qui le contiennent. Dans un plan, l'enveloppe convexe peut être comparée à la région limitée par un élastique qui englobe tous les points qu'on relâche jusqu'à ce qu'il se contracte au maximum. L'idée serait la même dans l'espace avec un ballon qui se dégonflerait jusqu'à être en contact avec tous les points qui sont à la surface de l'enveloppe convexe.

Afficher plus

Séances de cours associées (64)

Gradient Descent Methods: Théorie et calcul

Explore les méthodes de descente de gradient pour les problèmes convexes lisses et non convexes, couvrant les stratégies itératives, les taux de convergence et les défis d'optimisation.

Extrémité des fonctions

Couvre la discussion des points d'extrémité locale, de concavité, de convexité et d'inflexion dans les fonctions.

Optimisation des taux de convergence: descente progressive accélérée

Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.

Techniques d'optimisation : Convexity in Machine Learning

Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité et ses implications pour une résolution efficace des problèmes.

Transport optimal: Débits de gradient dans Rd

Explore le transport optimal et les flux de gradient dans Rd, en mettant l'accent sur la convergence et le rôle des théorèmes de Lipschitz et Picard-Lindelf.

Afficher plus

Concepts associés (32)

Point stationnaire

Théorème de Fermat sur les points stationnaires