Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Descente de gradient: Lipschitz Continuity

Dans cours

MATH-329: Continuous optimization

This course introduces students to continuous, nonlinear optimization. We study the theory of optimization with continuous variables (with full proofs), and we analyze and implement important algorithms to solve constrained and unconstrained problems. ...

Description

Cette séance de cours couvre le concept de la continuité de Lipschitz dans le contexte de l'optimisation de descente de gradient. Il explique les gradients continus de Lipschitz, les limites quadratiques des fonctions et la convergence globale des gradients de descente. La séance de cours se penche également sur les points critiques, les Hessiens et les points de selle.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Enseignant·e

Nicolas Boumal

Source officielle

Concepts associés (32)

Point col

En mathématiques, un point col ou point-selle () d'une fonction f définie sur un produit cartésien X × Y de deux ensembles X et Y est un point tel que : atteint un maximum en sur Y ; et atteint un minimum en sur X. Certains auteurs inversent les maximum et minimum ( a un minimum en et a un maximum en ), mais cela ne modifie pas qualitativement les résultats (on peut revenir au cas présent par un changement de variables). Le terme point-selle fait référence à la forme de selle de cheval que prend le graphe de la fonction lorsque X et Y sont des intervalles de .

Application lipschitzienne

En analyse mathématique, une application lipschitzienne (du nom de Rudolf Lipschitz) est une application possédant une certaine propriété de régularité qui est plus forte que la continuité. Intuitivement, c'est une fonction qui est limitée dans sa manière d'évoluer. Tout segment reliant deux points du graphe d'une telle fonction aura une pente inférieure, en valeur absolue, à une constante appelée constante de Lipschitz. Les fonctions lipschitziennes sont un cas particulier de fonctions höldériennes.

Matrice hessienne

En mathématiques, la matrice hessienne (ou simplement le hessien ou la hessienne) d'une fonction numérique est la matrice carrée, notée , de ses dérivées partielles secondes. Etant donnée une fonction à valeurs réelles dont toutes les dérivées partielles secondes existent, le coefficient d'indice de la matrice hessienne vaut . Autrement dit, On appelle discriminant hessien (ou simplement hessien) le déterminant de cette matrice. Le terme « hessien » a été introduit par James Joseph Sylvester, en hommage au mathématicien allemand Ludwig Otto Hesse.

Module de continuité

En analyse mathématique, un module de continuité est une fonction ω : [0, ∞] → [0, ∞] utilisée pour mesurer quantitativement la continuité uniforme des fonctions. Ainsi, une fonction f : I → R admet ω pour module de continuité si et seulement si Puisqu'on impose aux modules de continuité de s’annuler et d'être continus en 0, une fonction est uniformément continue si et seulement si elle admet un module de continuité. De plus, le fait qu'une famille de fonctions admette un module de continuité commun est identique à la notion d'équicontinuité.

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Afficher plus

Séances de cours associées (48)

Méthodes d'optimisation

Couvre les méthodes d'optimisation sans contraintes, y compris la recherche de gradient et de ligne dans le cas quadratique.

Descente proximale et sous-gradiente : techniques d’optimisation

Discute des méthodes de descente proximale et sous-gradiente pour l'optimisation dans l'apprentissage automatique.

Optimisation quasi-newton

Couvre les méthodes de recherche de ligne de gradient et les techniques d'optimisation en mettant l'accent sur les conditions Wolfe et la définition positive.

Méthode Newton : Convergence et soins quadratiques

Couvre la méthode de Newton et ses propriétés de convergence près du point optimal.

Descente de gradient stochastique: techniques d'optimisation non convexes

Discute de la descente de gradient stochastique et de son application dans l'optimisation non convexe, en se concentrant sur les taux de convergence et les défis de l'apprentissage automatique.

Afficher plus

Concepts associés (32)

Point col

Application lipschitzienne

Matrice hessienne

Module de continuité

Algorithme du gradient

Afficher plus