Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Descente progressive

Dans cours

EE-411: Fundamentals of inference and learning

This is an introductory course in the theory of statistics, inference, and machine learning, with an emphasis on theoretical understanding & practical exercises. The course will combine, and alternate, between mathematical theoretical foundations and prac ...

Description

Cette séance de cours couvre le concept de descente de gradient dans le contexte des cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif. Diverses techniques et astuces sont discutées pour améliorer la vitesse et l'efficacité de la convergence, telles que l'ajustement du taux d'apprentissage et l'utilisation de l'élan. L'instructeur explique la formulation mathématique et les applications pratiques de la descente de gradient, en soulignant son importance dans les problèmes d'optimisation.

Enseignant·e

Florent Gérard Krzakala

Source officielle

Concepts associés (32)

Méthode du gradient conjugué

vignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).

Méthode itérative

En analyse numérique, une méthode itérative est un procédé algorithmique utilisé pour résoudre un problème, par exemple la recherche d’une solution d’un système d'équations ou d’un problème d’optimisation. En débutant par le choix d’un point initial considéré comme une première ébauche de solution, la méthode procède par itérations au cours desquelles elle détermine une succession de solutions approximatives raffinées qui se rapprochent graduellement de la solution cherchée. Les points générés sont appelés des itérés.

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Learning rate

In machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain. In setting a learning rate, there is a trade-off between the rate of convergence and overshooting.

Méthode de Jacobi

La méthode de Jacobi, due au mathématicien allemand Karl Jacobi, est une méthode itérative de résolution d'un système matriciel de la forme Ax = b. Pour cela, on utilise une suite x qui converge vers un point fixe x, solution du système d'équations linéaires. On cherche à construire, pour x donné, la suite x = F(x) avec . où est une matrice inversible. où F est une fonction affine. La matrice B = MN est alors appelée matrice de Jacobi.

Afficher plus

Séances de cours associées (44)

Gradient Descent avec Momentum

Explore l'utilisation de l'élan dans la descente en pente pour améliorer la vitesse et la stabilité.

Techniques d'optimisation: Vue d'ensemble de la méthode de gradient

Discute de la méthode de gradient pour l'optimisation, en se concentrant sur son application dans l'apprentissage automatique et les conditions de convergence.

Sans titre

Méthodes d'optimisation dans l'apprentissage automatique

Explore les méthodes d'optimisation dans l'apprentissage automatique, en mettant l'accent sur les gradients, les coûts et les efforts informatiques pour une formation efficace des modèles.

Systèmes linéaires: convergence et méthodes

Explore les systèmes linéaires, la convergence et les méthodes de résolution en mettant l'accent sur les besoins en temps et en mémoire du processeur.

Afficher plus

Concepts associés (32)

Méthode du gradient conjugué

Méthode itérative

Algorithme du gradient

Learning rate

Méthode de Jacobi

Afficher plus