Séance de cours

Descente progressive

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre l'algorithme de descente en gradient, visant à minimiser une fonction en se déplaçant itérativement dans la direction de la diminution la plus raide. Il explique le processus d'approche lente du minimum, en évitant les dépassements. La séance de cours s'inscrit également dans le concept de la série Taylor et la recherche du point minimum. Parmi les sujets abordés, mentionnons l'incidence de la taille des étapes sur la convergence, l'importance de la régularisation et les répercussions des différents taux d'apprentissage. Le contenu progresse à travers diverses expressions mathématiques et des étapes itératives pour trouver la solution optimale.

Source officielle

Concepts associés (32)

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Optimisation (mathématiques)

L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.

Learning rate

In machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain. In setting a learning rate, there is a trade-off between the rate of convergence and overshooting.

2 (nombre)

2 (deux) est l'entier naturel qui suit 1 et qui précède 3. La plupart des systèmes de numération possèdent un chiffre pour signifier le nombre deux. Deux (chiffre) Le chiffre « deux », symbolisé « 2 », est le chiffre arabe servant notamment à signifier le nombre deux. Le chiffre « 2 » n'est pas le seul utilisé dans le monde ; un certain nombre d'alphabets — particulièrement ceux des langues du sous-continent indien et du sud-est asiatique — utilisent des chiffres différents, même au sein de la numération indo-arabe.

1 (nombre)

1 (un) est l'entier naturel représentant une entité seule — définition qui n'est autre qu'une pétition de principe. « Un » fait quelquefois référence à l'unité, et « unitaire » est quelquefois utilisé comme un adjectif dans ce sens (par exemple, un segment de longueur unitaire est un segment de longueur 1). Tous les systèmes de numération possèdent un chiffre pour signifier le nombre un. Un (chiffre) Le chiffre « un », symbolisé « 1 », est le chiffre arabe servant notamment à signifier le nombre un.

Afficher plus

Séances de cours associées (64)

Optimisation des taux de convergence: descente progressive accélérée

Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.

Descente progressive

Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.

Descente au gradient : principes et applications

Couvre la descente de gradient, ses principes, ses applications et ses taux de convergence en optimisation pour l'apprentissage automatique.

Optimisation : descente de gradient et sous-gradients

Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.

2024 Lecture 4, PHYS-467 Machine learning for physicists | Friday | Fall 24

Afficher plus

Concepts associés (32)

Algorithme du gradient

Optimisation (mathématiques)