Séance de cours

Gradient Descent: Techniques d'optimisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-250: Advanced numerical analysis I

Construction and analysis of numerical methods for the solution of problems from linear algebra, integration, approximation, and differentiation. ...

Description

Cette séance de cours couvre les techniques d'optimisation liées à la descente du gradient, y compris la méthode du gradient, la méthode du gradient conjugué, la dynamique de Richardson et la méthode du zig-zag. Il explique le processus de recherche de la solution optimale par la mise à jour itérative des paramètres basés sur le gradient de la fonction de coût.

Enseignant·e·s (3)

Simone Deparis

Expertise Simone Deparis est professeur à l’EPFL, spécialisé en mathématiques appliquées, analyse numérique et didactique des mathématiques à l’université. Ses recherches portent à la fois sur la modélisation computationnelle pour les applications biomédicales et sur l’innovation pédagogique, avec un accent sur l’équité, l’auto-efficacité et la réforme de l’évaluation dans les grands cursus scientifiques. Mission Mes recherches portent sur les mathématiques appliquées et les sciences de l’apprentissage. En

Daniel Kressner

Annalisa Buffa

Enseignement et PhD Doctorant·es actuel·les Gonzalo Bonilla Moreno, Philipp Christoph Weder, Yannis Dirk Voet, Fabio Marcinno, Ferhat Sindy, Francesco Sala, Markus Renoldner, Mohamed Ben Abdelouahab, Davor Dobrota A dirigé les thèses EPFL de Luca Coradello, Ondine Chanon, Riccardo Puppi Cours Numerical approximation of PDEs MATH-451 Ce cours porte sur la dérivation, l'analyse théorique et l'implémentation de la méthode des éléments finis pour l'approximation numérique des équations aux dér

Source officielle

Concepts associés (19)

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Optimisation de code

En programmation informatique, l'optimisation de code est la pratique consistant à améliorer l'efficacité du code informatique d'un programme ou d'une bibliothèque logicielle. Ces améliorations permettent généralement au programme résultant de s'exécuter plus rapidement, de prendre moins de place en mémoire, de limiter sa consommation de ressources (par exemple les fichiers), ou de consommer moins d'énergie électrique. La règle numéro un de l'optimisation est qu'elle ne doit intervenir qu'une fois que le programme fonctionne et répond aux spécifications fonctionnelles.

Optimizing compiler

In computing, an optimizing compiler is a compiler that tries to minimize or maximize some attributes of an executable computer program. Common requirements are to minimize a program's execution time, memory footprint, storage size, and power consumption (the last three being popular for portable computers). Compiler optimization is generally implemented using a sequence of optimizing transformations, algorithms which take a program and transform it to produce a semantically equivalent output program that uses fewer resources or executes faster.

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Peephole optimization

Peephole optimization is an optimization technique performed on a small set of compiler-generated instructions; the small set is known as the peephole or window. Peephole optimization involves changing the small set of instructions to an equivalent set that has better performance.

Afficher plus

Séances de cours associées (60)

Computing the Newton Step: GD as a Matrix-Free Way

Explore les approches matricielles et sans matrice pour calculer l'étape de Newton dans l'optimisation sur les collecteurs.

Deep Learning Blocks Buildings

Couvre les tenseurs, les fonctions de perte, l'autograde et les couches de convolution dans l'apprentissage profond.

Méthodes d'optimisation dans l'apprentissage automatique

Explore les méthodes d'optimisation dans l'apprentissage automatique, en mettant l'accent sur les gradients, les coûts et les efforts informatiques pour une formation efficace des modèles.

Optimisation : descente de gradient et sous-gradients

Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.

Gradients conjugués tronqués pour le sous-problème Trust-Region

Explore les gradients conjugués tronqués pour résoudre le sous-problème de la région de confiance dans l'optimisation sur les collecteurs efficacement.

Afficher plus

Concepts associés (19)

Algorithme du gradient

Optimisation de code

Optimizing compiler

Algorithme du gradient stochastique

Peephole optimization

Afficher plus