Séance de cours

Optimisation stochastique et méthodes de graduation adaptative

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-566: Adaptation and learning

In this course, students learn to design and master algorithms and core concepts related to inference and learning from data and the foundations of adaptation and learning theories with applications.

Description

Cette séance de cours couvre l'optimisation stochastique et les méthodes de gradient adaptatif. Il traite de l'application de ces méthodes dans les systèmes de recommandation et la factorisation matricielle, en mettant l'accent sur les matrices de notation utilisateur-item. La séance de cours explique l'algorithme de gradient stochastique et sa mise en œuvre pour prédire les notes manquantes dans la matrice. Il explore également la technique de moyenne Polyak-Ruppert pour lisser les itérations dans le processus d'optimisation. Différents concepts tels que les termes de biais, les vecteurs caractéristiques et la factorisation matricielle sont détaillés avec des exemples et des dérivations théoriques.

Enseignant·e

Ali H. Sayed

Ali H. Sayed est doyen de la Faculté des sciences et techniques de l’ingénieur (STI) de l'EPFL, en Suisse, où il dirige également le laboratoire de systèmes adaptatifs. Il a également été professeur émérite et président du département d'ingénierie électrique de l'UCLA. Il est reconnu comme un chercheur hautement cité et est membre de la US National Academy of Engineering. Il est également membre de l'Académie mondiale des sciences et a été président de l'IEEE Signal Processing Society en 2018 et 2019. Le professeur Sayed est auteur et co-auteur de plus de 570 publications et de six monographies. Ses recherches portent sur plusieurs domaines, dont les théories d'adaptation et d'apprentissage, les sciences des données et des réseaux, l'inférence statistique et les systèmes multi-agents, entre autres. Ses travaux ont été récompensés par plusieurs prix importants, notamment le prix Fourier de l'IEEE (2022), le prix de la société Norbert Wiener (2020) et le prix de l'éducation (2015) de la société de traitement des signaux de l'IEEE, le prix Papoulis (2014) de l'Association européenne de traitement des signaux, le Meritorious Service Award (2013) et le prix de la réalisation technique (2012) de la société de traitement des signaux de l'IEEE, le prix Terman (2005) de la société américaine de formation des ingénieurs, le prix de conférencier émérite (2005) de la société de traitement des signaux de l'IEEE, le prix Koweït (2003) et le prix Donald G. Fink (1996) de l'IEEE. Ses publications ont été récompensées par plusieurs prix du meilleur article de l'IEEE (2002, 2005, 2012, 2014) et de l'EURASIP (2015). Pour finir, Ali H. Sayed est aussi membre de l'IEEE, d'EURASIP et de l'American Association for the Advancement of Science (AAAS), l'éditeur de la revue Science.

Source officielle

Proximité ontologique

Mathématiques

Algèbre: Algèbre linéaire

Concepts associés (32)

Matrix decomposition

In the mathematical discipline of linear algebra, a matrix decomposition or matrix factorization is a factorization of a matrix into a product of matrices. There are many different matrix decompositions; each finds use among a particular class of problems. In numerical analysis, different decompositions are used to implement efficient matrix algorithms. For instance, when solving a system of linear equations , the matrix A can be decomposed via the LU decomposition.

Matrice symétrique

vignette|Matrice 5x5 symétrique. Les coefficients égaux sont représentés par la même couleur. En algèbre linéaire et multilinéaire, une matrice symétrique est une matrice carrée qui est égale à sa propre transposée, c'est-à-dire telle que a = a pour tous i et j compris entre 1 et n, où les a sont les coefficients de la matrice et n est son ordre. Les coefficients d'une matrice symétrique sont symétriques par rapport à la diagonale principale (du coin en haut à gauche jusqu'à celui en bas à droite).

Décomposition LU

En algèbre linéaire, la décomposition LU est une méthode de décomposition d'une matrice comme produit d'une matrice triangulaire inférieure (comme lower, inférieure en anglais) par une matrice triangulaire supérieure (comme upper, supérieure). Cette décomposition est utilisée en analyse numérique pour résoudre des systèmes d'équations linéaires. Soit une matrice carrée. On dit que admet une décomposition LU s'il existe une matrice triangulaire inférieure formée de 1 sur la diagonale, notée , et une matrice triangulaire supérieure, notée , qui vérifient l'égalité Il n'est pas toujours vrai qu'une matrice admette une décomposition LU.

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Matrice unitaire

En algèbre linéaire, une matrice carrée U à coefficients complexes est dite unitaire si elle vérifie les égalités : où la matrice adjointe de U est notée U* (ou U en physique, et plus particulièrement en mécanique quantique) et I désigne la matrice identité. L'ensemble des matrices unitaires de taille n forme le groupe unitaire U(n). Les matrices unitaires carrées à coefficients réels sont les matrices orthogonales.

Afficher plus

Séances de cours associées (64)

Optimisation stochastique : Algorithmes et méthodes

Explore les algorithmes d'optimisation stochastique et les méthodes pour les problèmes convexes avec des risques lisses et non lisses.

Méthodes de graduation adaptative: Partie 1

Explore les méthodes de gradient adaptatif et leur impact sur les scénarios d'optimisation, y compris AdaGrad, ADAM et RMSprop.

Algèbre linéaire

Couvre les bases de l'algèbre linéaire, y compris les opérations matricielles et la décomposition des valeurs singulières.

Équations linéaires : vecteurs et matrices

Couvre les équations linéaires, les vecteurs et les matrices, en explorant leurs concepts fondamentaux et leurs applications.

Polynômes caractéristiques et matrices similaires

Explore les polynômes caractéristiques, la similarité des matrices et les valeurs propres dans les transformations linéaires.

Afficher plus

Concepts associés (32)

Matrix decomposition

Matrice symétrique

Décomposition LU

Algorithme du gradient stochastique

Matrice unitaire

Afficher plus