Séance de cours

Analyse de convergence: Algorithmes progressifs stochastiques

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-566: Adaptation and learning

In this course, students learn to design and master algorithms and core concepts related to inference and learning from data and the foundations of adaptation and learning theories with applications.

Description

Cette séance de cours couvre l'analyse de convergence des algorithmes de gradient stochastiques pour des risques lisses sous différents modes opérationnels, y compris les mises à jour avec des échelles d'étape constantes et disparaissantes, l'échantillonnage des données avec et sans remplacement, et des approximations de gradient mini-lots. La séance de cours se penche sur les conditions sur les fonctions de risque et de perte, le comportement de convergence dans le sens moyen-carré-erreur, et l'impact des séquences de taille d'étape sur le taux de convergence. L'instructeur discute des propriétés de convergence sous différentes séquences de taille par étapes et fournit des théorèmes et des exemples pour illustrer les taux de convergence.

Enseignant·e

Ali H. Sayed

Ali H. Sayed est doyen de la Faculté des sciences et techniques de l’ingénieur (STI) de l'EPFL, en Suisse, où il dirige également le laboratoire de systèmes adaptatifs. Il a également été professeur émérite et président du département d'ingénierie électrique de l'UCLA. Il est reconnu comme un chercheur hautement cité et est membre de la US National Academy of Engineering. Il est également membre de l'Académie mondiale des sciences et a été président de l'IEEE Signal Processing Society en 2018 et 2019. Le professeur Sayed est auteur et co-auteur de plus de 570 publications et de six monographies. Ses recherches portent sur plusieurs domaines, dont les théories d'adaptation et d'apprentissage, les sciences des données et des réseaux, l'inférence statistique et les systèmes multi-agents, entre autres. Ses travaux ont été récompensés par plusieurs prix importants, notamment le prix Fourier de l'IEEE (2022), le prix de la société Norbert Wiener (2020) et le prix de l'éducation (2015) de la société de traitement des signaux de l'IEEE, le prix Papoulis (2014) de l'Association européenne de traitement des signaux, le Meritorious Service Award (2013) et le prix de la réalisation technique (2012) de la société de traitement des signaux de l'IEEE, le prix Terman (2005) de la société américaine de formation des ingénieurs, le prix de conférencier émérite (2005) de la société de traitement des signaux de l'IEEE, le prix Koweït (2003) et le prix Donald G. Fink (1996) de l'IEEE. Ses publications ont été récompensées par plusieurs prix du meilleur article de l'IEEE (2002, 2005, 2012, 2014) et de l'EURASIP (2015). Pour finir, Ali H. Sayed est aussi membre de l'IEEE, d'EURASIP et de l'American Association for the Advancement of Science (AAAS), l'éditeur de la revue Science.

Source officielle

Concepts associés (32)

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Échantillonnage (statistiques)

thumb|Exemple d'échantillonnage aléatoire En statistique, l'échantillonnage désigne les méthodes de sélection d'un sous-ensemble d'individus (un échantillon) à l'intérieur d'une population pour estimer les caractéristiques de l'ensemble de la population. Cette méthode présente plusieurs avantages : une étude restreinte sur une partie de la population, un moindre coût, une collecte des données plus rapide que si l'étude avait été réalisé sur l'ensemble de la population, la réalisation de contrôles destructifs Les résultats obtenus constituent un échantillon.

Échantillonnage stratifié

vignette|Vous prenez un échantillon aléatoire stratifié en divisant d'abord la population en groupes homogènes (semblables en eux-mêmes) (strates) qui sont distincts les uns des autres, c'est-à-dire. Le groupe 1 est différent du groupe 2. Ensuite, choisissez un EAS (échantillon aléatoire simple) distinct dans chaque strate et combinez ces EAS pour former l'échantillon complet. L'échantillonnage aléatoire stratifié est utilisé pour produire des échantillons non biaisés.

Cluster sampling

In statistics, cluster sampling is a sampling plan used when mutually homogeneous yet internally heterogeneous groupings are evident in a statistical population. It is often used in marketing research. In this sampling plan, the total population is divided into these groups (known as clusters) and a simple random sample of the groups is selected. The elements in each cluster are then sampled. If all elements in each sampled cluster are sampled, then this is referred to as a "one-stage" cluster sampling plan.

Survey sampling

In statistics, survey sampling describes the process of selecting a sample of elements from a target population to conduct a survey. The term "survey" may refer to many different types or techniques of observation. In survey sampling it most often involves a questionnaire used to measure the characteristics and/or attitudes of people. Different ways of contacting members of a sample once they have been selected is the subject of survey data collection.

Afficher plus

Séances de cours associées (64)

Méthodes stabilisées explicites : applications aux problèmes inverses bayésiens

Explore explicitement les méthodes de Runge-Kutta stabilisées et leur application aux problèmes inverses bayésiens, couvrant l'optimisation, l'échantillonnage et les expériences numériques.

Optimisation stochastique : Algorithmes et méthodes

Explore les algorithmes d'optimisation stochastique et les méthodes pour les problèmes convexes avec des risques lisses et non lisses.

Réseaux neuronaux sous SGD

Explore les réseaux neuronaux formés sous la descente de gradient stochastique, discutant des couches cachées, de la fonction de perte carrée et de l'évolution des particules.

Réseaux neuronaux multicouches: Deep Learning

Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond.

Optimisation dans l'apprentissage automatique: Gradient Descent

Couvre l'optimisation dans l'apprentissage automatique, en mettant l'accent sur la descente par gradient pour la régression linéaire et logistique, la descente par gradient stochastique et des considérations pratiques.

Afficher plus

Concepts associés (32)

Algorithme du gradient stochastique

Échantillonnage (statistiques)

Échantillonnage stratifié

Cluster sampling

Survey sampling

Afficher plus