Publication

Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data

Martin Jaggi, Tao Lin, Sai Praneeth Reddy Karimireddy
2021
Conference Papers

Résumé

Decentralized training of deep learning models is a key element for enabling data privacy and on-device learning over networks. In realistic learning scenarios, the presence of heterogeneity across different clients' local datasets poses an optimization challenge and may severely deteriorate the generalization performance.

Source officielle

https://infoscience.epfl.ch/entities/publication/80989315-7054-4908-83b6-d39f1af2baeb

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data

Chattez avec Graph Search

Quantifying the Unknown: Data-Driven Approaches and Applications in Energy Systems

Seeking the new, learning from the unexpected: Computational models of surprise and novelty in the brain

Federated learning with uncertainty-based client clustering for fleet-wide fault diagnosis