Publication

Byzantine-Robust Decentralized Learning via ClippedGossip

2022

Résumé

In this paper, we study the challenging task of Byzantine-robust decentralized training on arbitrary communication graphs. Unlike federated learning where workers communicate through a server, workers in the decentralized environment can only talk to their neighbors, making it harder to reach consensus and benefit from collaborative training. To address these issues, we propose a ClippedGossip algorithm for Byzantine-robust consensus and optimization, which is the first to provably converge to a $O(δ_{\max}ζ^2/γ^2)$ neighborhood of the stationary point for non-convex objectives under standard assumptions. Finally, we demonstrate the encouraging empirical performance of ClippedGossip under a large number of attacks.

Source officielle

https://infoscience.epfl.ch/entities/publication/7cf4345c-68ae-40e0-b4ee-264afa68e663

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

2022

Résumé

Source officielle

https://infoscience.epfl.ch/entities/publication/7cf4345c-68ae-40e0-b4ee-264afa68e663

À propos de ce résultat

Concepts associés (28)

Point stationnaire

350px|thumb|right|Les points stationnaires de la fonction sont marquées par des ronds rouges. Dans ce cas, ce sont des extrema locaux. Les carrés bleus désignent les points d'inflexion. En analyse réelle, un point stationnaire ou point critique d'une fonction dérivable d'une variable réelle est un point de son graphe où sa dérivée s'annule. Visuellement, cela se traduit par un point où la fonction arrête de croître ou de décroître. Pour une fonction de plusieurs variables réelles, un point stationnaire (critique) est un point où le gradient s'annule.

Problème des généraux byzantins

En informatique, le problème des généraux byzantins est une métaphore qui traite de la remise en cause de la fiabilité des transmissions et de l'intégrité des interlocuteurs. La question est donc de savoir comment, et dans quelle mesure, il est possible de prendre en compte une information dont la source ou le canal de transmission est suspect. La solution implique l'établissement d'un algorithme (d'une stratégie) adapté. Ce problème a été traité en profondeur pour la première fois dans l'article The Byzantine Generals Problem publié en 1982.

Graphe (type abstrait)

thumb|upright=1.3|Un graphe orienté, dont les arcs et certains sommets sont « valués » par des couleurs. En informatique, et plus particulièrement en génie logiciel, le type abstrait graphe est la spécification formelle des données qui définissent l'objet mathématique graphe et de l'ensemble des opérations qu'on peut effectuer sur elles. On qualifie d'« abstrait » ce type de données car il correspond à un cahier des charges qu'une structure de données concrète doit ensuite implémenter.

Afficher plus

Publications associées (8)

Afficher plus

Byzantine-Robust Decentralized Learning via ClippedGossip

Chattez avec Graph Search

Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization

Clique density vs blowups

Accelerated Stochastic Min-Max Optimization Based on Bias-Corrected Momentum