Séance de cours

Apprentissage automatique distribué : algorithmes et défis

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-451: Distributed algorithms

Computing is nowadays distributed over several machines, in a local IP-like network, a cloud or a P2P network. Failures are common and computations need to proceed despite partial failures of machines or communication links. This course will study the fo ...

Description

Cette séance de cours de l'instructeur couvre le sujet de l'apprentissage automatique distribué, en se concentrant sur les algorithmes et les défis. La présentation commence par un aperçu de l’apprentissage automatique tolérant aux travailleurs byzantins, en discutant de divers travaux liés à l’apprentissage automatique avec des adversaires. La séance de cours explore ensuite les raisons pour lesquelles les méthodes adaptatives sont bénéfiques pour les modèles dattention, fournissant des preuves empiriques et théoriques pour soutenir les revendications. Le concept d'apprentissage collaboratif et d'accord moyen est expliqué, ainsi que le théorème indiquant l'équivalence entre l'apprentissage C-collaboratif et l'accord C-caveraging. La présentation se termine par des problèmes ouverts dans le domaine de l'apprentissage automatique distribué.

Enseignant·e

Rachid Guerraoui

Rachid Guerraoui has been affiliated with Ecole des Mines of Paris, the Commissariat à l'Energie Atomique of Saclay, Hewlett Packard Laboratories and the Massachusetts Institute of Technology. He has worked in a variety of aspects of distributed computing, including distributed algorithms and distributed programming languages. He is most well known for his work on (e-)Transactions, epidemic information dissemination and indulgent algorithms. He co-authored a book on Transactional Systems (Hermes) and a book on reliable distributed programming (Springer). He was appointed program chair of ECOOP 1999, ACM Middleware 2001, IEEE SRDS 2002, DISC 2004 and ACM PODC 2010. His publications are available at http://lpdwww.epfl.ch/rachid/papers/generalPublis.html

Source officielle

Concepts associés (31)

Apprentissage automatique

L'apprentissage automatique (en anglais : machine learning, « apprentissage machine »), apprentissage artificiel ou apprentissage statistique est un champ d'étude de l'intelligence artificielle qui se fonde sur des approches mathématiques et statistiques pour donner aux ordinateurs la capacité d'« apprendre » à partir de données, c'est-à-dire d'améliorer leurs performances à résoudre des tâches sans être explicitement programmés pour chacune. Plus largement, il concerne la conception, l'analyse, l'optimisation, le développement et l'implémentation de telles méthodes.

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Transformeur génératif pré-entraîné

droite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.

Afficher plus

Séances de cours associées (64)

Réseaux profonds et convolutifs : généralisation et optimisation

Explore les réseaux profonds et convolutifs, couvrant la généralisation, l'optimisation et les applications pratiques dans l'apprentissage automatique.

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Perception : Approches fondées sur les données

Explore la perception dans l'apprentissage profond pour les véhicules autonomes, couvrant la classification d'image, les méthodes d'optimisation, et le rôle de la représentation dans l'apprentissage automatique.

Fondements de l'apprentissage automatique

Présente les bases de l'apprentissage automatique, les mesures de performance, les techniques d'optimisation et l'évaluation des modèles.

Deep Learning: Réseaux convolutionnels

Explore les réseaux neuronaux convolutionnels, la rétropropagation et la descente stochastique en gradient dans l'apprentissage profond.

Afficher plus

Concepts associés (31)

Apprentissage automatique

Algorithme du gradient stochastique

Transformeur

Apprentissage profond

Transformeur génératif pré-entraîné

Afficher plus