Séance de cours

Système d'exécution distribué à usage général

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours traite de la conception d'un système d'exécution distribué à usage général, en mettant l'accent sur les applications d'échelle, l'exécution distribuée devenant la norme. Il couvre les défis de la construction de systèmes distribués, de l'utilisation de cadres spécialisés comme Spark et Flink, et de la mise en œuvre de contrats à terme distribués pour des shuffles hautement performants et tolérants aux défauts. La séance de cours explore les avantages d'une logique de contrôle décentralisée, de stratégies de renvoi par correspondance et de l'utilisation d'avenir pour les CPR asynchrones. Il présente également les résultats de l'utilisation d'Exoshuffle pour améliorer la vitesse et la précision de l'entraînement en ML, ainsi que les progrès dans les modèles de tolérance aux défauts et de propriété pour les contrats à terme distribués.

Source officielle

Concepts associés (32)

Ownership

Ownership is the state or fact of legal possession and control over property, which may be any asset, tangible or intangible. Ownership can involve multiple rights, collectively referred to as title, which may be separated and held by different parties. The process and mechanics of ownership are fairly complex: one can gain, transfer, and lose ownership of property in a number of ways. To acquire property one can purchase it with money, trade it for other property, win it in a bet, receive it as a gift, inherit it, find it, receive it as damages, earn it by doing work or performing services, make it, or homestead it.

Remote procedure call

thumb|upright=1.5|Vue d'ensemble d'un système RPC En informatique et en télécommunication, RPC (remote procedure call) est un protocole réseau permettant de faire des appels de procédures sur un ordinateur distant à l'aide d'un serveur d'applications. Ce protocole est utilisé dans le modèle client-serveur pour assurer la communication entre le client, le serveur et d’éventuels intermédiaires. Ce système est également utilisé pour la conception des micro-noyaux. L'idée de RPC date d'au moins 1976, quand il a été décrit dans le .

Système de fichiers distribué

En informatique, un système de fichiers distribués ou système de fichiers en réseau est un système de fichiers qui permet le partage de fichiers à plusieurs clients au travers du réseau informatique. Contrairement à un système de fichiers local, le client n'a pas accès au système de stockage sous-jacent, et interagit avec le système de fichiers via un protocole adéquat. CephFS Coda GlusterFS GPFS Hadoop Distributed File System (HDFS) Lustre OrangeFS SheepDog Unity, du logiciel Perfect Dark Catégorie:Systèm

Socialisation des biens

vignette|Oeuvre Le premier Tracteur de Wladimir Gawriilowitsch Krikhatzki La socialisation des biens est suivant la théorie de Karl Marx et Friedrich Engels une étape dans le processus de transformation d'une société capitaliste à une société communiste qui se distingue par l'abolition de l'héritage et de la propriété privée des moyens de production et par l'appropriation de ceux-ci par la collectivité.

State ownership

State ownership, also called government ownership and public ownership, is the ownership of an industry, asset, or enterprise by the state or a public body representing a community, as opposed to an individual or private party. Public ownership specifically refers to industries selling goods and services to consumers and differs from public goods and government services financed out of a government's general budget.

Afficher plus

Séances de cours associées (64)

Défis du Big Data : l'expansion vers des données massives

Explore les défis de la manipulation massive des données à l'ère du big data, en discutant de solutions comme MapReduce et Spark.

Introduction générale aux données massives

Couvre les outils de science des données, Hadoop, Spark, les écosystèmes des lacs de données, le théorème CAP, le traitement par lots vs. flux, HDFS, Hive, Parquet, ORC, et l'architecture MapReduce.

Sécurité de la mémoire et architecture client/serveur : concepts clés

Couvre les principes de sécurité de la mémoire et l'architecture client / serveur dans la conception du système.

Big Data: Meilleures pratiques et lignes directrices

Couvre les meilleures pratiques et les lignes directrices pour les mégadonnées, y compris les lacs de données, l'architecture, les défis et les technologies comme Hadoop et Hive.

Systèmes décentralisés : introduction

Couvre les bases des systèmes décentralisés, y compris des exemples, des objectifs et le programme du cours.

Afficher plus

Concepts associés (32)

Ownership

Remote procedure call

Système de fichiers distribué

Socialisation des biens

State ownership

Afficher plus