Système d'exécution distribué à usage général

Cette séance de cours traite de la conception d'un système d'exécution distribué à usage général, en mettant l'accent sur les applications d'échelle, l'exécution distribuée devenant la norme. Il couvre les défis de la construction de systèmes distribués, de l'utilisation de cadres spécialisés comme Spark et Flink, et de la mise en œuvre de contrats à terme distribués pour des shuffles hautement performants et tolérants aux défauts. La séance de cours explore les avantages d'une logique de contrôle décentralisée, de stratégies de renvoi par correspondance et de l'utilisation d'avenir pour les CPR asynchrones. Il présente également les résultats de l'utilisation d'Exoshuffle pour améliorer la vitesse et la précision de l'entraînement en ML, ainsi que les progrès dans les modèles de tolérance aux défauts et de propriété pour les contrats à terme distribués.