Séance de cours

Spark avancé: partitionnement et optimisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-490: Large-scale data science for real-world data

This hands-on course covers tools and methods used by data scientists, from researching solutions to scaling prototypes on Spark clusters. Students engage with the full data engineering and data science pipeline, from data acquisition to extracting insight ...

Description

Cette séance de cours couvre des sujets avancés dans Spark, mettant l'accent sur les stratégies de partitionnement, l'optimisation de la mémoire et les opérations de shuffle. Il s'inscrit dans les internes de l'architecture Spark, le coût des opérations de shuffle, et la gestion de la mémoire. L'instructeur explique comment optimiser les tâches de Spark en harmonisant les partitions, en évitant le brouillage et en minimisant l'utilisation de la mémoire. De plus, la séance de cours explore la parallélisation Spark, les DDR, les DataFrames et les internes de PySpark. Des exercices pratiques et des démonstrations sont inclus pour illustrer les concepts discutés.

Enseignant·e·s (3)

Olivier Verscheure

Enseignement et PhD Cours Data science pour ingénieurs avec Python ENG-209 Ce cours propose une immersion progressive et complète dans le domaine de la Data Science à travers le langage Python. Il guide les étudiants depuis la manipulation de données brutes jusqu'à la modélisation et l'extraction de connaissances utiles à partir de données réelles. Large-scale data science for real-world data COM-490 Ce cours pratique couvre outils et méthodes des data scientists, de la reche

Sofiane Sarni

Enseignement et PhD Cours Large-scale data science for real-world data COM-490 Ce cours pratique couvre outils et méthodes des data scientists, de la recherche de solutions à la mise à l'échelle de prototypes sur clusters Spark. Les étudiants explorent le pipeline complet d'ingénierie et science des données, de l'acquisition à l'extraction d'insights appliqués à des cas réels.

Pamela Isabel Delgado Borda

I am a PhD student in the School of Computer and Communication Sciences at EPFL. I am part of the Operating Systems Laboratory and my advisor is Prof. Willy Zwaenepoel. I received my Bachelor's degree in Systems Engineering from Universidad Catolica Boliviana, Bolivia in 2008 and Master's degree in Computer Science, specialization Foundations of Software from EPFL in 2012.

Source officielle

Concepts associés (31)

Parallélisme (informatique)

vignette|upright=1|Un des éléments de Blue Gene L cabinet, un des supercalculateurs massivement parallèles les plus rapides des années 2000. En informatique, le parallélisme consiste à mettre en œuvre des architectures d'électronique numérique permettant de traiter des informations de manière simultanée, ainsi que les algorithmes spécialisés pour celles-ci. Ces techniques ont pour but de réaliser le plus grand nombre d'opérations en un temps le plus petit possible.

Memory paging

In computer operating systems, memory paging (or swapping on some Unix-like systems) is a memory management scheme by which a computer stores and retrieves data from secondary storage for use in main memory. In this scheme, the operating system retrieves data from secondary storage in same-size blocks called pages. Paging is an important part of virtual memory implementations in modern operating systems, using secondary storage to let programs exceed the size of available physical memory.

Optimisation multiobjectif

L'optimisation multiobjectif (appelée aussi Programmation multi-objective ou optimisation multi-critère) est une branche de l'optimisation mathématique traitant spécifiquement des problèmes d'optimisation ayant plusieurs fonctions objectifs. Elle se distingue de l'optimisation multidisciplinaire par le fait que les objectifs à optimiser portent ici sur un seul problème. Les problèmes multiobjectifs ont un intérêt grandissant dans l'industrie où les responsables sont contraints de tenter d'optimiser des objectifs contradictoires.

Input–output memory management unit

In computing, an input–output memory management unit (IOMMU) is a memory management unit (MMU) connecting a direct-memory-access–capable (DMA-capable) I/O bus to the main memory. Like a traditional MMU, which translates CPU-visible virtual addresses to physical addresses, the IOMMU maps device-visible virtual addresses (also called device addresses or memory mapped I/O addresses in this context) to physical addresses. Some units also provide memory protection from faulty or malicious devices.

Optimisation de code

En programmation informatique, l'optimisation de code est la pratique consistant à améliorer l'efficacité du code informatique d'un programme ou d'une bibliothèque logicielle. Ces améliorations permettent généralement au programme résultant de s'exécuter plus rapidement, de prendre moins de place en mémoire, de limiter sa consommation de ressources (par exemple les fichiers), ou de consommer moins d'énergie électrique. La règle numéro un de l'optimisation est qu'elle ne doit intervenir qu'une fois que le programme fonctionne et répond aux spécifications fonctionnelles.

Afficher plus

Séances de cours associées (64)

GPU Advanced : Gestion et optimisation de la mémoire

Explore la gestion avancée de la mémoire GPU, la programmation CUDA et le calcul parallèle de données pour optimiser les performances.

Techniques avancées d'optimisation des sparks : gestion du Big Data

Discute des techniques avancées d'optimisation Spark pour gérer efficacement les Big Data, en se concentrant sur la parallélisation, les opérations de mélange et la gestion de la mémoire.

Optimisation avec contraintes : conditions KKT

Couvre les conditions KKT pour l'optimisation avec des contraintes, essentielles pour résoudre efficacement les problèmes d'optimisation.

Architecture informatique : Algorithmes aux programmes (Compilation)

Explore la transition des algorithmes aux programmes par la compilation, en mettant l'accent sur les contraintes et les pratiques de codage compréhensibles par la machine.

Optimisation des systèmes énergétiques

Explore la modélisation, l'optimisation et l'analyse des coûts des systèmes énergétiques pour des opérations efficaces.

Afficher plus

Concepts associés (31)

Parallélisme (informatique)

Memory paging

Optimisation multiobjectif

Input–output memory management unit

Optimisation de code

Afficher plus