Séance de cours

Flux de données: Modèles d'exécution pour l'informatique distribuée

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-422: Database systems

This course is intended for students who want to understand modern large-scale data analysis systems and database systems. It covers a wide range of topics and technologies, and will prepare students to be able to build such systems as well as read and und ...

Description

Cette séance de cours couvre le modèle de flux de données, axé sur l'amélioration de l'expressivité, de l'extensibilité et des performances dans le calcul distribué. Il explique Résilient Distributed Datasets (RDDs) dans Spark, leurs propriétés, opérations, et des exemples comme la recherche d'erreurs et le nombre de mots. La séance de cours traite également des limites de la vanille Spark et des avantages de l'évaluation paresseuse.

Enseignant·e

Anastasia Ailamaki

Expertise SystÃ¨mes de gestion de bases de donnÃ©es, applications scientifiques, architecture des ordinateurs Enseignement et PhD Doctorant·es actuel·les Hamish Nicholson, Anna Herlihy, Yi Jiang, Eleni Zapridou, Georgiy Konstantinovich Lebedev, Ioanna Tsakalidou A dirigé les thèses EPFL de Farhan Tauheed, Radu Ioan Stoica, Manos Athanassoulis, Pinar Tözün, Adrian Daniel Popescu, Ioannis Alagiannis, Renata Borovica-Gajic, Danica Porobic, Iraklis Psaroudakis, Manos Karpathiotakis, Matthaios Alexandros Olma,

Source officielle

Concepts associés (32)

Optimizing compiler

In computing, an optimizing compiler is a compiler that tries to minimize or maximize some attributes of an executable computer program. Common requirements are to minimize a program's execution time, memory footprint, storage size, and power consumption (the last three being popular for portable computers). Compiler optimization is generally implemented using a sequence of optimizing transformations, algorithms which take a program and transform it to produce a semantically equivalent output program that uses fewer resources or executes faster.

Optimisation de code

En programmation informatique, l'optimisation de code est la pratique consistant à améliorer l'efficacité du code informatique d'un programme ou d'une bibliothèque logicielle. Ces améliorations permettent généralement au programme résultant de s'exécuter plus rapidement, de prendre moins de place en mémoire, de limiter sa consommation de ressources (par exemple les fichiers), ou de consommer moins d'énergie électrique. La règle numéro un de l'optimisation est qu'elle ne doit intervenir qu'une fois que le programme fonctionne et répond aux spécifications fonctionnelles.

Peephole optimization

Peephole optimization is an optimization technique performed on a small set of compiler-generated instructions; the small set is known as the peephole or window. Peephole optimization involves changing the small set of instructions to an equivalent set that has better performance.

Optimisation de boucle

In compiler theory, loop optimization is the process of increasing execution speed and reducing the overheads associated with loops. It plays an important role in improving cache performance and making effective use of parallel processing capabilities. Most execution time of a scientific program is spent on loops; as such, many compiler optimization techniques have been developed to make them faster. Since instructions inside loops can be executed repeatedly, it is frequently not possible to give a bound on the number of instruction executions that will be impacted by a loop optimization.

Interprocedural optimization

Interprocedural optimization (IPO) is a collection of compiler techniques used in computer programming to improve performance in programs containing many frequently used functions of small or medium length. IPO differs from other compiler optimizations by analyzing the entire program as opposed to a single function or block of code. IPO seeks to reduce or eliminate duplicate calculations and inefficient use of memory and to simplify iterative sequences such as loops.

Afficher plus

Séances de cours associées (64)

Compiler Extension Lab

Couvre le Compiler Extension Lab, en se concentrant sur l'ajout de nouvelles fonctionnalités à un compilateur de langage fonctionnel simple.

Optimisation des requêtes récursives

Explore l'optimisation des requêtes récursives dans les systèmes de bases de données à l'aide de Datalog et semi-rings, en discutant des défis et des solutions dans l'analyse des données.

Efficacité des commérages : systèmes décentralisés

Explore l'efficacité des commérages dans les systèmes décentralisés, couvrant les protocoles, les besoins d'interaction et l'optimisation de la bande passante, ainsi que les algorithmes de recherche et les optimisations.

Analyse de flux de données : optimisation

Explore l'analyse de flux de données pour l'optimisation, y compris la résolution d'équations, les variables en direct, l'atteinte de définitions et les expressions très occupées.

Optimisation de code : analyses accélérées

Explore les techniques pour accélérer les analyses de flux de données et discute de l'importance de l'ordonnancement des nœuds et de la traversée post-commande.

Afficher plus

Concepts associés (32)

Optimizing compiler

Optimisation de code

Peephole optimization

Optimisation de boucle

Interprocedural optimization

Afficher plus