Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Écosystème Spark: Choix architecturaux

Dans cours

CS-422: Database systems

This course is intended for students who want to understand modern large-scale data analysis systems and database systems. It covers a wide range of topics and technologies, and will prepare students to be able to build such systems as well as read and und ...

Description

Cette séance de cours couvre l'écosystème Spark, en se concentrant sur les choix architecturaux tels que la couche de stockage, les modèles de programmation, la tolérance aux pannes et les RDD. Il traite des limites de MapReduce, des avantages des ensembles de données distribuées résilientes (RDD) de Spark et du modèle de flux de données. L'instructeur explique comment Spark améliore l'expressivité, l'extensibilité et les performances en utilisant la RAM distribuée et en permettant des optimisations supplémentaires. Des exemples d'Apache Spark, Microsoft et Google sont utilisés pour illustrer les concepts.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Enseignant·e

Anastasia Ailamaki

Source officielle

Concepts associés (17)

Optimizing compiler

In computing, an optimizing compiler is a compiler that tries to minimize or maximize some attributes of an executable computer program. Common requirements are to minimize a program's execution time, memory footprint, storage size, and power consumption (the last three being popular for portable computers). Compiler optimization is generally implemented using a sequence of optimizing transformations, algorithms which take a program and transform it to produce a semantically equivalent output program that uses fewer resources or executes faster.

Optimisation de code

En programmation informatique, l'optimisation de code est la pratique consistant à améliorer l'efficacité du code informatique d'un programme ou d'une bibliothèque logicielle. Ces améliorations permettent généralement au programme résultant de s'exécuter plus rapidement, de prendre moins de place en mémoire, de limiter sa consommation de ressources (par exemple les fichiers), ou de consommer moins d'énergie électrique. La règle numéro un de l'optimisation est qu'elle ne doit intervenir qu'une fois que le programme fonctionne et répond aux spécifications fonctionnelles.

Peephole optimization

Peephole optimization is an optimization technique performed on a small set of compiler-generated instructions; the small set is known as the peephole or window. Peephole optimization involves changing the small set of instructions to an equivalent set that has better performance.

Optimisation de boucle

In compiler theory, loop optimization is the process of increasing execution speed and reducing the overheads associated with loops. It plays an important role in improving cache performance and making effective use of parallel processing capabilities. Most execution time of a scientific program is spent on loops; as such, many compiler optimization techniques have been developed to make them faster. Since instructions inside loops can be executed repeatedly, it is frequently not possible to give a bound on the number of instruction executions that will be impacted by a loop optimization.

Interprocedural optimization

Interprocedural optimization (IPO) is a collection of compiler techniques used in computer programming to improve performance in programs containing many frequently used functions of small or medium length. IPO differs from other compiler optimizations by analyzing the entire program as opposed to a single function or block of code. IPO seeks to reduce or eliminate duplicate calculations and inefficient use of memory and to simplify iterative sequences such as loops.

Afficher plus

Séances de cours associées (54)

Optimisation des requêtes récursives

Explore l'optimisation des requêtes récursives dans les systèmes de bases de données à l'aide de Datalog et semi-rings, en discutant des défis et des solutions dans l'analyse des données.

Efficacité des commérages : systèmes décentralisés

Explore l'efficacité des commérages dans les systèmes décentralisés, couvrant les protocoles, les besoins d'interaction et l'optimisation de la bande passante, ainsi que les algorithmes de recherche et les optimisations.

Optimisation avec contraintes : conditions KKT

Couvre l'optimisation avec des contraintes, en se concentrant sur les conditions de Karush-Kuhn-Tucker (KKT).

Introduction aux algorithmes

Explore les ingrédients et la sélection d'algorithmes pour différents objectifs.

Optimisation des systèmes énergétiques

Explore la modélisation, l'optimisation et l'analyse des coûts des systèmes énergétiques pour des opérations efficaces.

Afficher plus

Concepts associés (17)

Optimizing compiler

Optimisation de code

Peephole optimization

Optimisation de boucle

Interprocedural optimization

Afficher plus