Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Flux de données: Modèles d'exécution pour l'informatique distribuée

Dans cours

CS-422: Database systems

This course is intended for students who want to understand modern large-scale data analysis systems and database systems. It covers a wide range of topics and technologies, and will prepare students to be able to build such systems as well as read and und ...

Description

Cette séance de cours couvre le modèle de flux de données, axé sur l'amélioration de l'expressivité, de l'extensibilité et des performances dans le calcul distribué. Il explique Résilient Distributed Datasets (RDDs) dans Spark, leurs propriétés, opérations, et des exemples comme la recherche d'erreurs et le nombre de mots. La séance de cours traite également des limites de la vanille Spark et des avantages de l'évaluation paresseuse.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Enseignant·e

Anastasia Ailamaki

Source officielle

Concepts associés (25)

Optimizing compiler

In computing, an optimizing compiler is a compiler that tries to minimize or maximize some attributes of an executable computer program. Common requirements are to minimize a program's execution time, memory footprint, storage size, and power consumption (the last three being popular for portable computers). Compiler optimization is generally implemented using a sequence of optimizing transformations, algorithms which take a program and transform it to produce a semantically equivalent output program that uses fewer resources or executes faster.

Optimisation de code

En programmation informatique, l'optimisation de code est la pratique consistant à améliorer l'efficacité du code informatique d'un programme ou d'une bibliothèque logicielle. Ces améliorations permettent généralement au programme résultant de s'exécuter plus rapidement, de prendre moins de place en mémoire, de limiter sa consommation de ressources (par exemple les fichiers), ou de consommer moins d'énergie électrique. La règle numéro un de l'optimisation est qu'elle ne doit intervenir qu'une fois que le programme fonctionne et répond aux spécifications fonctionnelles.

Peephole optimization

Peephole optimization is an optimization technique performed on a small set of compiler-generated instructions; the small set is known as the peephole or window. Peephole optimization involves changing the small set of instructions to an equivalent set that has better performance.

Optimisation de boucle

In compiler theory, loop optimization is the process of increasing execution speed and reducing the overheads associated with loops. It plays an important role in improving cache performance and making effective use of parallel processing capabilities. Most execution time of a scientific program is spent on loops; as such, many compiler optimization techniques have been developed to make them faster. Since instructions inside loops can be executed repeatedly, it is frequently not possible to give a bound on the number of instruction executions that will be impacted by a loop optimization.

Interprocedural optimization

Interprocedural optimization (IPO) is a collection of compiler techniques used in computer programming to improve performance in programs containing many frequently used functions of small or medium length. IPO differs from other compiler optimizations by analyzing the entire program as opposed to a single function or block of code. IPO seeks to reduce or eliminate duplicate calculations and inefficient use of memory and to simplify iterative sequences such as loops.

Afficher plus

Séances de cours associées (33)

Optimisation des requêtes récursives

Explore l'optimisation des requêtes récursives dans les systèmes de bases de données à l'aide de Datalog et semi-rings, en discutant des défis et des solutions dans l'analyse des données.

Compiler Extension Lab

Couvre le Compiler Extension Lab, en se concentrant sur l'ajout de nouvelles fonctionnalités à un compilateur de langage fonctionnel simple.

Efficacité des commérages : systèmes décentralisés

Explore l'efficacité des commérages dans les systèmes décentralisés, couvrant les protocoles, les besoins d'interaction et l'optimisation de la bande passante, ainsi que les algorithmes de recherche et les optimisations.

Interaction Model Design Explication

Explique le modèle de conception pour la gestion des interactions dans les petits jeux avec les acteurs.

Évaluation paresseuse

Explore l'évaluation paresseuse dans la programmation fonctionnelle, en se concentrant sur la mise en œuvre de listes paresseuses par Scala.

Afficher plus

Concepts associés (25)

Optimizing compiler

Optimisation de code

Peephole optimization

Optimisation de boucle

Interprocedural optimization

Afficher plus