Séance de cours

Systèmes de travail partagés: Optimisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours traite d'un système de traitement de données à grande échelle à l'EPFL, axé sur les moteurs de requête comme Hive/Spark pour les requêtes ad hoc et la réduction des coûts de traitement pour les charges de travail très concurrentes. Il couvre les systèmes de travail partagés, les executeurs de requêtes partagés, les optimisateurs de requêtes par lots et les stratégies de placement de données adaptatives.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Source officielle

Concepts associés (13)

Concurrency control

In information technology and computer science, especially in the fields of computer programming, operating systems, multiprocessors, and databases, concurrency control ensures that correct results for concurrent operations are generated, while getting those results as quickly as possible. Computer systems, both software and hardware, consist of modules, or components. Each component is designed to operate correctly, i.e., to obey or to meet certain consistency rules.

Optimistic concurrency control

Optimistic concurrency control (OCC), also known as optimistic locking, is a concurrency control method applied to transactional systems such as relational database management systems and software transactional memory. OCC assumes that multiple transactions can frequently complete without interfering with each other. While running, transactions use data resources without acquiring locks on those resources. Before committing, each transaction verifies that no other transaction has modified the data it has read.

Multiversion Concurrency Control

Multiversion concurrency control (abrégé en MCC ou MVCC) est une méthode informatique de contrôle des accès concurrents fréquemment utilisée dans les systèmes de gestion de base de données et les langages de programmation concernant la gestion des caches en mémoire. Le principe de MVCC repose sur un verrouillage dit optimiste contrairement au verrouillage pessimiste qui consiste à bloquer préalablement les objets à des garanties de bonne fin. L'inconvénient logique est qu'une mise à jour peut être annulée du fait d'un "blocage" en fin de traitement.

Programmation concurrente

La programmation concurrente est un paradigme de programmation tenant compte, dans un programme, de l'existence de plusieurs piles sémantiques qui peuvent être appelées threads, processus ou tâches. Elles sont matérialisées en machine par une pile d'exécution et un ensemble de données privées. La concurrence est indispensable lorsque l'on souhaite écrire des programmes interagissant avec le monde réel (qui est concurrent) ou tirant parti de multiples unités centrales (couplées, comme dans un système multiprocesseurs, ou distribuées, éventuellement en grille ou en grappe).

Data Preprocessing

Data preprocessing can refer to manipulation or dropping of data before it is used in order to ensure or enhance performance, and is an important step in the data mining process. The phrase "garbage in, garbage out" is particularly applicable to data mining and machine learning projects. Data collection methods are often loosely controlled, resulting in out-of-range values, impossible data combinations, and missing values, amongst other issues. Analyzing data that has not been carefully screened for such problems can produce misleading results.

Afficher plus

Séances de cours associées (52)

Introduction à la contractualité

Couvre les bases de la concurrence, de son importance et de la façon d'écrire des programmes concomitants.

Gestion des transactions et contrôle de la concurrence

Explore la gestion des transactions, le contrôle de la concurrence, les propriétés ACID, les anomalies et la sérialisation des conflits dans les systèmes de base de données.

Concurrence avec les contrats à terme

Explore l'avenir comme une approche structurée de la convergence, simplifiant les tâches parallèles et les opérations entrées-sorties.

Mécanismes de synchronisation évolutive pour les systèmes d'exploitation de nombreux cœurs

Explore les mécanismes de synchronisation évolutive pour de nombreux systèmes d'exploitation de base, en mettant l'accent sur les défis de la gestion de la croissance des données et des régressions dans le système d'exploitation.

Opérations et contrôle des devises: CC pessimiste

Explore les transactions, le contrôle de la concurrence, le traitement de l'impasse et les défis dans les bases de données dynamiques.

Afficher plus

Concepts associés (13)

Concurrency control

Optimistic concurrency control

Multiversion Concurrency Control

Programmation concurrente

Data Preprocessing

Afficher plus