Séance de cours

Programmation parallèle de données : Processeurs vectoriels et SIMD

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-471: Advanced multiprocessor architecture

Multiprocessors are basic building blocks for all computer systems. This course covers the architecture and organization of modern multiprocessors, prevalent accelerators (e.g., GPU, TPU), and datacenters. It includes a research project on multiprocessors ...

Description

Cette séance de cours se penche sur la programmation parallèle aux données, en se concentrant sur le traitement vectoriel et le SIMD dans un nœud, et sur MapReduce, Pregel et TensorFlow sur plusieurs nœuds. Il couvre la taxonomie des architectures informatiques, les bases du SIMD, les limites des pipelines scalaires, les avantages des processeurs vectoriels et la conception d'unités fonctionnelles vectorielles. La séance de cours explore également les concepts de MapReduce, Pregel pour le traitement des graphes et TensorFlow pour l'apprentissage profond, en mettant l'accent sur leurs modèles de programmation respectifs et leurs optimisations.

Enseignant·e

Babak Falsafi

Enseignement et PhD Doctorant·es actuel·les Yuanlong Li, Simla Burcu Harma, Shashwat Shrivastava, Alexandros Poupakis, Shanqing Lin, Ayan Chakraborty, Pooria Poorsarvi Tehrani, Ali Ansari A dirigé les thèses EPFL de Pejman Lotfi Kamran, Sotiria Fytraki, Dejan Novakovic, Stavros Volos, Djordje Jevdjic, Ilknur Cansu Kaynak, Yusuf Onur Koçberber, Javier Picorel Obando, Alexandros Daglis, Mario Paulo Drumond Lages De Oliveira, Arash Pourhabibi Zarandi, Mark Johnathon Sutherland, Siddharth Gupta, Ognjen Glamoc

Source officielle

Proximité ontologique

Génie informatique

Calcul intensif: Parallélisme (informatique)

Matériel informatique: Microprocesseur

Concepts associés (32)

Dataflow programming

In computer programming, dataflow programming is a programming paradigm that models a program as a directed graph of the data flowing between operations, thus implementing dataflow principles and architecture. Dataflow programming languages share some features of functional languages, and were generally developed in order to bring some functional concepts to a language more suitable for numeric processing. Some authors use the term datastream instead of dataflow to avoid confusion with dataflow computing or dataflow architecture, based on an indeterministic machine paradigm.

Map (parallel pattern)

Map is an idiom in parallel computing where a simple operation is applied to all elements of a sequence, potentially in parallel. It is used to solve embarrassingly parallel problems: those problems that can be decomposed into independent subtasks, requiring no communication/synchronization between the subtasks except a join or barrier at the end. When applying the map pattern, one formulates an elemental function that captures the operation to be performed on a data item that represents a part of the problem, then applies this elemental function in one or more threads of execution, hyperthreads, SIMD lanes or on multiple computers.

Architecture matérielle

vignette|Architecture matérielle d'un processeur Intel Core2. vignette|Architecture matérielle d'un Cyclops64 (BlueGene/C). L’architecture matérielle décrit l’agencement interne de composants électroniques ainsi que leurs interactions. Le terme interne employé ici permet de bien faire la différence avec l’architecture (externe) de processeur (ou architecture de jeu d'instruction), qui s'intéresse à la spécification fonctionnelle d'un processeur, du point de vue du programmeur en langage machine.

Parallélisme (informatique)

vignette|upright=1|Un des éléments de Blue Gene L cabinet, un des supercalculateurs massivement parallèles les plus rapides des années 2000. En informatique, le parallélisme consiste à mettre en œuvre des architectures d'électronique numérique permettant de traiter des informations de manière simultanée, ainsi que les algorithmes spécialisés pour celles-ci. Ces techniques ont pour but de réaliser le plus grand nombre d'opérations en un temps le plus petit possible.

Mot (architecture informatique)

En architecture informatique, un mot est une unité de base manipulée par un microprocesseur. On parle aussi de mot machine. La taille d’un mot s’exprime en bits, parfois même en octets. Elle est souvent utilisée pour classer les microprocesseurs (, ). Toutes choses étant égales par ailleurs, un microprocesseur est d’autant plus rapide que ses mots sont longs, car les données qu'il traite à chaque cycle sont plus importantes.

Afficher plus

Séances de cours associées (64)

Introduction aux transformateurs

Couvre les fondamentaux des processeurs, de la logique numérique à l'exécution de programme, y compris les composants comme ALU, fichier de registre, et la logique de contrôle.

Architectures VLIW: Compilateurs et parallélisme de niveau d'instruction

Couvre les architectures et les compilateurs VLIW, en se concentrant sur le parallélisme de niveau d'instruction et les techniques d'optimisation.

Comprendre le multithreading simultané dans les processeurs modernes

Couvre le multithreading simultané, sa mise en œuvre et son impact sur les performances du processeur.

GPU : Multithreading et architecture

Explore l'architecture des GPU, le multithreading et leur rôle dans l'apprentissage automatique, en discutant des limites et des tendances futures.

Hiérarchie et optimisation de la mémoire GPU

Explore la hiérarchie de la mémoire GPU, les défis d'optimisation et l'efficacité de l'algorithme.

Afficher plus

Concepts associés (32)

Dataflow programming

Map (parallel pattern)

Architecture matérielle

Parallélisme (informatique)

Mot (architecture informatique)

Afficher plus