Séance de cours

Accélérateurs Machine Learning : Types et efficacité

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-471: Advanced multiprocessor architecture

Multiprocessors are basic building blocks for all computer systems. This course covers the architecture and organization of modern multiprocessors, prevalent accelerators (e.g., GPU, TPU), and datacenters. It includes a research project on multiprocessors ...

Description

Cette séance de cours couvre les types de charges de travail d'apprentissage automatique, y compris l'inférence et la formation, et l'intensité de calcul des réseaux neuronaux profonds. Il traite des différents types de couches DNN, telles que les couches convolutive et entièrement connectées, et des différences de calcul entre elles. La séance de cours explore également le concept de tableaux systolique dans les DNN, en se concentrant sur les éléments de traitement spatialement répartis et le fonctionnement de base de la multiplication matrice-matrice. En outre, il explore les inefficacités des CPU et des GPU pour les DNN, soulignant le besoin d’accélérateurs spécialisés tels que les TPU. L'instructeur souligne l'importance du mouvement des données dans les DNN et comment des systèmes tels que les TPU tirent parti de la tolérance de l'algorithme à une faible précision pour atteindre des performances élevées à une faible utilisation.

Enseignant·e

Babak Falsafi

Enseignement et PhD Doctorant·es actuel·les Yuanlong Li, Simla Burcu Harma, Shashwat Shrivastava, Alexandros Poupakis, Shanqing Lin, Ayan Chakraborty, Pooria Poorsarvi Tehrani, Ali Ansari A dirigé les thèses EPFL de Pejman Lotfi Kamran, Sotiria Fytraki, Dejan Novakovic, Stavros Volos, Djordje Jevdjic, Ilknur Cansu Kaynak, Yusuf Onur Koçberber, Javier Picorel Obando, Alexandros Daglis, Mario Paulo Drumond Lages De Oliveira, Arash Pourhabibi Zarandi, Mark Johnathon Sutherland, Siddharth Gupta, Ognjen Glamoc

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Réseau de neurones à propagation avant

Un réseau de neurones à propagation avant, en anglais feedforward neural network, est un réseau de neurones artificiels acyclique, se distinguant ainsi des réseaux de neurones récurrents. Le plus connu est le perceptron multicouche qui est une extension du premier réseau de neurones artificiel, le perceptron inventé en 1957 par Frank Rosenblatt. vignette|Réseau de neurones à propagation avant Le réseau de neurones à propagation avant est le premier type de réseau neuronal artificiel conçu. C'est aussi le plus simple.

Matrix multiplication algorithm

Because matrix multiplication is such a central operation in many numerical algorithms, much work has been invested in making matrix multiplication algorithms efficient. Applications of matrix multiplication in computational problems are found in many fields including scientific computing and pattern recognition and in seemingly unrelated problems such as counting the paths through a graph. Many different algorithms have been designed for multiplying matrices on different types of hardware, including parallel and distributed systems, where the computational work is spread over multiple processors (perhaps over a network).

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Complexité de la multiplication de matrices

En informatique théorique, la complexité de la multiplication de matrices est le nombre d'opérations requises pour l'opération de produit matriciel. Les algorithmes de multiplication de matrices constituent un sujet central dans les algorithmes théoriques et numériques en algèbre linéaire numérique et en optimisation, donc déterminer la complexité en temps du produit est d'une importance pratique. L'application directe de la définition mathématique de la multiplication de matrices donne un algorithme qui nécessite opérations sur le corps de base pour multiplier deux matrices d'ordre .

Matrice (mathématiques)

thumb|upright=1.5 En mathématiques, les matrices sont des tableaux d'éléments (nombres, caractères) qui servent à interpréter en termes calculatoires, et donc opérationnels, les résultats théoriques de l'algèbre linéaire et même de l'algèbre bilinéaire. Toutes les disciplines étudiant des phénomènes linéaires utilisent les matrices. Quant aux phénomènes non linéaires, on en donne souvent des approximations linéaires, comme en optique géométrique avec les approximations de Gauss.

Afficher plus

Séances de cours associées (64)

Réseaux neuronaux : formation et activation

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.

Les principes fondamentaux de l'apprentissage profond

Introduit des fondamentaux d'apprentissage profond, couvrant les représentations de données, les réseaux neuronaux et les réseaux neuronaux convolutionnels.

Deep Learning : réseaux neuronaux convolutifs

Présente les réseaux neuronaux convolutifs, en expliquant leur architecture, leur processus de formation et leurs applications dans les tâches de segmentation sémantique.

Réseaux neuronaux convolutionnels

Couvre les réseaux neuronaux convolutionnels, y compris les couches, les stratégies de formation, les architectures standard, les tâches comme la segmentation sémantique, et les astuces d'apprentissage profond.

Deep Learning

Couvre les bases de l'apprentissage profond, y compris les représentations de données, le sac de mots, le prétraitement des données, les réseaux de neurones artificiels et les réseaux de neurones convolutifs.

Afficher plus

Concepts associés (32)

Réseau de neurones à propagation avant

Matrix multiplication algorithm

Réseau de neurones récurrents

Complexité de la multiplication de matrices

Matrice (mathématiques)

Afficher plus