Séance de cours

Gestion des ressources : Conteneurs statiques ou contenants de ressources dans YARN

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-422: Database systems

This course is intended for students who want to understand modern large-scale data analysis systems and database systems. It covers a wide range of topics and technologies, and will prepare students to be able to build such systems as well as read and und ...

Description

Cette séance de cours se penche sur la gestion des ressources dans les cadres informatiques distribués, en mettant l'accent sur l'allocation statique des ressources et le concept de contenants de ressources. L'instructeur explique comment l'allocation statique peut conduire à une sous-utilisation des grappes et introduit l'idée de contenants de ressources comme approche plus souple. En utilisant le YARN comme étude de cas, la séance de cours montre comment les contenants de ressources centralisent la gestion des ressources, ce qui permet à de multiples cadres de coexister harmonieusement et d'évoluer efficacement.

Enseignant·e

Anastasia Ailamaki

Expertise SystÃ¨mes de gestion de bases de donnÃ©es, applications scientifiques, architecture des ordinateurs Enseignement et PhD Doctorant·es actuel·les Hamish Nicholson, Anna Herlihy, Yi Jiang, Eleni Zapridou, Georgiy Konstantinovich Lebedev, Ioanna Tsakalidou A dirigé les thèses EPFL de Farhan Tauheed, Radu Ioan Stoica, Manos Athanassoulis, Pinar Tözün, Adrian Daniel Popescu, Ioannis Alagiannis, Renata Borovica-Gajic, Danica Porobic, Iraklis Psaroudakis, Manos Karpathiotakis, Matthaios Alexandros Olma,

Source officielle

Concepts associés (10)

Fil textile

thumb|Détail d'un fil au microscope. thumb|Pelotes de laine. thumb|Bobines de fil. thumb|Dessin de bobines de fil. Le fil textile est le produit du filage, c'est-à-dire l'agglutination de fibres textiles pour former un ensemble long. Le processus d'obtention de ce fil peut être industrialisé dans un atelier ou une usine appelée filature. On entrecroise des fils, on tisse avec des machines ou bien à la main. On obtient ainsi des tissus, étoffes, tapis...

Partitionnement de données

vignette|upright=1.2|Exemple de clustering hiérarchique. Le partitionnement de données (ou data clustering en anglais) est une méthode en analyse des données. Elle vise à diviser un ensemble de données en différents « paquets » homogènes, en ce sens que les données de chaque sous-ensemble partagent des caractéristiques communes, qui correspondent le plus souvent à des critères de proximité (similarité informatique) que l'on définit en introduisant des mesures et classes de distance entre objets.

Thread (yarn)

A thread is a long strand of material, often composed of several filaments or fibres, used for joining, creating or decorating textiles. In early humanity Egyptians were known for creating thread using plant fibers, wool and hair. Today, thread can also be made of many different materials including but not limited to cotton, wool, linen, nylon, silk, polyester etc. Their are also Metal threads, sometimes used in decorative textiles, can be made of fine wire.

Clustering high-dimensional data

Clustering high-dimensional data is the cluster analysis of data with anywhere from a few dozen to many thousands of dimensions. Such high-dimensional spaces of data are often encountered in areas such as medicine, where DNA microarray technology can produce many measurements at once, and the clustering of text documents, where, if a word-frequency vector is used, the number of dimensions equals the size of the vocabulary.

MapReduce

MapReduce est un patron de conception de développement informatique, inventé par Google, dans lequel sont effectués des calculs parallèles, et souvent distribués, de données potentiellement très volumineuses, typiquement supérieures en taille à un téraoctet. Les termes « map » et « reduce », et les concepts sous-jacents, sont empruntés aux langages de programmation fonctionnelle utilisés pour leur construction (map et réduction de la programmation fonctionnelle et des langages de programmation tableau).

Afficher plus

Séances de cours associées (1)

Data Wrangling avec Hive : gérer efficacement le Big Data

Couvre les techniques de querelles de données en utilisant Apache Hive pour une gestion efficace des big data.