Séance de cours

Introduction générale aux données massives

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-490: Large-scale data science for real-world data

This hands-on course covers tools and methods used by data scientists, from researching solutions to scaling prototypes on Spark clusters. Students engage with the full data engineering and data science pipeline, from data acquisition to extracting insight ...

Description

Cette séance de cours offre un aperçu complet des mégadonnées, couvrant des sujets tels que les outils de science des données comme Python, la science collaborative des données, les données en conflit avec Hadoop, l'architecture d'exécution Spark, et les écosystèmes des lacs de données. Il se penche sur les défis du big data, le théorème CAP des data stores distribués, et la décision entre le traitement par lots et le traitement par flux. La séance de cours explore également des technologies comme Hadoop Distributed File System (HDFS), Hive data warehouse, et des formats de stockage populaires comme Parquet et ORC. De plus, il discute de l'architecture MapReduce avec YARN, des architectures de big data typiques, et de l'évolution du paysage de big data.

Enseignant·e·s (3)

Pamela Isabel Delgado Borda

I am a PhD student in the School of Computer and Communication Sciences at EPFL. I am part of the Operating Systems Laboratory and my advisor is Prof. Willy Zwaenepoel. I received my Bachelor's degree in Systems Engineering from Universidad Catolica Boliviana, Bolivia in 2008 and Master's degree in Computer Science, specialization Foundations of Software from EPFL in 2012.

Olivier Verscheure

Enseignement et PhD Cours Data science pour ingénieurs avec Python ENG-209 Ce cours propose une immersion progressive et complète dans le domaine de la Data Science à travers le langage Python. Il guide les étudiants depuis la manipulation de données brutes jusqu'à la modélisation et l'extraction de connaissances utiles à partir de données réelles. Large-scale data science for real-world data COM-490 Ce cours pratique couvre outils et méthodes des data scientists, de la reche

Sofiane Sarni

Enseignement et PhD Cours Large-scale data science for real-world data COM-490 Ce cours pratique couvre outils et méthodes des data scientists, de la recherche de solutions à la mise à l'échelle de prototypes sur clusters Spark. Les étudiants explorent le pipeline complet d'ingénierie et science des données, de l'acquisition à l'extraction d'insights appliqués à des cas réels.

Source officielle

Concepts associés (32)

Entrepôt de données

vignette|redresse=1.5|Vue d'ensemble d'une architecture entrepôt de données. Le terme entrepôt de données ou EDD (ou base de données décisionnelle ; en anglais, data warehouse ou DWH) désigne une base de données utilisée pour collecter, ordonner, journaliser et stocker des informations provenant de base de données opérationnelles et fournir ainsi un socle à l'aide à la décision en entreprise. Un entrepôt de données est une base de données regroupant une partie ou l'ensemble des données fonctionnelles d'une entreprise.

Hokku

is the opening stanza of a Japanese orthodox collaborative linked poem, renga, or of its later derivative, renku (haikai no renga). From the time of Matsuo Bashō (1644–1694), the hokku began to appear as an independent poem, and was also incorporated in haibun (in combination with prose). In the late 19th century, Masaoka Shiki (1867–1902) renamed the standalone hokku as "haiku", and the latter term is now generally applied retrospectively to all hokku appearing independently of renku or renga, irrespective of when they were written.

Kireji

Un kireji (切れ字, « caractère de coupe »), ou mot de césure, est un mot-outil utilisé dans la poésie japonaise traditionnelle. Il peut s'agir d'une particule enclitique (adverbe, conjonction, postposition) ou d'un auxiliaire verbal. Il est généralement considéré comme obligatoire dans le haïku, le hokku, le renga et le renku. Il n'existe pas d'équivalent exact dans la langue française et sa fonction peut être difficile à définir.

Gestionnaire de fichiers

Un gestionnaire de fichiers présente les fichiers informatiques situés sur une ou plusieurs machines, affiche des informations sur eux (nom, taille, aperçu...), permet de trier leur présentation et d'effectuer sur eux quelques opérations, individuellement ou en les groupant. Il permet aussi la création et la suppression de fichiers et de répertoires Travaillant le plus souvent dans une interface graphique, il permet aussi ouverture, visualisation, impression, renommage, déplacement ou copie, la suppression, affichage et modification de propriétés et recherche de fichiers.

Analyse des données

L’analyse des données (aussi appelée analyse exploratoire des données ou AED) est une famille de méthodes statistiques dont les principales caractéristiques sont d'être multidimensionnelles et descriptives. Dans l'acception française, la terminologie « analyse des données » désigne donc un sous-ensemble de ce qui est appelé plus généralement la statistique multivariée. Certaines méthodes, pour la plupart géométriques, aident à faire ressortir les relations pouvant exister entre les différentes données et à en tirer une information statistique qui permet de décrire de façon plus succincte les principales informations contenues dans ces données.

Afficher plus

Séances de cours associées (64)

Data Wrangling avec Hive : gérer efficacement le Big Data

Couvre les techniques de querelles de données en utilisant Apache Hive pour une gestion efficace des big data.

Big Data: Meilleures pratiques et lignes directrices

Couvre les meilleures pratiques et les lignes directrices pour les mégadonnées, y compris les lacs de données, l'architecture, les défis et les technologies comme Hadoop et Hive.

L'échange de données avec Hadoop

Couvre les techniques de manipulation des données à l'aide de Hadoop, en se concentrant sur les bases de données axées sur les lignes et les colonnes, les formats de stockage populaires et l'intégration HBase-Hive.

Écosystèmes Big Data : technologies et défis

Couvre les fondamentaux des écosystèmes de big data, en se concentrant sur les technologies, les défis et les exercices pratiques avec le HDFS d'Hadoop.

Data Wrangling avec Hadoop : formats de stockage et ruche

Explore les querelles de données avec Hadoop, en mettant l'accent sur les formats de stockage et Hive pour le traitement des données volumineuses.

Afficher plus

Concepts associés (32)

Entrepôt de données

Hokku

Kireji

Gestionnaire de fichiers

Analyse des données

Afficher plus