Séance de cours

Introduction au traitement du flux de données

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-490: Large-scale data science for real-world data

This hands-on course covers tools and methods used by data scientists, from researching solutions to scaling prototypes on Spark clusters. Students engage with the full data engineering and data science pipeline, from data acquisition to extracting insight ...

Description

Cette séance de cours présente les concepts du traitement des flux de données, en mettant l'accent sur les différences entre le traitement par lots et par flux, l'importance du traitement des flux et ses applications dans divers domaines tels que l'informatique, la détection des fraudes et la maintenance prédictive. La séance de cours couvre des outils tels que Apache Storm, Flink et Kafka, et explique les opérations et les défis liés au traitement des flux. Les étudiants apprendront également des concepts connexes tels que le temps d'événement, le temps de traitement et les opérations de fenêtre, ainsi que la façon de travailler avec les données de diffusion en continu en utilisant Spark Streaming.

Enseignant·e·s (3)

Olivier Verscheure

Enseignement et PhD Cours Data science pour ingénieurs avec Python ENG-209 Ce cours propose une immersion progressive et complète dans le domaine de la Data Science à travers le langage Python. Il guide les étudiants depuis la manipulation de données brutes jusqu'à la modélisation et l'extraction de connaissances utiles à partir de données réelles. Large-scale data science for real-world data COM-490 Ce cours pratique couvre outils et méthodes des data scientists, de la reche

Sofiane Sarni

Enseignement et PhD Cours Large-scale data science for real-world data COM-490 Ce cours pratique couvre outils et méthodes des data scientists, de la recherche de solutions à la mise à l'échelle de prototypes sur clusters Spark. Les étudiants explorent le pipeline complet d'ingénierie et science des données, de l'acquisition à l'extraction d'insights appliqués à des cas réels.

Pamela Isabel Delgado Borda

I am a PhD student in the School of Computer and Communication Sciences at EPFL. I am part of the Operating Systems Laboratory and my advisor is Prof. Willy Zwaenepoel. I received my Bachelor's degree in Systems Engineering from Universidad Catolica Boliviana, Bolivia in 2008 and Master's degree in Computer Science, specialization Foundations of Software from EPFL in 2012.

Source officielle

Concepts associés (30)

Data mapping

Le data mapping est un procédé permettant de définir au niveau d'un langage de programmation la correspondance entre deux modèles de données. L'Office québécois de la langue française propose comme équivalent en français mise en correspondance de données. L'accès aux données se fait habituellement à travers des requêtes SQL fortement typées selon la structure des données. Le mapping permet aux utilisateurs d'accéder aux données à travers un ensemble de fonctions sans se soucier de la structure des bases de données.

Système temps réel

En informatique, on parle d'un système temps réel lorsque ce système est capable de contrôler (ou piloter) un procédé physique à une vitesse adaptée à l'évolution du procédé contrôlé. Les systèmes informatiques temps réel se différencient des autres systèmes informatiques par la prise en compte de contraintes temporelles dont le respect est aussi important que l'exactitude du résultat, autrement dit le système ne doit pas simplement délivrer des résultats exacts, il doit les délivrer dans des délais imposés.

Analyse des données

L’analyse des données (aussi appelée analyse exploratoire des données ou AED) est une famille de méthodes statistiques dont les principales caractéristiques sont d'être multidimensionnelles et descriptives. Dans l'acception française, la terminologie « analyse des données » désigne donc un sous-ensemble de ce qui est appelé plus généralement la statistique multivariée. Certaines méthodes, pour la plupart géométriques, aident à faire ressortir les relations pouvant exister entre les différentes données et à en tirer une information statistique qui permet de décrire de façon plus succincte les principales informations contenues dans ces données.

Big data

Le big data ( « grosses données » en anglais), les mégadonnées ou les données massives, désigne les ressources d’informations dont les caractéristiques en termes de volume, de vélocité et de variété imposent l’utilisation de technologies et de méthodes analytiques particulières pour créer de la valeur, et qui dépassent en général les capacités d'une seule et unique machine et nécessitent des traitements parallélisés. L’explosion quantitative (et souvent redondante) des données numériques permet une nouvelle approche pour analyser le monde.

Exploration de données

L’exploration de données, connue aussi sous l'expression de fouille de données, forage de données, prospection de données, data mining, ou encore extraction de connaissances à partir de données, a pour objet l’extraction d'un savoir ou d'une connaissance à partir de grandes quantités de données, par des méthodes automatiques ou semi-automatiques.

Afficher plus

Séances de cours associées (32)

Big Data: Meilleures pratiques et lignes directrices

Couvre les meilleures pratiques et les lignes directrices pour les mégadonnées, y compris les lacs de données, l'architecture, les défis et les technologies comme Hadoop et Hive.

Introduction au traitement des flux de données: concepts et applications

Couvre les principes du traitement des flux de données et de ses applications dans l'analyse de données en temps réel.

Introduction générale aux données massives

Couvre les outils de science des données, Hadoop, Spark, les écosystèmes des lacs de données, le théorème CAP, le traitement par lots vs. flux, HDFS, Hive, Parquet, ORC, et l'architecture MapReduce.

Analyse des données au repos et des données en mouvement

Explore la combinaison de données au repos avec des données en mouvement, en mettant l'accent sur les complexités de l'architecture Lambda et l'évaluation de la qualité des flux et des lots.

Techniques avancées d'optimisation des sparks : gestion du Big Data

Discute des techniques avancées d'optimisation Spark pour gérer efficacement les Big Data, en se concentrant sur la parallélisation, les opérations de mélange et la gestion de la mémoire.

Afficher plus

Concepts associés (30)

Exploration de données

Afficher plus