Concept

Lac de données

Un lac de données (en anglais data lake) est une méthode de stockage de données massives utilisée par le big data (mégadonnées en français). Ces données sont gardées dans leurs formats originaux ou sont très peu transformées. Le lac de données donne la priorité au stockage rapide et volumineux de données hétérogènes en adoptant une architecture en cluster. Il n'est pas optimisé pour les requêtes SQL comme les SGBD relationnels classiques, et s'écarte des Propriétés ACID traditionnelles. On parle depuis 2010 de SGBD NoSQL. Big Data On trouve donc dans un lac de données des données de natures et de sources différentes, telles que : des données structurées issues notamment de bases de données relationnelles (lignes et colonnes) ; des données variées issues de bases NoSQL ; des données semi-structurées (fichiers CSV, journaux, XML, JSON...) ; des données non structurées (emails, documents, PDF) ; des fichiers de type blob (images, audio, vidéo notamment). Ces données sont conservées dans le lac de données pour analyse ultérieure. Il s’agit d’une solution de gestion de données hybrides et variées ayant pour objectif de stocker de manière rapide et peu chère une grande quantité de données brutes. La principale qualité du lac de données réside en sa flexibilité. Il doit pouvoir stocker les données, quel que soit leur format. Lorsqu’une donnée est intégrée au sein du Data Lake, elle se voit attribuer un identifiant unique et est marquée au moyen d'un jeu de balises de métadonnées étendues. Lorsqu'un besoin se présente, le Data Lake est parcouru pour y rechercher des informations pertinentes. L'analyse de ces données permet alors d'apporter de la valeur et de répondre à ce besoin. Le concept de Data Lake a été évoqué pour la première fois, en 2010, par James Dixon, CTO de Pentaho, comme une solution pour le stockage de données sans pré-traitement et sans connaître précisément l’usage futur qu’il en sera fait. L'image du lac, permettant d'expliquer, que différentes sources peuvent l'alimenter de manière naturelle et brute, et que les utilisateurs peuvent y plonger pour l'explorer et en rapporter des échantillons à examiner.

Source officielle

https://fr.wikipedia.org/wiki/Lac_de_données

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Cours associés (20)

CS-401: Applied data analysis

This course teaches the basic techniques, methodologies, and practical skills required to draw meaningful insights from a variety of data, with the help of the most acclaimed software tools in the data science world (pandas, scikit-learn, Spark, etc.) ...

BIO-369: Randomness and information in biological data

Biology is becoming more and more a data science, as illustrated by the explosion of available genome sequences. This course aims to show how we can make sense of such data and harness it in order to understand biological processes in a quantitative way. ...

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Afficher plus

Séances de cours associées (32)

Big Data: Meilleures pratiques et lignes directrices

Couvre les pratiques exemplaires et les lignes directrices pour les mégadonnées, y compris les lacs de données, l'architecture typique, les défis et les technologies utilisés pour y remédier.

Big Data: Meilleures pratiques et lignes directrices

Couvre les meilleures pratiques et les lignes directrices pour les mégadonnées, y compris les lacs de données, l'architecture, les défis et les technologies comme Hadoop et Hive.

Data Wrangling: Processus ETL et questions de querelles

Explore le processus ETL, les étapes de querelles de données et les problèmes courants.

Afficher plus

Unités associées (2)

Laboratoire de systèmes d'information répartis

Laboratoire de systèmes et applications de traitement de données massives

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Source officielle

https://fr.wikipedia.org/wiki/Lac_de_données

À propos de ce résultat

Cours associés (20)

CS-401: Applied data analysis

BIO-369: Randomness and information in biological data

EE-556: Mathematics of data: from theory to computation

Afficher plus

Séances de cours associées (32)

Big Data: Meilleures pratiques et lignes directrices

Couvre les pratiques exemplaires et les lignes directrices pour les mégadonnées, y compris les lacs de données, l'architecture typique, les défis et les technologies utilisés pour y remédier.

Big Data: Meilleures pratiques et lignes directrices

Couvre les meilleures pratiques et les lignes directrices pour les mégadonnées, y compris les lacs de données, l'architecture, les défis et les technologies comme Hadoop et Hive.

Data Wrangling: Processus ETL et questions de querelles

Explore le processus ETL, les étapes de querelles de données et les problèmes courants.

Afficher plus

Publications associées (29)

Designing Practical Federated Learning Systems under Data Heterogeneity

As data governance and privacy concerns increasingly limit centralized data collection, learning from decentralized datasets has become essential. Federated Learning (FL) provides a principled framework for this setting by enabling collaborative training across decentralized data silos. However, deploying FL in practice remains challenging due to communication costs, system heterogeneity, robustness and privacy requirements, and the need to support the full data lifecycle, including unlearning. Many of thes

EPFL2026

Data for The Diocotron Instability in the Trapped Electrons Experiment T-REX and its Relevance to Electron Clouds in Gyrotron Guns

This data are the raw files from the experiments with T-REX and the respective .m file to load, convert and plot them. This is currents, voltages, magnetic fields. Within the .zip files the raw data are contained among with the .m files to run, compile, calculate and create figures.

Zenodo2026

ESO-VLT BlueMuse instrument - conceptual design for phase A

BlueMUSE [1] is a blue-optimised, medium spectral resolution, panoramic integral field spectrograph under development for the ESO’s Very Large Telescope (VLT). The project is now entering preliminary design phase. With an optimised transmission down to 350 nm, spectral resolution of R~3500 on average across the wavelength range, and a large FoV (1 arcmin2), BlueMUSE will open up a new range of galactic and extragalactic science cases facilitated by its specific capabilities. BlueMUSE consists of several sub

SPIE2026

Afficher plus

Personnes associées (16)

Christoph Koch

Enseignement et PhD Doctorant·es actuel·les Léonard Léchot, Zhekai Jiang, Hanbit Lee A dirigé les thèses EPFL de Immanuel Trummer, Aleksandar Vitorovic, Milos Nikolic, Daniel Lupei, Mohammed El Seidy, Ioannis Klonatos, Mohammad Dashti Rahmat Abadi, Amir Shaikhha, Lionel Parreaux, Sachin Basil John, Zilu Tian A co-dirigé les thèses EPFL de David Kozhaya Cours Making intelligent things A CS-358(a) Le cours vise à enseigner le prototypage d'artefacts physiques intelligents et à résoudre des d

Jérôme Chenal

Expertise UrbanismePlanification urbaineGestion urbaineProcessus d Situation actuelle Directeur du Centre "Excellence in Africa "Directeur de la CEATProfesseur affilié UM6P Associations prof. et activités académiques Membre du Conseil d'administration de l'Université Senghor, Alexandrie (2025-2029)Directeur du Board of Directors de l'African Cities LabEditeur de l'African Cites JournalPrésident de la Biennale Africaine d'Architecture et d'urbanisme (BAAU)Médias Jérôme Chenal, la passion des villes et de l'A

Samy Bengio

Expertise Algorithmes d'apprentissageTraitement de la parole automatiqueAuthentification de personnesTraitement multimodalTraitement de sequencesReseaux de neurones, support vector machinesModeles de markov caches, mixtures de gaussiennesetc Expertise Algorithmes d'apprentissageTraitement de la parole automatiqueAuthentification de personnesTraitement multimodalTraitement de sequencesReseaux de neurones, support vector machinesModeles de markov caches, mixtures de gaussiennesetc Mission Samy Bengio est cher

Denis Gillet

Denis Gillet received the Diploma in Electrical Engineering from the Swiss Federal Institute of Technology in Lausanne (EPFL) in 1988, and the Ph.D. degree in Information Systems also from the EPFL in 1995. During 1992 he was appointed as Research Fellow at the Information Systems Laboratory of Stanford University in the United States. He is currently Maître d'enseignement et de recherche at the EPFL School of Engineering, where he leads the React research group. His current research interests include Technologies Enhanced Learning (TEL), Human Computer Interaction (HCI), Human Devices Interaction (HDI) and Optimal Coordination of Complex and Distributed Systems. Denis Gillet is affiliated at EPFL with the Center for Intelligent Systems and the Center for Digital Education.

Babak Falsafi

Enseignement et PhD Doctorant·es actuel·les Yuanlong Li, Simla Burcu Harma, Shashwat Shrivastava, Alexandros Poupakis, Shanqing Lin, Ayan Chakraborty, Pooria Poorsarvi Tehrani, Ali Ansari A dirigé les thèses EPFL de Pejman Lotfi Kamran, Sotiria Fytraki, Dejan Novakovic, Stavros Volos, Djordje Jevdjic, Ilknur Cansu Kaynak, Yusuf Onur Koçberber, Javier Picorel Obando, Alexandros Daglis, Mario Paulo Drumond Lages De Oliveira, Arash Pourhabibi Zarandi, Mark Johnathon Sutherland, Siddharth Gupta, Ognjen Glamoc

Elias Zsolt Stutz

Thomas La Grange

Enseignement et PhD Doctorant·es actuel·les Paolo Cattaneo, Antoine Nicolas Andrieux Cours Electron Matter Interactions in Transmission Electron Microscopy PHYS-637 Physics of materials PHYS-307 Ce cours traite de la physique des matériaux associée aux propriétés mécaniques et structurelles des solides, en se concentrant principalement sur la physique de la dynamique des défauts de dislocation et en reliant la cinétique de diffusion à la physique fondamentale des transforma

Anna Fontcuberta i Morral

2014 Associate Professor at the Institut des Matériaux, EPFL 2008 Assistant Professor Tenure Track at the Institut des Matériaux, EPFL 2009 Habilitation in Physics, Technische Universität München 2005-2010 Marie Curie Excellence Grant Team Leader at Walter Schottky Institut, Technische Universität München, on leave from Centre National de la Recherche Scientifique (CNRS, France) 2004-2005 Visiting Scientist at the California Institute of Technology, on leave from CNRS; Senior Scientist and co-founder of Aonex Technologies (a startup company for large area layer transfer of InP and Ge on foreign substrates for the main application of multi-junction solar cells) 2003 Permanent Research Fellow at CNRS, Ecole Polytechnique, France 2001-2002 Postdoctoral Scholar at the California Institute of Technology Study of wafer bonding and hydrogen-induced exfoliation processes for integration of mismatched materials in views of photovoltaic applications Sponsor: Professor Harry A. Atwater 1998-2001 PhD in Materials Science, Ecole Polytechnique Study of polymorphous silicon: growth mechanisms, optical and structural properties. Application to Solar Cells and Thin Film Transistors Advisor: Pere Roca i Cabarrocas 1997-1998 Diplôme dEtudes Approfondis (D.E.A.) in Materials Science at Université Paris XI, France . 1993-1997 BA in Physics at Universitat de Barcelona

Michaël Unser

Expertise Image Processing Medical Imaging Biological Imaging Wavelets Splines Multiresolution Enseignement et PhD Doctorant·es actuel·les Youssef Haouchat, Vincent Patrick Lawrence Guillemet, Bassam El Rawas, Stanislas Ducotterd, Mehrsa Pourya, Zhiyuan Hu A dirigé les thèses EPFL de Stefan Horbelt, Jan Kybic, Maria Arrate Munoz Barrutia, Manuela Feilner, Slavica Jonic, Mathews Jacob, Michael Liebling, Michael Sühling, Muthuvel Arigovindan, François Aguet, Cédric Vonesch, Ildar Khalidov, Sathish Ramani, F

Daniel Sage

Expertise Publications Enseignement et PhD A co-dirigé les thèses EPFL de Daniel Andreas Schmitter, Anaïs Badoual, Laurène Donati Cours Bioimage informatics BIO-410 Le cours fournit une complète revue des méthodes, algorithmes et des outils logiciels utilisés en analyse d'images biologiques. Il expose les concepts fondamentaux et les solutions informatiques permettant d'extraire des informations quantitatives à partir d'images multidimensionnelles. Fundamentals of Image Analysis EE

Afficher plus

Unités associées (2)

Laboratoire de systèmes d'information répartis

Laboratoire de systèmes et applications de traitement de données massives

Concepts associés (3)

Apache Spark

Spark (ou Apache Spark) est un framework open source de calcul distribué. Il s'agit d'un ensemble d'outils et de composants logiciels structurés selon une architecture définie. Développé à l'université de Californie à Berkeley par AMPLab, Spark est aujourd'hui un projet de la fondation Apache. Ce produit est un cadre applicatif de traitements des mégadonnées (big data) pour effectuer des analyses complexes à grande échelle. En 2009, Spark fut conçu par lors de son doctorat au sein de l'université de Californie à Berkeley.

Extract-transform-load

Extract-transform-load est une technologie informatique intergicielle permettant d'effectuer des synchronisations massives d'information d'une source de données (le plus souvent une base de données) vers une autre. Cette technologie est connue sous le sigle ETL, ou extracto-chargeur. Selon le contexte, il s'agit d'exploiter différentes fonctions, souvent combinées entre elles : « extraction », « transformation », « constitution » ou « conversion », « alimentation » ou « chargement ».

Consolidation informatique

La consolidation est en informatique le regroupement cohérent de données. Elle concerne généralement des données organisées logiquement ou liées entre elles. Plus spécifiquement pour les tableurs, il s’agit du regroupement de plusieurs tableaux issus de feuilles différentes (les feuilles sont des composantes des tableurs) voire de classeurs différents. La consolidation de données consiste à rassembler plusieurs données semblables afin d’obtenir un rapport plus facile à consulter que l’information brute présente sur le serveur, avec le moins de perte d’information possible.

Personnes associées (16)

Anna Fontcuberta i Morral

Michaël Unser

Daniel Sage

Afficher plus