Un lac de données (en anglais data lake) est une méthode de stockage de données massives utilisée par le big data (mégadonnées en français). Ces données sont gardées dans leurs formats originaux ou sont très peu transformées,. Le lac de données donne la priorité au stockage rapide et volumineux de données hétérogènes en adoptant une architecture en cluster. Il n'est pas optimisé pour les requêtes SQL comme les SGBD relationnels classiques, et s'écarte des propriétés ACID traditionnelles. On parle depuis 2010 de SGBDNoSQL.
des données semi-structurées (fichiers CSV, journaux, XML, JSON...);
des données non structurées (emails, documents, PDF);
des fichiers de type blob (images, audio, vidéo notamment).
Ces données sont conservées dans le lac de données pour analyse ultérieure. Il s’agit d’une solution de gestion de données hybrides et variées ayant pour objectif de stocker de manière rapide et peu chère une grande quantité de données brutes.
La principale qualité du lac de données réside en sa flexibilité. Il doit pouvoir stocker les données, quel que soit leur format. Lorsqu’une donnée est intégrée au sein du lac de données, elle se voit attribuer un identifiant unique et est marquée au moyen d'un jeu de balises de métadonnées étendues. Lorsqu'un besoin se présente, le lac de données est parcouru pour y rechercher des informations pertinentes. L'analyse de ces données permet alors d'apporter de la valeur et de répondre à ce besoin.
Origine du terme
Le concept de data lake a été évoqué pour la première fois, en 2010, par James Dixon, CTO de Pentaho, comme une solution pour le stockage de données sans pré-traitement et sans connaître précisément l’usage futur qu’il en sera fait. L'image du lac permet d'expliquer que différentes sources peuvent l'alimenter de manière naturelle et brute, et que les utilisateurs peuvent y plonger pour l'explorer et en rapporter des échantillons à examiner.
Terminologie et typologie des lacs de données
En parallèle de la notion de datalake, s'est développée une structure hybride entre le datalake et le datawarehouse: le lakehouse.
Le data LakeHouse se positionne comme une approche hybride capable d'ingérer une large variété de données comme un datalake, tout en offrant des transactions ACID et un contrôle strict de la qualité des données, à l’image d’un data warehouse.
Pour répondre aux problématiques inhérentes au cloud d'enfermement propriétaire, la vision d'open Lakehouse s’est progressivement développée,,.
L'open Lakehouse repose sur plusieurs principes autour de plusieurs notions: l'utilisation de technologie opensource, l'interopérabilité, la composabilité ( pouvoir remplacer ou combiner les briques selon les besoins), le découplage du stockage et du calcul, ainsi que la portabilité des données et des traitements entre environnements pour éviter la dépendance à un fournisseur unique.
L’écosystème open lakehouse s’articule notamment autour de formats de table ouverts comme Apache Iceberg, Apache Hudi ou Delta Lake, Ducklake pour le stockage transactionnel généralement construits au-dessus de formats de fichiers analytiques tels que Apache Parquet, Apache ORC ou Apache Avro, de moteurs de requête et de traitement tels que Trino, Apache Spark, DuckDB, ou Apache Flink, ainsi que des systèmes de catalogage et de gestion des métadonnées tels que Apache Nessie, Apache Polaris, Gravitino ou Lakekeeper, permettant la gestion des métadonnées, la gouvernance des données et, dans certains cas, le versionnement des tables.
Usages et fonctions
Les lacs de données facilitent l'accès et l'analyse des données pour des tâches telles que:
Le lac de données est donc un outil de gestion des données et de métadonnées dans des domaines variés qui vise le stockage et l'analyse de volumes massifs de données. Associé à des moyens d’analyse en temps réel et d’intelligence artificielle cela permet une meilleure mise en valeur de l'information et la saisie d’opportunités.
Cet outil apporte certains avantages tels que la rationalisation du stockage des données, la réduction des coûts de stockage, et facilite l'accès pour l'analyse et la prise de décisions d’une façon globale. Pour ce qui est de la rationalisation, le lac de données permet en effet de réduire les coûts temporel et de développement liés à la préparation des données avant leur stockage puisque leur format d’origine est conservé.
On note également une réduction des dépenses d'exploitation en utilisant le lac de données comme référentiel pour les données plus anciennes. Sans le lac de données, il serait nécessaire d’opter pour des entrepôts de données pour stocker celles-ci, or cette solution est bien plus onéreuse.
Plusieurs environnements fournissent des services complets permettant la gestion d'un lac de données. La plupart d'entre eux sont basés sur la technologie Hadoop et fournissent des installations en local (MapR, Cloudera, Hortonworks) ou dans le Cloud (Microsoft Azure, Google Cloud Platform, Amazon S3).
Avantages et inconvénients
Le lac de données est avant tout un moyen de stockage dont les avantages sont:
une capacité de stockage de grosses volumétries de données;
une rapidité de stockage sans pré-traitement des données brutes;
une souplesse et polyvalence pour stocker différents formats et sources de données;
une rationalisation du stockage des données;
une réduction des coûts de stockage;
une réduction du temps passé et du coût liés à la préparation des données avant leur stockage, puisque leur format d’origine est conservé.
S’il est bien utilisé, un lac de données permet de:
garder un historique des données anciennes sur de longue périodes;
faciliter le partage, la mise à jour des données, et l'utilisation des données de façon cohérente et homogène dans l'entreprise, en évitant le silotage des données;
rechercher, analyser et corréler l'ensemble des données de l'entreprise pour une meilleure analyse et création de valeur;
faciliter l'accès pour l'analyse et la prise de décisions d’une façon globale.
Malgré tout, la solution présente aussi certains inconvénients:
la difficulté à conserver un lac de données propre et organisé, ce qui est relativement chronophage et peut être à terme particulièrement onéreux. Le risque est de se retrouver avec une masse de données devenues massives et inexploitables, voire inutilisables. On parle alors de «marécage de données»,,. Ce terme est utilisé pour désigner un lac de données inaccessibles ou de peu de valeur. Andrew Brust assimile pour sa part complètement le marécage de donnée à un lac de donnée qui aurait sursaturé au fur et à mesure que des quantités trop importantes de données auraient été intégrées;
le temps nécessaire à traiter et analyser les données stockées à l'état brut;
l'expertise requise pour rechercher, analyser et traiter les données de manière pertinente et créatrice de valeur, souvent confiées aux data scientists;
la sécurité, la confidentialité et les problématiques liées aux données personnelles et au respect des réglementations, inhérentes aux données, sont toujours présentes et d'autant plus importantes que le lac de données regroupe et conserve des données massives;
Le défi de l'intégration des données non structurées qui nécessitent d'être automatiquement transformées afin de pouvoir en extraire de la valeur.
Avec l'arrivée massive de l'intelligence artificielle, de nombreuses entreprises souffrent de l'adoption prématurée de cette nouvelle technologie car leurs données ne bénéficient d'aucun traitement préalable[pasclair]. Le «fossé d'activation de l'IA» (AI activation gap) consiste à revaloriser les lacs de données des entreprises pour les rendre exploitables par l'IA agentique,. En 2025, Qlik, Oracle, Altertable, et Cloudera lancent leur solution data lakehouse compatible avec l'IA agentique.
Distinctions avec d'autres méthodes de stockage
Aujourd’hui il existe différents moyens de stocker les données autres que les lacs de données, comme les entrepôts de données (data warehouses), ou les datamarts.
Le risque est que ces bases de données spécialisées ne soient utilisées que par un petit nombre de personnes, et par là même méconnues et sous-exploitées par le reste de l'entreprise. C'est le phénomène de «silotage» ou «data silo», où les données ne sont accessibles qu'à une partie de l'organisation, et finissent par poser des problèmes de mise à jour, de cohérence et de partage.
Ces bases sont structurées différemment, car chaque donnée est traitée et transformée avant d'être stockée. Ceci peut être un gain de temps sur les données réellement utiles, mais au contraire une perte de temps si les données stockées ne sont pas utilisées par la suite, ce qui peut être fréquemment le cas pour les masses de données en big data. Le modèle préétabli de ces bases peut aussi limiter les possibilités et évolutions des interrogations et recherches futures qui peuvent être faites sur les données stockées.
L'implémentation des propriétés ACID des SGBD relationnels classiques est coûteuse en ressources et temps de traitement. Elles ne sont donc plus nécessairement respectées dans les systèmes NoSQL qui privilégient la rapidité et la distribution des traitements en clusters pour gérer les données massives.
