Ducklake
| Développé par | Mark Raasveldt (d) et Hannes Mühleisen (d) |
|---|---|
| Première version | |
| Dernière version | 1.0 () |
| Dépôt | github.com/duckdb/ducklake |
| Type | Format de fichier (en) |
| Licence | Licence MIT |
| Documentation | ducklake.select/docs/stable |
| Site web | ducklake.select |
DuckLake est un format de fichier dédié aux datalake open source conçu pour stocker et interroger des données analytiques sur des systèmes de stockage objet, tout en utilisant une base de données SQL standard pour gérer les métadonnées. Il est développé par les créateurs de DuckDB et vise à simplifier l’architecture des data lakes modernes.
Histoire
Ducklake est présenté en mai 2025 dans le DuckLake Manifesto, qui expose les motivations et principes du projet. En avril 2026, DuckLake atteint la version 1.0, marquant une version dite « prête pour la production », accompagnée d’une spécification stable et d’une implémentation de référence sous forme d’extension pour DuckDB.
Philosophie
Le DuckLake Manifesto repose sur plusieurs constats concernant les architectures modernes de data lakes :
- La séparation entre stockage et calcul est désormais standard et bénéfique.
- Les formats ouverts (comme Parquet) sont essentiels pour éviter l’enfermement propriétaire.
- Les formats actuels complexifient la gestion des métadonnées en les distribuant sous forme de fichiers.
DuckLake propose donc une approche alternative :
Fonctionnalités
DuckLake reprend plusieurs fonctionnalités clés des formats lakehouse modernes :
- transactions ACID ;
- gestion de versions (time travel) ;
- évolution de schéma ;
- séparation stockage/calcul.
Il introduit également des optimisations spécifiques, comme la notion de data inlining. Afin d'éviter la prolifération de petits fichiers, améliorer les performances des charges de travail en streaming et réduire les besoins en opérations de maintenance comme le compactage, DuckLake stocke directement les petites modifications (insertions, suppressions, mises à jour) dans le catalogue SQL au lieu de créer des fichiers de données.
Articles connexes
Liens externes
- (en) Site officiel
Notes et références
- ↑ « https://ducklake.select/manifesto/ »
- ↑ « https://ducklake.select/2026/04/13/ducklake-10/ »
- ↑ (en) GitHub User, « The DuckLake Manifesto : SQL as a Lakehouse Format », sur ducklake.select (consulté le ).
- ↑ (en) The DuckDB team, « DuckLake v1.0 : The Lakehouse Format Built on SQL Reaches Production-Readiness », sur ducklake.select, (consulté le ).
