Apache Iceberg

Page d’aide sur l’homonymie

Pour les articles homonymes, voir Iceberg (homonymie).

Apache Iceberg
Description de l'image Apache Iceberg Logo.svg.
Informations
Développé par Apache Software FoundationVoir et modifier les données sur Wikidata
Dernière version 1.9.2 ()Voir et modifier les données sur Wikidata
Dépôt github.com/apache/icebergVoir et modifier les données sur Wikidata
Type Projet de la fondation Apache (d)
Format de fichier (en)Voir et modifier les données sur Wikidata
Licence Apache License 2.0
Site web iceberg.apache.orgVoir et modifier les données sur Wikidata

modifier - modifier le code - voir Wikidata (aide)

Apache Iceberg est un format open source haute performance pour les tables analytiques à haute volumétrie. Iceberg permet d’utiliser des tables interrogeables en SQL dans des environnements Big Data, tout en permettant à des moteurs comme Spark, Trino, Flink, Presto, Hive, Impala, StarRocks, Doris et Pig d’accéder simultanément aux mêmes tables de manière fiable et cohérente. Iceberg est distribué sous licence Apache. Iceberg répond aux problèmes de performance et d’ergonomie des tables Hive dans les data lakes de grande envergure et exigeants. Parmi les fournisseurs prenant actuellement en charge les tables Apache Iceberg, on trouve Buster, CelerData, Cloudera, Crunchy Dat, Dremio, IBM watsonx.data, IOMETE, Oracle, Snowflake, Starburst, Tabular, AWS, Google Cloud, et Databricks.

Histoire

Iceberg a été créé chez Netflix par Ryan Blue et Dan Weeks. Apache Hive était utilisé par de nombreux services et moteurs de l'infrastructure Netflix. Hive n'a jamais pu garantir l'exactitude des données et ne fournissait pas de transactions atomiques stables. De nombreux employés de Netflix évitaient d'utiliser ces services et de modifier les données afin de prévenir les conséquences imprévues liées au format Hive. Ryan Blue a entrepris de résoudre trois problèmes liés aux tables Hive en créant Iceberg, :

  1. Garantir l'exactitude des données et prendre en charge les transactions ACID.
  2. Améliorer les performances en permettant des opérations plus fines au niveau du fichier pour des écritures optimales.
  3. Simplifier et abstraire le fonctionnement général et la maintenance des tables.

Le développement d'Iceberg a débuté en 2017. Le projet a été rendu open source et donné à la Fondation Apache Software en . En , le projet Iceberg est devenu un projet Apache de premier plan.

Iceberg est utilisé par de nombreuses entreprises, dont Airbnb, Apple, Expedia, Adobe, Lyft et bien d'autres.


Principales évolutions en format en fonction des versions majeures
VersionÉvolutions
1Gestion de tables analytiques basées sur des fichiers immuables (Parquet, Avro, ORC), snapshots, manifests, partitioning et évolution de schéma.
2Ajout des suppressions et mises à jour au niveau ligne (row-level deletes) via des fichiers de delete + contraintes plus strictes sur les writers.
3Extension des types et capacités : nouveaux types (timestamp ns, variant, geometry, geography), valeurs par défaut pour les colonnes, transformations multi-arguments pour partition et tri.
4Version en cours de développement (non stabilisée), visant à introduire de nouvelles fonctionnalités non rétrocompatibles.

Détails techniques

Apache Iceberg fonctionne en extrayant les métadonnées des tables du stockage de données sous-jacent. Il conserve des fichiers de métadonnées pour chaque instantané, les informations de schéma, la structure des partitions et les emplacements des fichiers de données, permettant ainsi des opérations sur les tables efficaces et atomiques.

De manière générale, Iceberg organise les données des tables en instantanés. Chaque instantané représente l'état de la table à un moment précis, permettant à Iceberg de fournir des fonctionnalités transactionnelles conformes à ACID, notamment l'isolation des instantanés, les écritures simultanées et la restauration. Les métadonnées des instantanés sont gérées sous forme d'une structure arborescente de fichiers manifestes et de fichiers de métadonnées stockés dans le système de fichiers.

Iceberg s’appuie par défaut sur le format Parquet pour le stockage physique des données, car son organisation en colonnes est particulièrement adaptée aux charges de travail analytiques. Les données sont stockées de manière compressée et orientée colonnes, ce qui optimise l’espace disque et accélère la lecture en ne parcourant que les colonnes et les blocs réellement nécessaires. Les métadonnées d’Iceberg maintiennent des références vers ces fichiers, permettant aux moteurs de requêtes d’identifier rapidement les données utiles sans scanner inutilement l’ensemble du stockage.

Apache Iceberg utilise une hiérarchie de métadonnées à plusieurs niveaux pour le suivi du contenu des tables. Au sommet de cette hiérarchie, un fichier de métadonnées (souvent metadata.json) stocke les informations relatives à la table, telles que le schéma, les spécifications de partitionnement, la liste des instantanés et les pointeurs vers l'instantané racine courant. Chaque instantané représente une vue cohérente de la table et est associé à une liste de manifestes (un fichier Avro ) qui répertorie tous les fichiers manifestes de cet instantané. Un fichier manifeste est un index qui liste un ensemble de fichiers de données (par exemple, des fichiers Parquet) ainsi que les métadonnées de chaque fichier, notamment le nombre de lignes, les valeurs de partitionnement et les statistiques des colonnes, telles que les valeurs minimales et maximales. Ces manifestes sont de petits fichiers de métadonnées (souvent au format Avro) qui segmentent les métadonnées de la table, permettant ainsi une architecture distribuée. Dans ce cadre, des manifestes entiers peuvent être supprimés lors d'une requête par partition, au lieu de nécessiter un seul fichier volumineux listant tous les fichiers de données. De plus, l'arborescence de métadonnées d'Iceberg conserve l'historique des modifications apportées aux tables, en préservant les anciens instantanés et manifestes (permettant ainsi de remonter le temps) jusqu'à leur expiration. Elle permet également de planifier rapidement les requêtes en lisant uniquement les fichiers manifestes pertinents, au lieu d'analyser l'ensemble des fichiers de données ou des répertoires. Cette approche évite les opérations coûteuses telles que le listage des répertoires et optimise l'accès aux métadonnées, même pour les tables volumineuses.

Structure d'un fichier Apache Iceberg,,
CoucheDescription
CatalogService de catalogue permettant de localiser et versionner les tables Iceberg.

Cette couche souvent externalisée, peut être implémentée via REST, Apache Nessie, AWS Glue, Hive Metastore, etc.

Metadata layerCouche contenant les métadonnées décrivant la table :
  • fichier metadata.json (point d'entrée de la table)
  • manifest list (liste des manifests)
  • manifest files (généralement au format Avro)
Data layerCouche contenant les données physiques :

Fichiers de données (principalement Parquet). Autres formats possibles : Avro ou ORC

Articles connexes

Liens externes

Notes et références

  1. ↑ « Release 1.9.2 », (consulté le )
  2. ↑ (en) « Apache Iceberg », iceberg.apache.org, sur apache.org (consulté le ).
  3. ↑ « Apache/iceberg GitHub License », sur GitHub, The Apache Software Foundation, (consulté le ).
  4. 1 2 3 4 5 Alex Woodie, « Apache Iceberg: The Hub of an Emerging Data Service Ecosystem? » [archive du ], Datanami, (consulté le )
  5. ↑ « Buster » [archive du ] (consulté le )
  6. ↑ (en) Woodie, « Crunchy Data Goes All-in With Postgres » [archive du ], The Big Data Wire, (consulté le )
  7. ↑ (en) Oracle Corporation, « Query Apache Iceberg Tables », Oracle Cloud Infrastructure Documentation, sur Oracle Help Center, (consulté le ).
  8. ↑ (en) « Vendors », iceberg.apache.org, sur apache.org (consulté le ).
  9. ↑ (en) « Using Apache Iceberg tables – Amazon Athena » [archive du ], sur amazon.com, Amazon Web Services, Inc. (consulté le ).
  10. ↑ « Google Cloud BigQuery tables for Apache Iceberg » [archive du ], Google Cloud, Inc. (consulté le )
  11. ↑ (en) « What is Apache Iceberg in Databricks? | Databricks on AWS », docs.databricks.com, sur databricks.com, (consulté le ).
  12. ↑ « Iceberg at Netflix and Beyond with Ryan Blue, EPISODE 1654 Transcript » [archive du ], Software Engineering Daily, (consulté le )
  13. ↑ (en) « Initial public release in apache/iceberg » [archive du ], GitHub, sur GitHub (consulté le ).
  14. 1 2 « Incubation Status Template - Apache Incubator » [archive du ], incubator.apache.org, sur apache.org (consulté le ).
  15. ↑ (en) Zhu, « Upgrading Data Warehouse Infrastructure at Airbnb », The Airbnb Tech Blog,
  16. ↑ (en) Mathiesen, « A Short Introduction to Apache Iceberg » [archive du ], Expedia Group Technology, (consulté le )
  17. ↑ (en) Bremner, « Iceberg at Adobe » [archive du ], Medium, (consulté le )
  18. ↑ (en) « Open Source Highlight : Apache Iceberg » [archive du ], sur datacouncil.ai via Internet Archive, (consulté le ).
  19. ↑ (en) « Spec », sur apache.org.
  20. ↑ (en) « Apache Iceberg Documentation », sur iceberg.apache.org (consulté le ).
  21. ↑ (en) « Apache Iceberg Specification », sur iceberg.apache.org (consulté le ).
  22. ↑ (en) Jatin Solanki, « Apache Iceberg vs Parquet : File vs. Table Formats for Modern Data Lakes », sur decube.io, (consulté le ).
  23. ↑ (en) « Apache Iceberg Specification », Apache Iceberg, sur apache.org (consulté le ).
  24. ↑ (en) « A Hands-On Look at the Structure of an Apache Iceberg Table », sur dremio.com, (consulté le ).
  25. ↑ (en) « Spec », sur apache.org (consulté le ).
  26. ↑ (en) « Apache Iceberg : An Architectural Look Under the Covers », sur Dremio (consulté le ).
  27. ↑ https://github.com/CeliaMuriel/OTF/blob/main/Apache%20Iceberg%20Architecture.jpg