Apache Hadoop
 Logo programu | |
| Autor | Apache Software Foundation |
|---|---|
| Pierwsze wydanie | 1 kwietnia 2006; około 20 lat temu |
| Aktualna wersja stabilna | 3.5.0 (2 kwietnia 2026) [±] |
| Język programowania | Java |
| System operacyjny | Wieloplatformowa |
| Rodzaj | Framework |
| Licencja | Apache License 2.0 |
| Strona internetowa | |
Apache Hadoop – otwarta platforma programistyczna napisana w języku Java przeznaczona do rozproszonego składowania i przetwarzania wielkich zbiorów danych przy pomocy klastrów komputerowych. Jest jednym z projektów rozwijanych przez fundację Apache. Wszystkie moduły Hadoop zostały zaprojektowane z założeniem, że awarie sprzętowe są rzeczą naturalną i powinny być automatycznie obsługiwane przez framework.
Apache Hadoop składa się z następujących modułów:
- Hadoop Common – biblioteki i narzędzia używane przez pozostałe moduły;
- Hadoop Distributed File System (HDFS) – rozproszony system plików;
- Hadoop YARN – platforma do zarządzania zasobami klastra;
- Hadoop MapReduce – implementacja paradygmatu MapReduce do przetwarzania dużych ilości danych.
Określenie Hadoop często jest używane nie tylko w odniesieniu do powyższych modułów, ale także do całego ekosystemu aplikacji, które mogą być używane w połączeniu z Hadoop: Apache Pig, Apache Hive, Apache HBase, Apache Phoenix, Apache Spark, Apache ZooKeeper, Cloudera Impala, Apache Flume, Apache Sqoop, Apache Oozie, Apache Storm.
Moduły MapReduce i HDFS zostały zainspirowane materiałami Google na temat ich implementacji MapReduce i ich rozproszonego systemu plików Google File System.
Jeszcze zanim osiągnął wydanie stabilne, był już wykorzystywany w poważnych zastosowaniach (Amazon, AOL, Facebook, Yahoo).
Autorami projektu są Doug Cutting oraz Mike Cafarella.
Przypisy
- ↑ Apache Software Foundation: Hadoop Releases. apache.org. [dostęp 2019-04-28]. (ang.).
- ↑ What is the Hadoop Distributed File System (HDFS)? (ang.)
- ↑ Hadoop Creator goes to Cloudera 2015-11-26 (ang.)
- ↑ Cutting out for Cloudera just in time. [dostęp 2018-08-24]. (ang.).