OpenHPC
Die OpenHPC-Initiative ist ein kollaboratives Projekt unter dem Dach der Linux Foundation. Es hat zum Ziel, eine einfach installier- und benutzbare Software-Umgebung (Framework) für High-Performance-Computing zu entwickeln und zu verbreiten. Die für das grundlegende Aufsetzen eines HPC-ComputeClusters notwendigen Komponenten stehen als Open Source zur Verfügung. Weitere, optionale Komponenten (Intel-C/Fortran-Compiler, diverse Performance-Analyse-Tools) erfordern den Erwerb von Lizenzen ihrer jeweiligen Hersteller.
Gründung
Das Projekt wurde am 12. November 2015 während der SC '15 von den unter Gründungsmitglieder genannten Firmen und Forschungseinrichtungen gegründet.
Ziele
Das Projekt will erreichen, dass openHPC
- als ein robustes und vielfältiges System aus miteinander integrierten Komponenten eine stark vereinfachte Nutzung von HPC-Techniken ermöglicht
- eine stabile Software-Umgebung zum Testen und Validieren eines breiten Spektrums an HPC-Anwendungen bietet
- als integriertes Open-Source-Framework die Gesamtkosten für die Inbetriebnahme einer eigenen HPC-Umgebung verringert
- mit seinem flexiblen Konfigurationsmanagement und zueinander kompatiblen Software-Paketen viele Einsatzfälle von HPC abdeckt, und trotzdem die Integration mit anderen HPC-Komponenten erlaubt
Das Aufsetzen eines ComputeClusters erfordert eine Menge administrativer Arbeit. Spezialisierte Systemadministratoren planen
- mit welcher Cluster-Verwaltungssoftware sie ihr Cluster installieren und verwalten wollen
- mit welchen Werkzeugen sie es überwachen und
- mit welchem ResourceManager (Job Scheduler) sie es durch die Benutzer mit Jobs (Teilaufgaben) beschicken wollen.
Dann installieren und konfigurieren sie auf dem/n MasterNode(s) die ausgewählte Software, mittels der sie dann die ComputeNodes erfassen, ihrerseits mit einem Betriebssystem versehen und in Betrieb nehmen.
OpenHPC will diese Vorgänge dadurch vereinfachen, dass ein einziger Software-Stack – bestehend aus weitgehend standardisierten und gegeneinander getesteten Komponenten – aus einem einzigen Repository heraus installiert wird, der sofort lauffähig ist und die Inbetriebnahme der ComputeNodes unmittelbar ermöglicht. Den Integrationsaufwand der verschiedenen Komponenten hat dabei das openHPC-Projekt bereits weitgehend erledigt, so dass dem Betreiber nur geringer Konfigurationsaufwand entsteht.
Erstausgabe
Am 5. Februar 2016 erschien mit „OpenHPC 1.0.1“ das erste Release des Frameworks.
Unterstützte Betriebssysteme
Zurzeit wird openHPC nur gegen CentOS 7.1 entwickelt und getestet. Es ist aber davon auszugehen, dass es mit kompatiblen Linux-Distributionen (Red Hat Enterprise Linux oder Scientific Linux) ebenso betrieben werden kann.
Nutzung
Da HPC im Allgemeinen das „scale-out“-Prinzip (Verteilung aufwendiger Rechnungen auf mehrere Compute-Nodes) vorsieht, benötigt man einen Master-Node, der die Compute-Nodes mit der openHPC-Software und später mit Teilaufgaben versorgt.
Zur Nutzung von openHPC reicht es, im unterstützten Basis-Betriebssystem des Master-Nodes das openHPC-Repository einzutragen, um den integrierten Software-Stack herunterladen und installieren zu können.
Die Komponenten werden nach /opt/ohpc/ installiert, was ein für Master-Node und alle Compute-Nodes gemeinsames (NFS-)Verzeichnis sein sollte.
Die im openHPC-Projekt benutzten Komponenten sind:
- Warewulf als image-basierendes Compute-Node-Verwaltungssystem
- SLURM als Ressourcenmanager / Batch-Scheduler
- MPI-Bibliotheken (Intel-MPI, MVAPICH2, OpenMPI)
- verschiedene wissenschaftliche Bibliotheken wie FFTW, HDF5 (mit serieller und paralleler I/O-Unterstützung) und die GNU Scientific Library (GSL)
- InfiniBand-Treiber und -Tools (OFED, PSM, RDMA, IPoIB)
- Lustre-Client für das verteilte Filesystem
- Nagios-Client zur Verfügbarkeitsüberwachung
- Ganglia zur Performance- und Auslastungsüberwachung des Clusters
- Intel Cluster Checker zur Diagnose von Hard- und Softwareproblemen (lizenzpflichtig)
- Intel Parallel Studio XE C/C++ und Fortran-Compiler (u. U. lizenzpflichtig)
Gründungsmitglieder
(in alphabetischer Reihenfolge)
- Allinea Software
- Altair Engineering
- ANSYS des Argonne National Laboratory
- Atos
- Barcelona Supercomputing Center
- The Center for Research in Extreme Scale Technologies at Indiana University
- Cray
- Dassault Systemes SIMULIA
- Dell
- Fujitsu Systems Europe
- Hewlett Packard Enterprise
- Intel Corporation
- Jülich Supercomputing Centre
- Lawrence Berkeley National Laboratory
- Lawrence Livermore National Laboratory
- Leibniz Supercomputing Centre
- Lenovo
- Los Alamos National Laboratory
- MSC Software
- NEC
- Oak Ridge National Laboratory
- Pacific Northwest National Laboratory
- ParTec
- Penguin Computing
- Pittsburgh Supercomputing Center
- Sandia National Laboratories
- SENAI CIMATEC
- SUSE
- Texas Advanced Computing Center
Weblinks
- Website des openHPC-Projekts
- GitHub-Seite des Projekts
- HPCwire: Altair plant Open-Source-Ausgabe seines PBSPro-HPC-Workload-Managers
- Gründungsbekanntmachung
- Heise Developer zum openHPC-Projekt
- The Inquirer über das openHPC-Projekt
- ZDNet zum openHPC-Projekt
- HPCwire über das openHPC-Projekt
- Scientific Computing über das openHPC-Projekt
- Das britische The Register über openHPC
- Intel Blogs: openHPC als „Grab-and-Go-Meals with Recipes“ für die schnelle Inbetriebnahme moderner ComputeCluster
Einzelnachweise
- ↑ linuxfoundation.org ( des vom 9. März 2016 im Internet Archive) Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- ↑ openhpc.community
- ↑ openhpc.community
