LUMI

LUMI
Arendaja Hewlett Packard Enterprise
Väljalaske kuupäev 13. juuni 2022
Esialgne hind ~ 202 miljonit eurot (investeering)
Opsüsteem Linux (Cray)
Protsessor 362 496 × AMD EPYC (64-tuumalised)
Salvestusmaht 117 PB
Mälu 1,75 PB
Graafika 10 240 × AMD Radeon Instinct MI250X
Ühenduvus HPE Cray Slingshot-11 200 Gbps
Platvorm HPE Cray EX
Mõõdud 400 m²
Kaal 150 000 kg
Veebileht www.lumi-supercomputer.eu

LUMI (inglise keeles Large Unified Modern Infrastructure) on pre-eksaskaala superarvuti, mis asub Soomes Kajaani linnas CSC andmekeskuses. LUMI eesmärk on toetada Euroopa teaduse arengut, suurandmete analüüsi, tehisintellekti arendamist, ning tugevdada Euroopa digisuveräänsust.

LUMI on osa Euroopa kõrgjõudlusega andmetöötluse ühisettevõttest (EuroHPC Joint Undertaking), mis koondab Euroopa Liidu riike ja tööstuspartnereid ühise eesmärgi nimel, et arendada tipptasemel superarvutusvõimekust Euroopas. LUMI konsortsium koosneb kümnest liikmesriigist, sealhulgas Eestist, kes panustab süsteemi nii rahaliselt kui ka teaduskoostöö kaudu.

LUMI teoreetiline tippjõudlus on üle 550 petaFLOPS-i ehk 550 kvintiljonit arvutust sekundis. 2023.–2024. aastal oli see Euroopa kiireim superarvuti ja seisuga november 2024 paikneb see maailma superarvutite edetabelis 8. kohal.

Ajalugu

Euroopa Liit algatas 2018. aastal EuroHPC (European High-Perfomance Computing), eesmärgiga luua oma maailmatasemel superarvutustaristu. Selle raames asutati EuroHPC ühisettevõte, kuhu kuuluvad Euroopa Komisjon, Euroopa Liidu liikmesriigid ja eraettevõtted, eesmärgiga arendada Euroopa sisest superarvutite infrastruktuuri ja toetada teaduse arengut.

Ühisettevõtte toel alustati üleeuroopalise superarvutustaristu loomist. Projektiga liitus 25 Euroopa riiki.

EuroHPC liikmesriigid

LUMI ehitus sai alguse 2019. aasta juunis, kui LUMI konsortsium valiti üheks EuroHPC lipulaev-superarvuti majutajaks.. 2020. aasta oktoobris sõlmiti enam kui 160 miljoni dollari väärtuses leping ettevõttega HPE (Hewlett Packard Enterprise) Cray EX superarvuti tarnimiseks.

Süsteemi esimesed osad, sealhulgas CPU partitsioon ja salvestussüsteemid, paigaldati 2021. aasta suvel. CPU partitsioon oli teadlastele kasutamiseks valmis alates 2021. aasta sügisest. GPU partitsioon lisandus 2022. aasta kevadel ja suvel.

LUMI avati pidulikult 13. juunil 2022. Pärast edukat testimist kuulutati LUMI täielikult töövalmis 31. jaanuaril 2023.

LUMI konsortsiumisse kuuluvad: Soome, Belgia, Tšehhi, Taani, Eesti, Island, Holland, Norra, Poola, Rootsi ja Šveits. Konsortsiumi eesmärk on koondada liikmesriikide vahelisi teadmisi, jagada kulusid ja finantsriski ning tagada superarvuti efektiivne kasutamine Euroopas.

Asukoht

LUMI asukohaks valiti Soome, mitmetel kaalutletud põhjustel. Täpsemalt paigutati LUMI Kajaani linna paiknevasse CSC arvutuskeskusse, mille infrastruktuur juba sobis suure mastaabiga superarvutiks. LUMI andmekeskust toidab sajaprotsendiliselt taastuvenergia, mis pärineb Kajaani piirkonna mitmetest hüdroelektrijaamadest. Kajaani jahe kliima toetab omakorda loomulikku jahutamist, mis vähendab vajadust energiamahukate jahutussüsteemide järele, tõstes süsteemi energiatõhusust.

Lisaks kasutatakse superarvuti poolt eraldatud jääksoojust Kajaani linna kaugküttevõrgus. See võimaldab katta kuni 20% Kajaani linna kaugkütte vajadusest.

Süsteemi arhitektuur

LUMI superarvuti arhitektuuri aluseks on HPE Cray EX süsteem, mis on jagatud mitmeks riistvaraliseks partitsiooniks.

LUMI-G ühe sõlme riistvara

LUMI-G (GPU-põhine arvutuspartitsioon)

LUMI-G on LUMI superarvuti peamine arvutuspartitsioon, mis põhineb graafikaprotsessoritel ehk GPU'del. See koosneb 2978 arvutussõlmest, millest igaüks on varustatud ühe 64-tuumalise AMD EPYC 7A53 "Trento" protsessoriga ja nelja AMD MI250X GPU'ga ja 512 GB muutmäluga ehk RAM'iga.

LUMI-C (CPU-põhine arvutuspartitsioon)

LUMI-C partitsioon koosneb 2048 kaheprotsessorilisest sõlmest. Igas sõlmes on kaks 64-tuumalist AMD EPYC 7763 Milani protsessorit, kokku 128 tuuma ja kuni 256 lõime. Protsessorid töötavad baastaktsagedusel 2,45 GHz, tippkiirusel kuni 3,5 GHz ning omavad 256 MB L3-vahemälu.

AMD EPYC 7763 Protsessori arhitektuur

Sõlmede RAM, varieerub 256 GB kuni 1 TB DDR4 RAM-i vahel. 32 sõlmel on 1 TB RAM-i, 128 sõlmel 512 GB ja 1376 sõlmel 256 GB RAM-i.

LUMI-D (andmeanalüüsi ja visualiseerimise partitsioon)

LUMI-D on loodud andmeanalüüsiks ja visualiseerimiseks. See sisaldab 16 sõlme, millest 8 on varustatud kahe AMD EPYC "Rome" protsessori ja 4 TB RAM'iga ning 8 sõlmel on lisaks ka 8 NVIDIA A40 GPU-d.

Salvestuspartitsioonid

LUMI superarvuti kogusalvestusmaht on 117 petabaiti. Süsteem sisaldab mitut eriotstarbelist salvestuspartitsiooni.

LUMI-F

7 PB välkmälul põhinev Lustre salvestussüsteem, mille puhul on kõik andmed talletatud SSD (Solid State Drive) andmekandjatesse. Süsteemi ribalaius ulatub kuni 1740 GB/s. Mõeldud ajutiseks andmetöötluseks ja kiireks ligipääsuks andmetele.

LUMI-P

80 PB traditsiooniline Lustre failisüsteem, mis põhineb mehaanilistel kõvaketastel. Mõeldud pikaajaliseks andmete salvestamiseks.

LUMI-O

30 PB objektisalvestus Ceph platvormil, mõeldud projektipõhiseks andmete jagamiseks ja elutsükli kestvaks säilitamiseks.

Dragonfly võrgutopoloogia

Partitsioonide ühenduvus

LUMI kasutab sõlmedevaheliseks kiireks andmevahetuseks HPE Cray Slingshot-11 võrgutehnoloogiat, mis põhineb Dragonfly võrgutopoloogial. Selle topoloogia kohaselt ühendatakse esmalt grupp lõpp-punkte (arvutussõlmi) ühe kommutaatoriga (switch). Seejärel ühendatakse mitu sellist kommutaatorit omavahel täielikult ehk kõik-kõigiga (all-to-all ), moodustades grupi.

Eri tüüpi sõlmedel on erinev arv ühenduspunkte võrku:

  • LUMI-C on varustatud ühe lõpp-punktiga.
  • LUMI-G on varustatud nelja lõpp-punktiga, ehk üks lõpp-punkt iga GPU kohta.

Iga lõpp-punkt tagab kahesuunalise andmeedastuskiiruse kuni 50 GB/s.

Jõudlus

LUMI superarvuti püsiv jõudlus (Rmax) on 380 petaFLOPS-i ja teoreetiline tippjõudlus (Rpeak) 550 petaFLOPS-i. Lisaks saavutas LUMI novembris 2024 toimunud HPL-MxP testis 3. koha tulemusega 2,35 eksaFLOPS-i. HPCG (High-Performance Conjugate Gradient) testis saavutas LUMI 4. koha tulemusega 4,587 petaFLOPS-i.

Maailma võimsaimate superarvutite edetabelis TOP500 on LUMI saavutanud oma kõrgeima, 3. koha mais 2022. Novembris 2024 oli LUMI maailma superarvutite edetabelis 8. kohal.

Eesti osalus LUMI projektis

Eesti osaleb aktiivselt LUMI projektis. Eesti on LUMI konsortsiumi liige ja Tartu Ülikooli teadusarvutuste keskus koordineerib Eesti osalust. Eesti teadlased ja ettevõtted saavad taotleda juurdepääsu LUMI ressurssidele teadus- ja arendustegevuseks. Teadlased Tallinna Tehnikaülikoolist saavad samuti LUMI ressursse kasutada.

LUMI tulevik

2. aprillil 2025 käivitati LUMI AI vabrik eesmärgiga luua juhtiv AI innovatsioonikeskkond Euroopas. LUMI AI vabriku konsortsiumi kuulub ka Eesti.

Plaanis on ka koostöö kvantarvutitega (LUMI-IQ), näiteks Soome VTT kvantarvutiga Helmi ja Tšehhi IT4Innovationsi kvantarvutiga VLQ.

Vaata ka

Viited

  1. 1 2
  2. 1 2 "Inauguration of LUMI: the fastest & greenest supercomputer in Europe - EuroHPC JU". eurohpc-ju.europa.eu (inglise). Vaadatud 30. aprillil 2025.
  3. 1 2 3 4 5 6 7 "LUMI Day Environment" (PDF). LUMI (inglise). Vaadatud 29. aprillil 2025.
  4. 1 2 "LUMI Supercomputer FAQ". LUMI (inglise). Vaadatud 29. aprillil 2025.
  5. 1 2 3 "EuroHPC JU". LUMI (Ameerika inglise). Vaadatud 29. aprillil 2025.
  6. 1 2 3 "LUMI supercomputer". LUMI (Ameerika inglise). Vaadatud 29. aprillil 2025.
  7. 1 2 "LUMI consortium". LUMI (Ameerika inglise). Vaadatud 29. aprillil 2025.
  8. ↑ Center, UTHPC. "LUMI". UTHPC Center (inglise). Vaadatud 29. aprillil 2025.
  9. 1 2 "Home - | TOP500". www.top500.org. Vaadatud 29. aprillil 2025.
  10. 1 2 "Council backs Commission's plans to invest €1 billion in world-class European supercomputers". European Commission - European Commission. Vaadatud 30. aprillil 2025.
  11. 1 2 3 4 anni.jakobsson@csc.fi (4. mai 2021). "Deep dive into the building of the LUMI data center". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  12. ↑ Writer, Staff. "HPE awarded $160 million contract to build supercomputer in Finland". DataCenterNews Asia Pacific (Ameerika inglise). Vaadatud 30. aprillil 2025.
  13. ↑ anni.jakobsson@csc.fi (3. november 2020). "May we introduce: LUMI". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  14. ↑ "FAQ". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  15. ↑ "LUMI consortium". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  16. ↑ anni.jakobsson@csc.fi (9. oktoober 2020). "LUMI data center will be powered with hydroelectricity supplied by Vattenfall". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  17. 1 2 3 4 5 6 7 8 Szpindler, Maciej (29.02.2024). "LUMI Computing Environment and Support" (PDF). LUMI. Vaadatud 30.04.2025.
  18. 1 2 3 "Documentation - Network and interconnect". docs.lumi-supercomputer.eu (inglise). Vaadatud 4. mail 2025.
  19. ↑ "Documentation - GPU nodes - LUMI-G". docs.lumi-supercomputer.eu (inglise). Vaadatud 30. aprillil 2025.
  20. ↑ anni.jakobsson@csc.fi (21. oktoober 2020). "One of the world's mightiest supercomputers, LUMI, will lift European research and competitiveness to a new level and promotes green transition". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  21. ↑ "Results". hpl-mxp.org. Vaadatud 30. aprillil 2025.
  22. ↑ "November 2024 HPCG Results". www.hpcg-benchmark.org. Vaadatud 30. aprillil 2025.[alaline kõdulink]
  23. ↑ "June 2022 | TOP500". top500.org. Vaadatud 30. aprillil 2025.
  24. ↑ "Resource allocation". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  25. ↑ Center, UTHPC. "What We Do". UTHPC Center (inglise). Originaali arhiivikoopia seisuga 7. oktoober 2024. Vaadatud 30. aprillil 2025.
  26. ↑ Center, UTHPC. "LUMI". UTHPC Center (inglise). Vaadatud 30. aprillil 2025.
  27. ↑ "Welcome to TalTech HPC User Guides! - TalTech HPC User Guides". docs.hpc.taltech.ee. Vaadatud 30. aprillil 2025.
  28. 1 2 anni.jakobsson@csc.fi (2. aprill 2025). "LUMI AI Factory empowering European startups and SMEs to unlock AI's full potential". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  29. ↑ "LUMI AI Factory". LUMI (Ameerika inglise). Vaadatud 30. aprillil 2025.
  30. ↑ s.r.o, NETservis. "LUMI-Q consortium: quantum computer". IT4Innovations. Vaadatud 30. aprillil 2025.