High Bandwidth Memory

De Fiji-grafische processor van AMD (2015) met in het midden de GPU en aan weerszijden vier HBM-stapels, samen op een interposer

High Bandwidth Memory (HBM, letterlijk geheugen met hoge bandbreedte) is een type computergeheugen waarbij meerdere chips met DRAM verticaal op elkaar worden gestapeld en via een zeer brede verbinding direct naast een processor worden geplaatst. Het geheugen is gestandaardiseerd door JEDEC en wordt vooral gebruikt in grafische processors, supercomputers en versnellers voor kunstmatige intelligentie in datacenters.

Geschiedenis

De ontwikkeling van wat later HBM zou heten begon rond 2006–2007 bij ATI. AMD experimenteerde vanaf 2007 met interposers. Vanaf 2010 werkten AMD, SK Hynix en andere bedrijven binnen JEDEC aan een standaard. In oktober 2013 nam JEDEC de eerste HBM-standaard aan onder de naam JESD235. In december 2013 ontwikkelde SK Hynix de eerste HBM-chip.

De eerste videokaart met HBM was de Radeon R9 Fury X van AMD, die in juni 2015 verscheen. De kaart had 4 GB HBM in vier stapels, samen goed voor 512 GB/s.

Door de opkomst van AI-toepassingen zoals grote taalmodellen nam de vraag naar HBM in het midden van de jaren 2020 sterk toe. In het tweede kwartaal van 2025 had SK Hynix volgens marktonderzoeker Counterpoint Research een marktaandeel van 64% (gemeten naar omzet), in het derde kwartaal van dat jaar 57%. De wereldmarkt voor HBM werd voor 2026 geschat op 54,6 miljard dollar. Andere grote producenten zijn Samsung Electronics en Micron Technology. Samsung zette in 2026 naar verluidt meer dan de helft van zijn 4nm-productiecapaciteit in voor HBM4.

Werking

Schematische doorsnede (Engelstalig): de DRAM-lagen en de logicachip van de HBM-stapel staan naast de GPU op een silicium-interposer, die via de behuizing met de printplaat van de videokaart is verbonden

Bij HBM worden meerdere DRAM-chips (dies) verticaal op een onderliggende logicachip gestapeld. De lagen zijn met elkaar verbonden via verticale geleiders door het silicium heen, zogeheten through-silicon vias (TSV's), en zeer kleine soldeerbolletjes (microbumps). De geheugenstapel wordt met de processor verbonden via een interposer: een siliciumlaag waarin de verbindingen tussen geheugen en processor zijn aangebracht.

Het verschil met conventioneel geheugen zoals DDR SDRAM zit vooral in de breedte van de verbinding. Een HBM-stapel van de eerste generatie had acht onafhankelijke kanalen van 128 bit, samen 1024 bit breed, bij een snelheid van 1 Gbit/s per aansluiting. Dit leverde 128 GB/s per stapel op. Door de vele parallelle verbindingen kan per aansluiting een relatief lage snelheid worden gebruikt, terwijl de totale doorvoer toch zeer hoog is. Omdat het geheugen dicht bij de processor zit, zijn de verbindingen bovendien kort.

Generaties

GeneratieStandaard of introductieSnelheid per aansluitingBandbreedte per stapelMaximale capaciteit per stapel
HBMJESD235, oktober 20131 Gbit/s128 GB/s1 GB (4 lagen)
HBM2JESD235A, januari 20162 Gbit/s256 GB/s8 GB (8 lagen)
HBM2Emassaproductie 20203,2 Gbit/s410 GB/s16 GB
HBM3JESD238, januari 20226,4 Gbit/s819 GB/s64 GB (16 lagen)
HBM3Emassaproductie 20249,8 Gbit/sca. 1,25–1,28 TB/s36 GB (12 lagen)
HBM4JESD270-4, april 20258 Gbit/s2 TB/s64 GB (16 lagen)
HBM2
HBM2 verdubbelde de bandbreedte per stapel tot 256 GB/s en ondersteunde stapels van twee, vier of acht lagen met een capaciteit tot 8 GB.
HBM3
HBM3 verdubbelde opnieuw de snelheid per aansluiting en het aantal kanalen per stapel ging van 8 naar 16. In juni 2022 leverde SK Hynix de eerste HBM3-chips aan NVIDIA. De H100 GPU van Nvidia, gebaseerd op de Hopper-architectuur, heeft tot 80 GB HBM3 met een bandbreedte tot 3 TB/s.
HBM3E
HBM3E is een verdere doorontwikkeling van HBM3. SK Hynix begon in maart 2024 met de massaproductie. Samsung ontwikkelde in 2024 een variant met twaalf lagen en een capaciteit van 36 GB.
HBM4
Bij HBM4 werd de verbinding verdubbeld tot 2048 bit per stapel, met 32 kanalen. De standaard ondersteunt stapels van 4, 8, 12 of 16 lagen. SK Hynix rondde de ontwikkeling van HBM4 af in september 2025.

Toepassingen

HBM wordt gebruikt waar een processor zeer grote hoeveelheden gegevens per seconde moet verwerken. Voorbeelden zijn videokaarten, zoals de Radeon R9 Fury X, en rekenversnellers in datacenters. Vooral AI-chips van Nvidia en AMD maken gebruik van HBM.

Zie ook