High Bandwidth Memory

Schnitt durch eine Grafikkarte mit High Bandwidth Memory: Jeder HBM-Stapel ist über 1024 Daten-Leitungen (sowie Adress- und Steuerleitungen) mit dem HBM-Controller verbunden, der sich in der GPU befindet.

High Bandwidth Memory (engl. kurz: HBM, deutsch Speicher mit hoher Bandbreite) ist ein von AMD zusammen mit SK Hynix entwickeltes breitbandiges Interface, um größere Mengen dynamischen Arbeitsspeichers (8 bis 64 GByte) auf Chipebene mit hoher Übertragungsrate an Grafik- oder Hauptprozessoren anzubinden.

Aufbau und Technik

Im Gegensatz zu „normalem“ RAM ist das Interface von HBM wesentlich breiter ausgelegt (1024 bis 2048 bit statt 8 bis 32 bit), die Verbindung findet nicht über Steckverbinder (Hauptspeicher von Computer) oder auf der Hauptleiterplatte statt, sondern über Interposer aus Silizium. Der Abstand der Kontakte liegt bei 40 bis 100 µm und ist damit um den Faktor 5 dichter als der von BGA-Pins „gewöhnlicher“ Schaltkreise. Die Datenrate pro Pin liegt im Bereich von normalem Arbeitsspeicher und ist langsamer als die von Grafikkartenspeichern. Die hohe Datenrate wird über sehr viele Datenpins und gemäßigte Datenraten pro Pin erreicht.

HBM ist eine Speichertechnologie, die es ermöglicht, mehrere Dies übereinander zu stapeln und parallel anzubinden (vgl. 3D-Integration). Die Schnittstelle wird zwischen Speicher und CPUs, GPUs und FPGAs verwendet.

TypReleaseTakt
(GHz)
pro Stack
Interface
 
Kapazität
(GByte)
Datenrate
(GByte/s)
HBM 1Okt. 20130,58× 128 bit4× 1 = 4128
HBM 2Jan. 20161,0…1,28× 1 = 8256…307
HBM 2EAug. 20191,6…1,88× 2 = 16409…461
HBM 3Okt. 20212,8…3,216× 64 bit12× 2 = 24717…819
HBM 3E20234,0…4,816× 3 = 481024…1229
HBM 4Apr. 20254,032× 64 bit16× 4 = 642048

Obwohl diese HBM-Stapel nicht physisch in die CPU oder GPU integriert sind, sind sie dort über den Interposer mit extrem kurzen Leitungswegen schnell angebunden, sodass sich die Eigenschaften des HBM kaum von auf dem Chip integriertem RAM unterscheiden.

Ein HBM-Speicher weist zudem eine geringere Leistungsaufnahme als GDDR5 auf. AMD gibt an, dass HBM mehr als die dreifache Speicherbandbreite pro Watt bietet.

HBM benötigt deutlich weniger Platinenfläche als GDDR5, was vorteilhaft für den Bau von Notebooks oder Tablets mit hoher Grafikleistung sein kann. Die sehr enge Positionierung am Grafikprozessor erlaubt ferner, Grafikchip und RAM mit einem einzigen, relativ kleinen Kühlkörper zu überdecken. Jedoch können vor allem die untenliegenden Dies auch nur eingeschränkt Wärme ableiten.

HBM 1

HBM 1 wurde im Oktober 2013 von der JEDEC als US-Industrie-Standard angenommen.

In der ersten Anwendung wurden 4 DRAM-Module zu je 1 GB gestapelt. Dieser Stapel stellt durch einen sogenannten Interposer eine schnellere Verbindung zur CPU oder GPU her als der bisher als Standard verbaute GDDR5-Speicher. Die Busbreite ist hierbei 1024 Datenleitungen pro Stapel. Der Speicher ist mit 500 MHz getaktet, Daten werden bei steigender und fallender Flanke übertragen (DDR). Bis zu vier dieser HBM-Stapel werden zusammen mit einer CPU oder GPU auf den Interposer gebumpt und diese Gesamt-Einheit mit einer Platine verbunden. Aufgrund der großen Busbreite erreicht der Gesamt-Datendurchsatz ein halbes Terabyte pro Sekunde.

HBM 2

Am 12. Januar 2016 wurde HBM 2 als JESD235a von der JEDEC angenommen.

HBM 2 erlaubt es, bis zu 8 Dies aufeinander zu stapeln, und verdoppelt den Speicherdurchsatz auf bis zu 100 GB/s pro Die-Stapel. Die Größe der Stapelspeicher kann zwischen 1 und 8 GiB liegen. Sowohl SK Hynix als auch Samsung haben 4-GiB-Stapel auf den Markt gebracht.

Verwendung findet HBM2 seit 2016 in Nvidia Tesla- und seit 2017 in Nvidia-Quadro-Grafikkarten, seit Mitte 2017 in der AMD-Radeon-Vega-Serie.

HBM 2E

Vorgestellt am 13. August 2019 verdoppelt sich die maximale Kapazität pro Stapel, die Datenrate erhöht sich um 50 Prozent. Die Speicherhersteller Samsung, SK Hynix und Micron hatten HBM 2E als Zwischenschritt eingeschoben, um die Kapazität zu verdoppeln und die Übertragungsrate ausgehend von 256 GByte/s bei HBM2 zu erhöhen, ohne auf HBM3 warten zu müssen.

HBM 3

HBM3 setzt genauso wie HBM, HBM2 und HBM2e auf 1024 Datenverbindungen pro Stack. Die zusätzliche Geschwindigkeit entsteht durch höhere Transferraten von 6,4 Gbit/s pro Pin. Die schnellsten HBM-2E-Stapel kamen noch auf 3,6 Gbit/s pro Pin beziehungsweise 461 GByte/s je Stack. Die HBM3-Spezifikation ermöglicht jetzt, 12 statt wie bisher maximal 8 SDRAM-Chips zu stapeln; ein Stack überträgt jetzt 819 GByte/s und fasst bis zu 24 GByte. Im Oktober 2021 kündigte SK Hynix den ersten HBM-3-Speicher an.

HBM 3E

Im Mai 2023 wurde HBM3E angekündigt. Die Transferrate beträgt nun 8 Gbit/s. Erste Produkte sollen in der ersten Hälfte 2024 verfügbar sein.

AMD-Fiji-Grafikprozessor: Das Package Substrate trägt mehrere kleine SMDs sowie den Silizium-Interposer. Auf diesem befindet sich die Fiji-GPU sowie vier HBM-Stapel.

HBM 4 und HBM 4E

Im Februar 2026 begann die kommerzielle Auslieferung von HBM 4. Es verdoppelt die Kanalanzahl gegenüber HBM 3 von 16 auf 32, bietet Größen bis 64 GB pro Modul und erreicht bis zu 2 TB/s als Datentransferrate. Im April 2025 veröffentlichte die JEDEC Solid State Technology Association den Standard JESD270-4 für HBM4.

Mit der weiterentwickelten siebten Generation HBM 4E steigt die Datenrate auf bis zu 16 Gbit/s pro Pin (was einer Speicherbandbreite von rund 3,6 bis 4,0 TB/s pro Stapel entspricht) bei einer Kapazität von 48 GB in der 12-Schicht-Konfiguration (zwölf gestapelte 32-Gbit-DRAM-Dies). Nachdem Samsung Electronics Ende Mai 2026 als erster Hersteller mit der Auslieferung von HBM4E-Mustern (Samples) an Kunden begonnen hatte, folgte SK Hynix Mitte Juni 2026 mit eigenen 12-Schicht-Mustern. Bei HBM 4E gewinnt zudem sogenannter Custom HBM an Bedeutung, bei dem kundenspezifische Logik-Blöcke der GPU- und KI-Chip-Hersteller direkt in den untersten Steuerchip (Base Die) des Speicherstapels integriert werden.

Geschichte

Die Entwicklung von HBM begann im Jahr 2008 bei AMD unter der Leitung von Bryan Black und dem Technischen Direktor (CTO) Joe Macri. Hintergrund war der intensive Wettbewerb im Markt für Grafikkarten gegen den Konkurrenten Nvidia: Bei AMD zeichnete sich ab, dass der damals übliche GDDR5-Speicher bei weiter steigenden Datenraten an physikalische Grenzen hinsichtlich der Leistungsaufnahme und des Platzbedarfs auf der Platine stoßen würde. Um diesen Rückstand durch einen technologischen Sprung bei der Speicherbandbreite und Energieeffizienz aufzuholen, initiierte AMD die Entwicklung eines dreidimensional gestapelten Speichers (Die-Stacking mittels Through-Silicon Vias, TSV).

Da AMD selbst keine Speicherchips fertigt, ging das Unternehmen ab 2010 eine Entwicklungspartnerschaft mit dem südkoreanischen Speicherhersteller SK Hynix ein, der bereits an 3D-DRAM-Technologien forschte; für die Entwicklung des komplexen Silizium-Interposers und des 2.5D-Packagings wurden zudem Auftragsfertiger wie UMC, Amkor und ASE eingebunden. Nachdem SK Hynix im Jahr 2013 den ersten HBM-Speicherchip hergestellt hatte, wurde Version 1 offiziell im Oktober 2013 von der JEDEC (als JESD235) verabschiedet, Version 2 im Januar 2016. Erstmals verbaut wurde HBM 1 im Juni 2015 auf den Grafikkarten Radeon R9 Fury, Radeon R9 Fury X und der Radeon R9 Fury Nano der AMD-Radeon-R300-Serie.

Rückzug aus dem Endkundenmarkt und Durchbruch durch KI

Obwohl HBM auf den Grafikkarten der Radeon-Fury-Serie (und ab 2017 mit HBM2 auf der Radeon RX Vega) eine deutlich höhere Speicherbandbreite (512 GB/s gegenüber 336 GB/s bei damaligem GDDR5) und ein kompakteres Platinendesign ermöglichte, war die erste Generation auf 4 GB Gesamtkapazität beschränkt und in der Fertigung aufgrund des zusätzlichen Silizium-Interposers für den preissensiblen Endkundenmarkt (Gaming) zu kostspielig. Während Nvidia und später auch AMD bei regulären Desktop-Grafikkarten wieder vollständig auf die kostengünstigeren planaren Nachfolgestandards GDDR5X, GDDR6 und GDDR6X setzten, blieb HBM jahrelang ein Nischenprodukt für Hochleistungsrechner.

Den entscheidenden Wendepunkt für die Technologie markierte der Einsatz in Rechenzentren und bei Beschleunigerkarten für Künstliche Intelligenz (KI). Nachdem Nvidia ab 2016 (beginnend mit der Tesla P100 auf Basis von HBM2) begonnen hatte, Server-GPUs mit gestapeltem Speicher auszustatten, führte der weltweite Boom rund um große Sprachmodelle (LLMs) und generative KI ab 2022/2023 zu einer explodierenden Nachfrage. Da das Training und der Betrieb moderner KI-Modelle vor allem durch die Geschwindigkeit begrenzt werden, mit der große Datenmengen zwischen Speicher und Rechenkern übertragen werden können (sogenannte Memory Wall), entwickelte sich HBM ab den Generationen HBM3 und HBM3E (u. a. auf Nvidias H100-, H200- und Blackwell-Systemen sowie AMDs Instinct-Serie) zur Schlüsselkomponente der KI-Infrastruktur.

Wettbewerb der Speicherhersteller

Der unerwartet starke Nachfrageschub führte zu erheblichen Marktanteilsverschiebungen unter den drei großen DRAM-Herstellern:

  • SK Hynix: Da das Unternehmen als ursprünglicher Entwicklungspartner von AMD die erste Generation (HBM1) exklusiv gefertigt und seine HBM-Forschung auch während der Nachfrageschwäche Ende der 2010er-Jahre konsequent fortgeführt hatte, stieg SK Hynix ab 2022 zum alleinigen Ausrüster für Nvidias erste HBM3-Generation und zum Weltmarktführer für KI-Speicher auf.
  • Samsung Electronics: Obwohl der langjährige DRAM-Weltmarktführer im Januar 2016 als erstes Unternehmen mit der HBM2-Massenproduktion begonnen hatte, löste Samsung sein dediziertes HBM-Entwicklungsteam im Jahr 2019 auf, da das Management das Marktpotenzial als zu gering einschätzte und Ressourcen in das Logikchip- und Foundry-Geschäft verlagerte. Infolgedessen geriet Samsung beim KI-Boom zunächst durch thermische Probleme und Verzögerungen bei der Nvidia-Qualifizierung von HBM3E ins Hintertreffen, bevor dem Konzern im Februar 2026 mit dem kommerziellen Start der sechsten Generation (HBM4) sowie Ende Mai 2026 mit der branchenweit ersten Auslieferung von HBM4E-Mustern an Großkunden der erneute Anschluss an die Marktspitze gelang.
  • Micron Technology: Der US-amerikanische Hersteller hatte anfangs auf die konkurrierende Technologie Hybrid Memory Cube (HMC) sowie auf GDDR5X gesetzt und stieg erst spät in den HBM-Markt ein, konnte sich ab 2024 jedoch mit energieeffizienten HBM3E- und HBM4-Chips als dritter großer Lieferant etablieren.