High Bandwidth Memory (engl. kurz: HBM, deutsch Speicher mit hoher Bandbreite) ist ein von AMD zusammen mit SK Hynix entwickeltes breitbandiges Interface, um größere Mengen dynamischen Arbeitsspeichers (8 bis 64 GByte) auf Chipebene mit hoher Übertragungsrate an Grafik- oder Hauptprozessoren anzubinden.
Im Gegensatz zu „normalem“ RAM ist das Interface von HBM wesentlich breiter ausgelegt (1024...2048 bit statt 8...32 bit), die Verbindung findet nicht über Steckverbinder (Hauptspeicher von Computer) oder auf der Hauptleiterplatte statt, sondern über Interposer aus Silizium. Der Abstand der Kontakte liegt bei 40 bis 100 µm und ist damit um den Faktor 5 dichter als der von BGA-Pins „gewöhnlicher“ Schaltkreise. Die Datenrate pro Pin liegt im Bereich von normalem Arbeitsspeicher und ist langsamer als die von Grafikkartenspeichern. Die hohe Datenrate wird über sehr viele Datenpins und gemäßigte Datenraten pro Pin erreicht.
HBM ist eine Speichertechnologie, die es ermöglicht, mehrere Dies übereinander zu stapeln und parallel anzubinden (vgl. 3D-Integration). Die Schnittstelle wird zwischen Speicher und CPUs, GPUs und FPGAs verwendet.
| Typ | Release | Takt (GHz) | pro Stack | ||
|---|---|---|---|---|---|
| Interface | Kapazität (GByte) | Datenrate (GByte/s) | |||
| HBM 1 | Okt. 2013 | 0,5 | 8× 128 bit | 4× 1 = 4 | 128 |
| HBM 2 | Jan. 2016 | 1,0…1,2 | 8× 1 = 8 | 256…307 | |
| HBM 2E | Aug. 2019 | 1,6…1,8 | 8× 2 = 16 | 409…461 | |
| HBM 3 | Okt. 2021 | 2,8…3,2 | 16× 64 bit | 12× 2 = 24 | 717…819 |
| HBM 3E | 2023 | 4,0…4,8 | 16× 3 = 48 | 1024…1229 | |
| HBM 4 | Apr. 2025 | 4,0 | 32× 64 bit | 16× 4 = 64 | 2048 |
Obwohl diese HBM-Stapel nicht physisch in die CPU oder GPU integriert sind, sind sie dort über den Interposer mit extrem kurzen Leitungswegen schnell angebunden, sodass sich die Eigenschaften des HBM kaum von auf dem Chip integriertem RAM unterscheiden.
Ein HBM-Speicher weist zudem eine geringere Leistungsaufnahme als GDDR5 auf. AMD gibt an, dass HBM mehr als die dreifache Speicherbandbreite pro Watt bietet.
HBM benötigt deutlich weniger Platinenfläche als GDDR5, was vorteilhaft für den Bau von Notebooks oder Tablets mit hoher Grafikleistung sein kann. Die sehr enge Positionierung am Grafikprozessor erlaubt ferner, Grafikchip und RAM mit einem einzigen, relativ kleinen Kühlkörper zu überdecken. Jedoch können vor allem die untenliegenden Dies auch nur eingeschränkt Wärme ableiten.
HBM 1 wurde im Oktober 2013 von der JEDEC als US-Industrie-Standard angenommen.
In der ersten Anwendung wurden 4 DRAM-Module zu je 1 GB gestapelt. Dieser Stapel stellt durch einen sogenannten Interposer eine schnellere Verbindung zur CPU oder GPU her als der bisher als Standard verbaute GDDR5-Speicher. Die Busbreite ist hierbei 1024 Datenleitungen pro Stapel. Der Speicher ist mit 500 MHz getaktet, Daten werden bei steigender und fallender Flanke übertragen (DDR). Bis zu vier dieser HBM-Stapel werden zusammen mit einer CPU oder GPU auf den Interposer gebumpt und diese Gesamt-Einheit mit einer Platine verbunden. Aufgrund der großen Busbreite erreicht der Gesamt-Datendurchsatz ein halbes Terabyte pro Sekunde.
Am 12. Januar 2016 wurde HBM 2 als JESD235a von der JEDEC angenommen.
HBM 2 erlaubt es, bis zu 8 Dies aufeinander zu stapeln, und verdoppelt den Speicherdurchsatz auf bis zu 100 GB/s pro Die-Stapel. Die Größe der Stapelspeicher kann zwischen 1 und 8 GiB liegen. Sowohl SK Hynix als auch Samsung haben 4-GiB-Stapel auf den Markt gebracht.
Verwendung findet HBM2 seit 2016 in Nvidia Tesla- und seit 2017 in Nvidia-Quadro-Grafikkarten, seit Mitte 2017 in der AMD-Radeon-Vega-Serie.
Vorgestellt am 13. August 2019 verdoppelt sich die maximale Kapazität pro Stapel, die Datenrate erhöht sich um 50 Prozent. Die Speicherhersteller Samsung, SK Hynix und Micron hatten HBM 2E als Zwischenschritt eingeschoben, um die Kapazität zu verdoppeln und die Übertragungsrate ausgehend von 256 GByte/s bei HBM2 zu erhöhen, ohne auf HBM3 warten zu müssen.
HBM3 setzt genauso wie HBM, HBM2 und HBM2e auf 1024 Datenverbindungen pro Stack. Die zusätzliche Geschwindigkeit entsteht durch höhere Transferraten von 6,4 Gbit/s pro Pin. Die schnellsten HBM-2E-Stapel kamen noch auf 3,6 Gbit/s pro Pin beziehungsweise 461 GByte/s je Stack. Die HBM3-Spezifikation ermöglicht jetzt, 12 statt wie bisher maximal 8 SDRAM-Chips zu stapeln; ein Stack überträgt jetzt 819 GByte/s und fasst bis zu 24 GByte. Im Oktober 2021 kündigte SK Hynix den ersten HBM-3-Speicher an.
Im Mai 2023 wurde HBM3E angekündigt. Die Transferrate beträgt nun 8 Gbit/s. Erste Produkte sollen in der ersten Hälfte 2024 verfügbar sein.
Im Februar 2026 begann die kommerzielle Auslieferung von HBM 4. Es verdoppelt die Kanalanzahl gegenüber HBM 3 von 16 auf 32, bietet Größen bis 64 GB pro Modul und erreicht bis zu 2 TB/s als Datentransferrate. Im April 2025 veröffentlichte die JEDEC Solid State Technology Association den Standard JESD270-4 für HBM4.
Mit der weiterentwickelten siebten Generation HBM 4E steigt die Datenrate auf bis zu 16 Gbit/s pro Pin (was einer Speicherbandbreite von rund 3,6 bis 4,0 TB/s pro Stapel entspricht) bei einer Kapazität von 48 GB in der 12-Schicht-Konfiguration (zwölf gestapelte 32-Gbit-DRAM-Dies). Nachdem Samsung Electronics Ende Mai 2026 als erster Hersteller mit der Auslieferung von HBM4E-Mustern (Samples) an Kunden begonnen hatte, folgte SK Hynix Mitte Juni 2026 mit eigenen 12-Schicht-Mustern. Bei HBM 4E gewinnt zudem sogenannter Custom HBM an Bedeutung, bei dem kundenspezifische Logik-Blöcke der GPU- und KI-Chip-Hersteller direkt in den untersten Steuerchip (Base Die) des Speicherstapels integriert werden.
Die Entwicklung von HBM begann im Jahr 2008 bei AMD unter der Leitung von Bryan Black und dem Technischen Direktor (CTO) Joe Macri. Hintergrund war der intensive Wettbewerb im Markt für Grafikkarten gegen den Konkurrenten Nvidia: Bei AMD zeichnete sich ab, dass der damals übliche GDDR5-Speicher bei weiter steigenden Datenraten an physikalische Grenzen hinsichtlich der Leistungsaufnahme und des Platzbedarfs auf der Platine stoßen würde. Um diesen Rückstand durch einen technologischen Sprung bei der Speicherbandbreite und Energieeffizienz aufzuholen, initiierte AMD die Entwicklung eines dreidimensional gestapelten Speichers (Die-Stacking mittels Through-Silicon Vias, TSV).
Da AMD selbst keine Speicherchips fertigt, ging das Unternehmen ab 2010 eine Entwicklungspartnerschaft mit dem südkoreanischen Speicherhersteller SK Hynix ein, der bereits an 3D-DRAM-Technologien forschte; für die Entwicklung des komplexen Silizium-Interposers und des 2.5D-Packagings wurden zudem Auftragsfertiger wie UMC, Amkor und ASE eingebunden. Nachdem SK Hynix im Jahr 2013 den ersten HBM-Speicherchip hergestellt hatte, wurde Version 1 offiziell im Oktober 2013 von der JEDEC (als JESD235) verabschiedet, Version 2 im Januar 2016. Erstmals verbaut wurde HBM 1 im Juni 2015 auf den Grafikkarten Radeon R9 Fury, Radeon R9 Fury X und der Radeon R9 Fury Nano der AMD-Radeon-R300-Serie.
Obwohl HBM auf den Grafikkarten der Radeon-Fury-Serie (und ab 2017 mit HBM2 auf der Radeon RX Vega) eine deutlich höhere Speicherbandbreite (512 GB/s gegenüber 336 GB/s bei damaligem GDDR5) und ein kompakteres Platinendesign ermöglichte, war die erste Generation auf 4 GB Gesamtkapazität beschränkt und in der Fertigung aufgrund des zusätzlichen Silizium-Interposers für den preissensiblen Endkundenmarkt (Gaming) zu kostspielig. Während Nvidia und später auch AMD bei regulären Desktop-Grafikkarten wieder vollständig auf die kostengünstigeren planaren Nachfolgestandards GDDR5X, GDDR6 und GDDR6X setzten, blieb HBM jahrelang ein Nischenprodukt für Hochleistungsrechner.
Den entscheidenden Wendepunkt für die Technologie markierte der Einsatz in Rechenzentren und bei Beschleunigerkarten für Künstliche Intelligenz (KI). Nachdem Nvidia ab 2016 (beginnend mit der Tesla P100 auf Basis von HBM2) begonnen hatte, Server-GPUs mit gestapeltem Speicher auszustatten, führte der weltweite Boom rund um große Sprachmodelle (LLMs) und generative KI ab 2022/2023 zu einer explodierenden Nachfrage. Da das Training und der Betrieb moderner KI-Modelle vor allem durch die Geschwindigkeit begrenzt werden, mit der große Datenmengen zwischen Speicher und Rechenkern übertragen werden können (sogenannte Memory Wall), entwickelte sich HBM ab den Generationen HBM3 und HBM3E (u. a. auf Nvidias H100-, H200- und Blackwell-Systemen sowie AMDs Instinct-Serie) zur Schlüsselkomponente der KI-Infrastruktur.
Der unerwartet starke Nachfrageschub führte zu erheblichen Marktanteilsverschiebungen unter den drei großen DRAM-Herstellern: