HBM, ausgeschrieben High Bandwidth Memory, ist Arbeitsspeicher, der als Stapel übereinanderliegender Chips unmittelbar neben dem Rechenwerk sitzt und über sehr viele Leitungen gleichzeitig angebunden ist. Gebaut wird er für Beschleuniger, auf denen KI-Modelle rechnen.
- HBM
Gestapelter Arbeitsspeicher, der unmittelbar neben einem KI-Beschleuniger sitzt.
Beispiel: „Ein heutiger Beschleuniger trägt mehrere HBM-Stapel auf demselben Träger wie das Rechenwerk.“Die Stapel sind senkrecht durchkontaktiert. Diese Durchführungen heißen Through-Silicon Vias, kurz TSV, auf Deutsch etwa Silizium-Durchkontaktierungen.
Abgrenzung zum gewöhnlichen Arbeitsspeicher: Der steckt auf Riegeln einige Zentimeter vom Prozessor entfernt. HBM sitzt wenige Millimeter daneben, auf einem gemeinsamen Träger.
Die Generationen werden durchnummeriert. Welche gerade gefertigt wird, steht beim Hersteller; hier steht sie bewusst nicht.
Warum die Bandbreite über die Geschwindigkeit von HBM-Systemen entscheidet
Weil ein KI-Modell aus Gewichten besteht, die für jede Antwort gelesen werden müssen. Gerechnet wird damit nur kurz; den größeren Teil der Zeit wartet das Rechenwerk auf Nachschub.
Was in dieser Lage hilft, ist ein breiterer Weg zum Speicher. Genau das ist der Zweck der Bauform: viele Leitungen nebeneinander, die alle gleichzeitig tragen.
Zusätzliche Rechenleistung bringt dort wenig, wo ohnehin gewartet wird. Dieselbe Überlegung steht hinter Entwürfen, die den Weg zum Speicher ganz aufgeben und die Gewichte fest in den Chip legen.
Wie ein HBM-Stapel gebaut wird
Mehrere Speicherchips werden übereinandergelegt und durch senkrechte Kontakte verbunden. Die tiefen, schmalen Löcher dafür entstehen in Ätzanlagen, wie sie Lam Research baut.
Der fertige Stapel kommt auf einen gemeinsamen Träger neben das Rechenwerk. Gefertigt wird er von Micron, SK hynix und Samsung Electronics.
Warum HBM knapp bleibt
Weil jeder Stapel aus mehreren fehlerfreien Chips bestehen muss. Ein einziger schlechter Chip verdirbt den ganzen Stapel, und der Yield fällt damit niedriger aus als bei einzelnen Speicherbausteinen.
Dazu kommt die Zahl der Anbieter. Drei Unternehmen fertigen diesen Speicher, und wie viel davon entsteht, begrenzt mit, wie viele Beschleuniger überhaupt gebaut werden können.