Samsung opracowuje „trzystopniową mapę drogową HBM”: w kierunku prawdziwego 3D ZHBM, bezpośrednio łącząc DRAM z chipami obliczeniowymi

Niedawno na konferencji technologicznej Hot Chips Sangwook Han z zespołu projektującego DRAM w Samsung odbył wystąpienie, oficjalnie ujawniając trzyetapową mapę drogową ewolucji HBM firmy Samsung. Punktem docelowym tej mapy jest nowa architektura o nazwie zHBM — bezpośrednie pionowe układanie DRAM na GPU, TPU oraz innych chipach obliczeniowych, całkowicie eliminując warstwę pośredniczącą 2.5D (interposer).

Według serwisu wccftech z 23 sierpnia, Samsung twierdzi, że w porównaniu ze standardowym HBM4E, rozwiązanie zHBM umożliwia zmniejszenie zużycia energii o 70%, zwiększenie przepustowości DRAM o 230% oraz oszczędność 100W na każdym module DRAM, jednocześnie umożliwiając GPU uzyskanie dodatkowej mocy o 8,3%.

Czym jest HBM i gdzie są jego ograniczenia

HBM, czyli High Bandwidth Memory, jest jednym z najważniejszych komponentów pamięciowych w aktualnych systemach do trenowania i inferencji AI. Składa się z dwóch typów chipów:

• C-die (rdzeń chipu): zawiera jednostki DRAM, możliwe jest pionowe układanie do 16 warstw

• B-die (bazowy chip/Base Die): znajduje się na dole całej struktury układanej, odpowiada za obsługę kontroli DRAM i komunikuje się z chipami obliczeniowymi, takimi jak GPU, przez PHY (warstwa fizycznego interfejsu)

Oba typy chipów są połączone przez TSV (Through-Silicon Via, pionowy przewód przez chip).

Według Wccftech, obecny HBM4 osiąga przepustowość ponad 3TB/s na stos, HBM4E przekracza 4TB/s, a HBM5 podwaja przepustowość względem HBM4, przekraczając pojemność 60GB.

Jednak nieustanne zwiększanie przepustowości napotyka dwa twarde ograniczenia: fizyczne limity liczby i odległości TSV oraz maksymalna liczba I/O i prędkość interfejsu PHY w Base Die. Równocześnie różnica procesu technologicznego pomiędzy B-die a chipami obliczeniowymi (xPU SoC) z każdą generacją się zmniejsza — stanowi to zarówno wyzwanie, jak i punkt zaczepienia dla mapy drogowej Samsung.

Etap pierwszy: “Zwolnienie miejsca” dla chipów obliczeniowych

Pierwszy etap mapy drogowej Samsung ma za cel odzyskanie powierzchni krzemowej od xPU (chipów obliczeniowych).

Samsung wykorzystuje już proces D1c oraz 4nm w produkcji Base Die (B-die) dla HBM4, głównie w celu zmniejszenia zużycia energii i rozmiaru efektywnego. To początek rzeczywistej integracji DRAM ze zaawansowanymi procesami logicznymi.

Konkretne działania obejmują:

• Zastąpienie tradycyjnego HBM PHY interfejsem D2D, skrócenie kanału, bezpośrednią poprawę efektywności energetycznej oraz zwolnienie cennej powierzchni układu XPU

• Delegowanie kontrolera pamięci z XPU do B-die w cHBM, przewidując uwolnienie od 5% do 10% powierzchni XPU, co przekłada się na wzrost wydajności o 10% do 20%

• Wprowadzenie drobnoziarnistego mechanizmu naprawy komórek opartego na SRAM (Near-MC SRAM-Based Cell Repair), wykorzystującego wolną przestrzeń na B-die dla zasobów naprawczych SRAM

Skutkiem ubocznym zmniejszenia powierzchni jest problem gorących punktów. Samsung wprowadził technologię Heat Path Block (HPB), opartą o rozwiązanie cHBM4, która potrafi obniżyć szczytową temperaturę o ponad 35%, pokrywając 50% obszaru PHY.

Etap drugi: B-die zaczyna zyskiwać zdolności obliczeniowe

Drugi etap koncentruje się już nie na “zwalnianiu miejsca”, lecz na “dodawaniu funkcjonalności”, Samsung definiuje go jako etap rozszerzania funkcji.

Rozszerzanie pojemności pamięci. Wraz z gwałtownym wzrostem kontekstowych okien dużych modeli AI rośnie potrzeba na pamięć dla cache KV (Key-Value Cache, obszar pamięci przechowujący stan pośredni podczas inferencji modelu). Samsung planuje integrować kontrolery pamięci i PHY na wolnej powierzchni Base Die, by poprzez dołączanie LPDDR lub HBM poszerzać dostępne zasoby pamięci systemowej.

Integracja jednostek obliczeniowych (PE). Samsung przewiduje integrację części jednostek obliczeniowych (Processing Elements) na Base Die, umożliwiając przeniesienie części obliczeń, które wcześniej wykonywały się na xPU, na stronę pamięci. Powoduje to redukcję zapotrzebowania na przepustowość D2D, ograniczenie zużycia energii i obciążenia termicznego. Takie rozwiązanie nazywane jest AHBM (Advanced HBM, zaawansowana pamięć o wysokiej przepustowości).

Wzmocnienie niezawodności i zdolności testowania. Etap drugi zakłada także integrację zaawansowanych sensorów RAS (Reliability, Availability, Serviceability – niezawodność, dostępność i serwisowalność) na Base Die oraz funkcji telemetrycznych w czasie rzeczywistym i mechanizmów samo-testujących (ATIP), podnosząc jakość i pokrycie testów.

Etap trzeci: zHBM — eliminacja warstwy pośredniej, DRAM bezpośrednio na chipie obliczeniowym

Trzeci etap to docelowa forma całej mapy drogowej: zHBM.

Obecnie dominujące systemy AI stosują architekturę opakowania 2.5D, gdzie GPU i HBM leżą obok siebie na tej samej warstwie pośredniej (interposer) i przesyłają dane przez połączenia poziome. Idea zHBM to “pionizacja” tej struktury — DRAM układane bezpośrednio na chipie xPU, tworząc prawdziwą 3D pionową integrację.

Kluczowe cechy zHBM według Samsunga:

• Rozproszone I/O: minimalizacja dystansu przesyłu danych w stosie HBM

• Struktura 3D: eliminacja tradycyjnych interfejsów 2D, znaczący wzrost efektywności systemu

• Cel zużycia energii I/O około 0.5 pJ/bit: realizowane poprzez wyeliminowanie zbędnych modułów jak SerDes

• Zwiększenie przepustowości ponad 2.3 razy, dodatkowa wydajność termiczna systemu 100W

Samsung prezentuje rozwiązanie z czterema stosami zHBM ułożonymi na jednym chipie XPU.

By osiągnąć te cele, Samsung rozwija kluczowe technologie opakowania: WoW (Wafer on Wafer) i HCB (Hybrid Cube Bonding) dla uzyskania ultra-wysokiej gęstości I/O, finalnie budując zintegrowany system projektowy SoC-DRAM.

Kluczowa logika mapy drogowej

Kluczowy przekaz wykładu Samsung polega na redefinicji Base Die HBM — z "pasywnego przekaźnika danych" na "inteligentnego partnera z aktywnymi zdolnościami obliczeniowymi".

Logika rozwoju w trzech etapach jest jasna: najpierw zmiana procesu technologicznego pozwalająca na redukcję rozmiaru i zwolnienie miejsca dla xPU (etap pierwszy); potem integracja dodatkowych funkcji, rozszerzenie pojemności i zdolności obliczeniowych (etap drugi); w końcu całkowita rekonstrukcja architektury systemu przez pionową integrację 3D, z równoczesnym przełamaniem ograniczeń w zakresie energii, przepustowości i zarządzania termicznego (etap trzeci).

Samsung podsumował: "Dzięki zaawansowanym technologiom opakowania i zintegrowanej współpracy projektowej SoC-DRAM, przełamiemy ograniczenia energii, rozmiaru i pojemności hamujące systemy AI i utorujemy drogę do wyższej efektywności, wydajności i skalowalności w kolejnych latach."