HBM-PIM: Stapelspeicher erhält integrierte AI-Engines

Bei Samsungs HBM-PIM werden die Speicherbänke um Recheneinheiten erweitert, was Performance und Effizienz drastisch steigern soll.

Artikel veröffentlicht am ,
HBM-PIM
HBM-PIM (Bild: Samsung)

Samsung hat den HBM-PIM angekündigt, eine spezielle Variante des bekannten HBM2-Stapelspeichers, die um einen AI-Beschleuniger erweitert wurde. Die Abkürzung steht folgerichtig für High Bandwidth Memory with Processing in Memory, was das Prinzip gut beschreibt.

Basis des HBM-PIM ist der ältere HBM2 alias Aquabolt, den Samsung entsprechend angepasst hat: Ein solcher Stack umfasst eigentlich acht 8-GBit-Dies an DRAM, was 8 GByte ergibt. Samsung aber nutzt vier 8-GBit-Dies und vier 4-GBit-Dies, wobei Letztere pro zwei Speicherbänken eine PCU (Programmable Computing Unit) aufweisen. Die laufen mit 300 MHz für 1,2 Teraflops mit FP16-Präzision.

Diese sollen sich für AI-Workloads wie Computer Vision und Objektklassifizierung eignen, weshalb sich verglichen mit regulären Von-Neumann-Lösungen die Performance verdoppeln (2,1x) und die Energieeffizienz um 71 Prozent steigen soll. Ohne PIM müssten die zu berechnenden Daten erst vom HBM2 zum Host-Chip wie einem ASIC oder einer GPU und wieder zurück transportiert werden, was entsprechend Zeit und Strom benötigt. Für PIM seien überdies keine Software-Anpassungen notwendig.

  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
HBM-PIM (Bild: Samsung)

Als Szenarien für HBM-PIM sieht Samsung unter anderem Datacenter, HPC-Systeme (High Performance Computing) und AI-Anwendungen im Mobile-Segment vor. Bisher lässt sich HBM2 einzig mit Host-Prozessoren verbinden, auch bei HBM-PIM ist ein solcher Chip notwendig.

Denkbar wäre daher beispielsweise ein Beschleuniger für AI-Inferencing, welcher neben der selbstgestellten Rechenleistung zusätzlich HBM-PIM verwendet. Solche Co-Prozessoren könnten für latenzkritische Workloads eingesetzt werden, die vergleichsweise wenig Performance erfordern.

Momentaner Stand bei High Bandwidth Memory ist HBM2E: Samsung und SK Hynix bieten Stacks mit 16 GByte Kapazität an, die Geschwindigkeit liegt bei 3,2 GBit/s respektive 3,6 GBit/s. Nvidia verwendet HBM2E für den A100-Beschleuniger mit 80 GByte Speicher.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Intel Core i9-14900KS
Intel ist wahnsinnig geworden - zum Glück!

Um den Core i9-14900KS zur schnellsten Allround-CPU zu machen, hat Intel den Weg der Vernunft scheinbar vollständig verlassen. Doch dahinter stecken gute Neuigkeiten für Intel-Kunden.
Ein IMHO von Martin Böckmann

Intel Core i9-14900KS: Intel ist wahnsinnig geworden - zum Glück!
Artikel
  1. Streaming: Twitch verbietet Popos als Leinwand
    Streaming
    Twitch verbietet Popos als Leinwand

    Auf Hinterteile projizierte Streams sind auf Twitch künftig verboten: Der zu Amazon gehörende Dienst geht gegen einen absurden Trend vor.

  2. Ausländische Fachkräfte: Intel-HR-Manager fordert Willkommenskultur in Magdeburg
    Ausländische Fachkräfte
    Intel-HR-Manager fordert Willkommenskultur in Magdeburg

    Die Politik müsse sich laut Intel bei der Integration von ausländischen Fachkräften mehr anstrengen. Diese könnten sich das Land aussuchen, indem sie arbeiten.

  3. Truth Social: Warum Trumps kleines Netzwerk Milliarden wert wurde
    Truth Social
    Warum Trumps kleines Netzwerk Milliarden wert wurde

    Donald Trumps verlustbringender Twitter-X-Klon Truth Social wird nach seinem Börsengang mit 9 Milliarden US-Dollar bewertet. Es ist eine Spekulationsblase - und eine Investition in eine potenzielle Trump-Präsidentschaft.
    Ein Bericht von Achim Sawall

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    • Daily Deals • Palit 4070 Super 579,95€ • Xbox-Controller ab 39,99€ • AVM Fritzbox + Repeater -30% • DVDs & Blu-rays -31% • EA -75% • Ubisoft -50% • MindStar: AMD Ryzen 9 7900 339€, MSI RTX 4080 Super Ventus 3X OC 1.099€ • Gratis-Zugaben PS5 Slim & Nintendo Switch OLED beim TV-Kauf [Werbung]
    •  /