Colossus MK2 GC200: Graphcore will Nvidias A100 schlagen

Graphcore hat bekannt gegeben, dass der Colossus MK2 GC200 ausgeliefert wird, und pünktlich zur Verfügbarkeit allerhand Benchmarks des AI-Beschleunigers veröffentlicht: Geht es um künstliche Intelligenz, so soll der Colossus-Chip den A100 von Nvidia locker überholen, teils gar um mehrere Faktoren.

Für einige der Messungen nutzt Graphcore den IPU-Pod64 mit 16 Einschüben, wovon jedes 1U-Blade mit vier Colossus MK2 GC200 ausgestattet ist. Als Vergleich wird Nvidias DGX-A100 in einzelner oder doppelter Form herangezogen, sogar in der aktuellen Version mit dem A100 mit 80 GByte Videospeicher statt nur der Hälfte davon. Die meisten Benchmarks hingegen positionieren einen einzelnen Colossus MK2 GC200 gegen einen einzelnen A100-Beschleuiger.

Bei Natural Language Processing mit BERT soll der Durchsatz beim Training um den Faktor 5,3x höher und beim Inferencing noch 3,4-fach höher ausfallen. Bei Computer Vision per Resnet-50 Training sieht sich Graphcore um den Faktor 2,6 vorne und bei Resnet-50 Inferencing soll die Leistung 4,6-fach höher sein. Auch die Image Classification per Resnext-101 läuft laut Graphcore signifikant schneller: Bei Training sei es Faktor 3,7x und das Inferencing würde gar mit 40-fachem Durchsatz und nur einem Zehntel der Latenz erfolgen.

• 

Colossus MK2 GC200 gegen Nvidias A100 (Bild: Graphcore)

An dieser Stelle sei jedoch erwähnt, dass die Colossus MK2 GC200 mit 823 mm² gigantische Chips sind, die einen mit 900 MByte wahnwitzig großen SRAM enthalten, um Daten lokal vorzuhalten - dagegen nehmen sich die 48 MByte an L2 bei Nvidias A100 geradezu winzig aus. Mit 59,4 Milliarden statt 54 Milliarden Transistoren und ebenfalls der N7-Fertigung von TSMC weisen beide Designs zwar große Ähnlichkeiten auf, der interne Aufbau aber unterscheidet sich drastisch und damit auch die Performance. Denn auch Nvidias A100 dürfte gewisse AI-Benchmarks für sich entscheiden, die zeigt Graphcore aber nicht.