Cloud AI 100: Qualcomm will Nvidia bei Inferencing schlagen

Bald soll es losgehen: Nachdem Qualcomm die Cloud AI 100 erstmals 2019 vorgestellt hatte, wurden Partner bemustert und nun steht der kommerzielle Start kurz bevor. Die für Inferencing gedachten Beschleuniger eignen sich für 5G-Edge-Systeme sowie Datacenter und sollen die Nvidia-Konkurrenz schlagen.

Die Cloud AI 100 unterteilen sich in drei Modelle: An der Spitze steht eine PCIe-Gen4-x8-Steckkarte für Server, die 75 Watt benötigt und 400 Teraops (INT8) respektive 200 Teraflops (FP16) leisten soll. Hinzu kommen zwei doppelt ausgelegte M.2-Kärtchen mit 15 bis 25 Watt, die zwischen 70 und 200 Teraops erreichen sollen.

Als Konkurrenz hat sich Qualcomm die entsprechenden Nvidia-Beschleuniger in den jeweiligen Segmenten ausgesucht und Benchmarks mit MLPerf Inference durchgeführt. Dort soll die Steckkarte fast die vierfache Durchsatzrate von Nvidias älterer Tesla T4 erreichen und die aktuellen A10/A30-Modelle bei weniger als der halben Leistungsaufnahme schlagen.

Schneller als ältere Modelle

Im Edge-Bereich bis 50 Watt sieht sich Qualcomm mit den DM.2(e)-Ablegern ebenfalls vor Nvidia, da deren Jetson-Xavier-Modelle nur ein Drittel bis die Hälfte an Durchsatz erreichen. Zumindest diese Beschleuniger sind aber von 2019, die Tesla T4 gar von 2018 - wohingegen Qualcomms Cloud AI 100 erst in den nächsten Wochen startet.

• 

Cloud AI 100 für Datacenter und Edge (Bild: Qualcomm)

Zur Technik der Inferencing-Karten hat sich der Hersteller bisher nicht im Detail geäußert, sondern nur allgemein von einem 7-nm-Design gesprochen. Die Cloud AI 100 unterstützen typische Frameworks wie Caffe2, MX-Net, ONNX, Pytorch und Tensorflow.

Zu den ersten Partnern gehört Gigabyte: Der Hersteller zeigte das RG292-Z43, welches mit zwei Epyc 7003 und 16 der Cloud AI 100 ausgerüstet war. Die theoretische Leistung liegt daher bei 6,4 Petaops für Inferencing.