Cambricon MLU100: Entwickler von Huaweis NPU bringt AI-Beschleuniger
Nach der Integration im Kirin 970 für Huawei-Smartphones hat Cambricon mit dem MLU100 einen selbst entwickelten Beschleuniger für künstliche Intelligenz vorgestellt. Kunden wie Lenovo nutzen den Chip.
Cambricon hat den MLU100-Chip und eine darauf basierende Beschleunigerkarte für Machine Learning veröffentlicht. Wer das chinesische Startup nicht kennt: Es ist der Entwickler der NPU (Neural Processing Unit alias Cambricon-1A) genannten AI-Hardware im Kirin 970, dem aktuellen Smartphone-SoC von Huawei, die ebenfalls aus China kommt. Die Ankündigung des MLU100 erfolgte bereits Anfang Mai 2018, mittlerweile hat Cambricon aber weitere Details online gestellt, wie Wikichip berichtet.
Der MLU100 wird in einem 16-nm-Verfahren bei der TSMC hergestellt, die Abkürzung steht schlicht für Machine Learning Unit. Technische Basis ist die MLUv01-Architektur wie schon beim Cambricon-1A, allerdings mit mehr Recheneinheiten und höherem Takt. Der Chip weist ein PCIe-Gen3-x16-Interface zum Host-System auf, per 256-Bit-Bus für eine Datentransferrate von 102 GByte pro Sekunde sind 16 GByte DDR4-3200 oder 32 GByte DDR4-3200 angebunden.
Auf einer Beschleunigerkarte eingesetzt läuft der MLU100 im Balanced Mode mit 1 GHz bei 80 Watt und im High Performance Mode mit 1,3 GHz bei 110 Watt. Bei halber Gleitkomma-Genauigkeit (FP16) reicht das für 64 Teraflops und für 83 Teraflops sowie bei 8 Bit Integer für 128 Teraops und 166 Teraops. Zum Vergleich: Nvidias Tesla P4 mit 75 Watt kommt auf 192 GByte/s und 22 Teraops bei 8 Bit Integer. Die Karte hat keine Unterstützung für das FP16-Format. Der MLU100 wird per Neuware-SDK angesprochen, welches typische Frameworks wie Apaches MX-Net, Berkeleys Caffe und Googles Android NN sowie Tensorflow unterstützt. Lenovo will die MLU100-Beschleunigerkarten in den eigenen SR650-Servern nutzen.
Neben dem MLU100 arbeitet Cambricon am MLU200, einem Chip für Training statt für Inferencing. Zudem ist mit Cambricon-1M eine weitere IP für Smarphones gedacht. Sie ist für das 7-nm-Verfahren ausgelegt und dürfte im Kirin 980 von Huawei stecken. Cambricon gibt 2 bis 8 Teraops (INT8) bei 5 Teraops pro Watt an, die Cambricon-1A in der NPU-Implementierung schafft nicht vergleichbare 2 Teraflops (PF16) - also wohl 4 Teraops (INT8).