Machine Learning: Google bringt Mini-TPU zur Modell-Anwendung

Um das Training von Machine-Learning-Modellen so weit wie möglich zu beschleunigen, arbeitet Google an den speziell für seine Cloud erstellten TPUs. Ein vergleichsweise kleiner Ableger dieser Chips soll als Edge-TPU künftig das Inferencing - also das Anwenden der Modelle - in sogenannten Edge-Geräten beschleunigen. Parallel dazu bietet Google den Dienst Cloud-IoT-Edge an, der für eine Verknüpfung weiterer Möglichkeiten zur Datenanalyse und -Verarbeitung in Googles Cloud Platform sorgen soll.

Zwar liegt die Verwendung der Edge-TPUs in Smarthome-Geräten sehr nahe, Google zielt mit seinem Angebot zurzeit aber noch hauptsächlich auf den Unternehmenseinsatz in sogenannten IoT-Gateways. Der Ankündigung zufolge sollen diese etwa in Fabriken, Lokomotiven oder gar in Ölfördertürmen eingesetzt werden. In diesem Umfeld dienen die Edge-TPUs dann sicher nicht für Aufgaben wie zur Spracherkennung, sondern sollen eher die anfallenden Daten verschiedener Sensoren mehr oder weniger in Echtzeit verarbeiten können.

Entwickler-Boards ab Oktober verfügbar

Um die Fähigkeiten der Edge-TPUs zu testen, verspricht Google interessierten Unternehmen und Entwicklern ein Evaluationsboard, das im kommenden Oktober verfügbar sein soll. Dieses besteht einerseits aus einem sogenannten System-on-Module (SOM) mit dem SoC i.MX 8M von NXP, also einem Quadcore-CPU mit ARM Cortex-A53 Kernen, und der GC7000 Grafikeinheit. Genutzt werden können ebenso 1 GByte LPDDR4 Speicher und 8 GByte eMMC-Flashspeicher. Hinzu kommen noch Dual-Band-WLAN und Bluetooth 4.1 und natürlich die Edge-TPU selbst als Coprozessor.

• 

Die Edge-TPU im Entwicklerboard (Bild: Google)

Das SOM lässt sich auf ein Basis-Board stecken, das über eine Vielzahl von Peripherie-Anschlüssen verfügt. Dazu gehören USB-C OTG, USB-C Power, Micro-USB-B, USB-A 3.0, Gigabit-Ethernet, eine Klinkenbuchse, 40-Pin GPIO, HDMI 2.0 sowie FFC-Connectoren für DSI und CSI2. Wem das alles zu viel Hardware ist, der kann wahlweise auch auf den Edge TPU Accelerator zurückgreifen. Dabei handelt es sich um einen kleinen USB-C-Stick mit Edge TPU. Der soll an jeden Linux-Rechner angeschlossen werden können.

Zusätzlich zu NXP arbeitet Google für den Einsatz seiner Edge-TPUs noch mit ARM und den Gatewayherstellern Accton, Harting, Hitachi Vantara, Nexcom und Nokia zusammen. Für Edge-Computing-Technik kooperiert Google darüber hinaus mit Adlink, Kelvin, Olea Edge Analytics, Smart Catch und Trax.

Zum Anwenden der Modelle setzt Google mit Tensorflow Lite auf eine spezielle Variante seines Machine-Learning-Frameworks, das für den Einsatz auf Mobil- und Embedded-Geräten optimiert ist. Die Edge-TPU soll mit Android oder Linux-Systemen genutzt werden können. Wahrscheinlich dient die erst vor kurzem öffentlich vorgestellte Linux-Kernel-Erweiterung Gasket zur Hardware-Unterstützung der Edge-TPU.