Desktop-Supercomputer aus 13 GPUs mit 1,2 Kilowatt

Die Forschungsgruppe "ASTRA" (All Scale Tomographic Reconstruction Antwerp) der Universität von Antwerpen beschäftigt sich seit einigen Jahren mit der Entwicklung von vergleichsweise einfachen Rechenmodellen für Computertomographie. Die Software für die riesigen Tomographie-Maschinen wird in der Regel von den Herstellern der Geräte geliefert und hält oft mit dem Stand der Technik bei Hardware nicht mit.

Statt eines im Jahr 2005 angeschafften Clusters aus 512 Single-Core-Opterons verwendet das Team seit 2008 seinen GPU-Supercomputer Fastra, der mit acht GPUs schon schneller als der Opteron-Cluster war. Das neue Modell Fastra II mit 12 rechnenden GPUs ist nun dreimal schneller als der erste Fastra.

Die Wissenschaftler verwendeten dafür das Mainboard P6T7 von Asus für Core-i7-CPUs, das mit seinem X58-Chipsatz und zwei zusätzlichen PCI-Express-Switches vom Typ NF200 von Nvidia insgesamt sieben x16-Slots für PCIe-Grafikkarten zur Verfügung stellt. In diesen stecken sechs GTX-295 für die Berechnungen und eine GTX-275, die für die Bildausgabe zuständig ist. Da bereits früh im Jahr 2009 mit dem Bau begonnen wurde, kommen vier GTX-295 der ersten Generation mit zwei Platinen zum Einsatz sowie zwei neuere Modelle, bei denen die beiden GPUs auf einer Platine sitzen.

Als erstmals sechs Grafikkarten im Rechner steckten, stießen die Forscher auf ein recht ungewöhnliches Problem: Nur acht bis neun der 12 GPUs waren vom Betriebssystem, einem 64-Bit-Linux, auch ansprechbar. Der Grund ist das 32-bittige BIOS des Mainboards: Es kann PCIe-Devices nur in den Adressraum unter 4 GByte einblenden, so dass für die sechs Karten schlicht zu wenig Speicher zur Verfügung stand.

Wie die Antwerpener auf einer eigenen Seite dokumentieren, braucht jede der GPUs je einen Block von 16, 32, und 256 MByte im 4-GByte-Adressraum, für 12 GPUs also schon 3.648 MByte, andere PCI-Devices nicht mitgerechnet. Da das Projekt von Asus unterstützt wurde, erstellte der Hardwarehersteller ein eigenes BIOS, das nur eine einzige Grafikkarte initialisierte, nämlich die GTX-275. Die GTX-295 lässt dieses BIOS aus, deren Adressräume stellten die Forscher dem Linux über Änderungen am Kernel jenseits der 4-GByte-Grenze für die 256-MByte-Blöcke zur Verfügung, die kleineren Bereiche passten noch unterhalb 4 GByte.