PixelNN: Mit Machine Learning unscharfe Bilder erkennbar machen

Drei Forscher an der Carnegie Mellon University im US-Bundesstaat Pennsylvania haben einen Bilderkennungsalgorithmus entwickelt, der aus verpixelten, verwaschenen oder unvollständigen Aufnahmen ein klares Bild rekonstruiert. Die Forscher Aayush Bansal, Yaser Sheikh und Deva Ramanan stellen das Projekt PixelNN auf einer entsprechenden Seite vor.

• 

PixelNN vergleicht sich mit Pix-to-Pix. (Bild: cs.cmu.edu/~aayushb)

Der Machine-Learning-Algorithmus nutzt ein Convolutional Neural Network (CNN), um Quellmotive schrittweise zu filtern und schließlich in mehrere mögliche Ausgaben zu wandeln. Das Modell verwendet einen Nearest-Neighbor-Ansatz, um zu Ergebnissen zu kommen. Bei diesem berechnet der Algorithmus Wahrscheinlichkeiten anhand der benachbarten Knoten - in diesem Fall Bildpixel. Danach springt das Programm zum nächstgelegenen Knoten und wiederholt den Vorgang rekursiv.

Software, die ähnliche Ergebnisse erreichen soll, gibt es bereits. Laut den Entwicklern seien jedoch zwei Punkte bei Alternativen nicht gegeben: Zum einen kann PixelNN viele verschiedene Ergebnisse gleichzeitig ausgeben. Das sei bei anderen Algorithmen - etwa Pix-to-Pix - nicht der Fall. Zum anderen seien Ergebnisse anderer Algorithmen nicht interpretierbar.

Unschärfemasken in Google Street View rückgängig machen

Bisher funktioniert PixelNN auf Motiven wie Katzen, Hunden, menschlichen Gesichtern und einigen Modestücken. Das Team zeigt Schuhe und Handtaschen. Bilder können aus mehreren Szenarien rekonstruiert werden. Die Quelle kann einfach nur unscharf oder niedrigpixelig sein oder nur die Konturen zeigen. Auch generelle Bildfehler und fehlende Informationen sollen rekonstruiert werden können.

• 

Auch Gegenstände werden berechnet. (Bild: cs.cmu.edu/~aayushb)

In Beispielen zeigt das Entwicklerteam auch erste Ergebnisse des Algorithmus, die dem Originalbild relativ ähnlich sehen. PixelNN könnte dadurch eventuell Material von Videokameras oder fehlerhafte Fotos verbessern. Aber auch gewollte Unschärfemasken könnten in der Theorie so entfernt werden. Eine solche Technik nutzt etwa Google Street View, um die Identitäten von Passanten zu schützen.