Maschinelles Lernen: Adobe Scribbler färbt Schwarz-Weiß-Skizzen automatisch ein

Adobe hat auf der firmeneigenen Konferenz MAX das Machine-Learning-System Project Scribbler vorgestellt. Das System wird in Zusammenarbeit mit der Princeton University und dem Georgia Institute of Technology entwickelt. Es kann handgezeichnete schwarz-weiße Skizzen oder Fotos automatisch einfärben. Auf der Bühne wurde dem Publikum ein erstes funktionierendes Modell gezeigt. Scribbler kann einfache und komplexe Linien erkennen und in einer Art Pastelltönen farbig editieren.

Es wurde dabei beispielsweise ein historisches Foto von Albert Einstein eingefärbt. Das trainierte Machine-Learning-Modell soll dabei Gesichtszüge analysieren und Ethnie und Herkunft von Abgebildeten erraten. Ein offensichtlich orientalisch aussehendes Gesicht bekommt einen etwas dunkleren Hautton und eine dunklere Haarfarbe. Anhand der Dichte von hellen Tönen im Haar erkennt die AI beispielsweise auch blonde Haare. Auch das Geschlecht wird vom Modell erraten, sodass Farben entsprechend angewendet werden können.

Mehrere Referenzbilder zur Erkennung von Ethnien und Geschlechtern

Um das Modell zu trainieren, wurden dazu mehrere Referenzbilder herangezogen, anhand derer es Schlüsse ziehen konnte. Folglich entstehen dadurch eher klischeehafte Darstellungen von Menschen. Außerdem sind alle Motive in sehr weichen und leicht blassen Tönen gehalten, sodass eine Art Ölfarbeneffekt entsteht.

• 

Erste Ergebnisse von Project Scribbler (Bild: Adobe)

Allerdings ist Scribbler auch auf Objekte oder Hintergrundszenen anwendbar. Wenn ein Quellbild bereits Farben angedeutet hat, etwa wenn einem Charakter grüne statt braune Augen eingezeichnet werden, berücksichtigt die Software diese Farben in der automatischen Kolorierung. Auch Texturen können eingefügt und dann vom Algorithmus auf entsprechende Flächen aufgezogen werden. So wurde beispielsweise ein detailliertes Bild einer zweifarbigen Ledertasche erzeugt.

Noch befindet sich das Projekt in einer experimentellen Phase, und es ist unklar, ob und in welchem Umfang Scribbler für die Adobe Creative Cloud eingesetzt wird. Vorstellbar wäre eine Art Filter, der schnelle Skizzen einfärbt. Das könnte Concept Artists direkt beim Kunden viel Zeit sparen.