Gesichter mit natürlicher Mimik aus dem Computer

Das menschliche Gesicht ist äußerst komplex, 52 Muskeln erzeugen eine nahezu unendliche Anzahl an Gesichtsausdrücken. Dies mit Computergrafik nachzuemfinden, ist äußerst schwierig, da schon kleine Abweichungen ein Gesicht unnatürlich wirken lassen. Ein Forscherteam von Microsoft Research Asia um Xin Tong stellt auf der Konferenz Siggraph 2011 ein System vor, mit dem sich die Mimik menschlicher Gesichter mit sehr hohem Detailgrad erfassen und auf virtuelle Gesichter übertragen lässt.

• 

Neues System soll die Mimik menschlicher Gesichter nachbilden.

Das von Xin Tong, Haoda Huang und Hsiang-Tao Wu von Microsoft Research sowie Jinxiang Chai von der Universität Texas A&M entwickelte System erzeugt hochauflösende 3D-Bilder menschlicher Gesichter, die nicht nur grobe Ausdrucksformen, sondern auch Feinheiten wie Runzeln und Falten sowie Bewegungen der Haut enthalten. Ähnlich wie bei aktuell verwendeten Systemen, nutzen die Microsoft-Forscher kleine reflektierende Markierungen, die auf das Gesicht geklebt werden, und kombinieren diese mit hochauflösenden Aufnahmen eins 3D-Scanners. So wollen sie die Vorteile der beiden Ansätze kombinieren: Die Erfassung von Bewegungen und hohen Detailgrad.

Auf den Gesichtern der Testkandidaten wurden 100 reflektierende Punkte angebracht, um Bewegungen im Gesicht zu erfassen. Anschließend wurde eine Serie von Gesichtsausdrücken per Video aufgezeichnet, um grobe Daten zur Veränderungen des Gesichts zu erfassen. Anschließen verwendeten die Forscher einen Laser-Scanner, um ein hochauflösende Aufnahme des Gesichts anzufertigen.

Neuer Algorithmus verknüpft Daten

Mit einem neuen Algorithmus wurden die Daten der beiden Erfassungsmethoden miteinander kombiniert, was sich als sehr schwierig herausstellte: Geometrische Details, die in einem Scan enthalten waren, fehlten in einem anderen. Zudem führten kleinste Abweichungen dazu, dass ein Gesicht unnatürlich wirkte, weil beispielsweise eine Falte manchmal sichtbar war und plötzlich verschwand.

Forscher Tong gibt sich überzeugt, dass die Technik großen Einfluss haben wird, beispielsweise in der Film- und Videospieleindustrie, die damit viel natürlichere Charaktere im Computer erschaffen können, als dies heute möglich ist. Zudem sei denkbar, dass mit der Technik realistische Computer-Avatare generiert werden können, die die vorberechneten Avatare in Geräten wie der Xbox 360 ersetzen. Die Charaktere wären zwar virtuell, ihre Mimik aber echt. Nützlich sei dies beispielsweise für Telefonkonferenzen.

Noch aber sei viel zu tun, so Tong: Derzeit können die Forschern Augen- und Lippenbewegung noch nicht miteinander synchronisieren. Zudem benötige es eine großen Rechenleistung und einige Stunden, um alle notwendigen Bilder zu verarbeiten. Tongs Ziel ist es aber, dies in Echtzeit zu tun.

Ihre Forschungsergebnisse haben die Forscher um Tong im Aufsatz Leveraging Motion Capture and 3D Scanning for High-fidelity Facial Performance Acquisition veröffentlicht.