Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality

Oculus Rift und Google Glass sind erst der Anfang, Eye Tracking zur Erfassung der Sehgrube, 3D-Sound und Gestenerkennung die nächsten Schritte. Head-mounted Displays nähern sich so den Augmented-Reality-Brillen wie Microsofts Hololens oder der von Magic Leap an.

Artikel von veröffentlicht am
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Vor fast zehn Jahren gab Epic-Games-Gründer Mark Rein ein denkwürdiges Zitat zu Protokoll: "Immer diese Leute, die sagen, es komme nicht auf die Grafik an. Das ist völliger Quatsch, es geht einzig und allein um die Grafik!" In Zukunft wird sich der Fokus zwar verschieben, heute macht die visuelle Qualität eines Spiels aber noch einen Großteil des Reizes aus. Da wundert es wenig, dass die Unreal Engine 4 von Epic Games den Grafikmotor für die Demos des Oculus-Rift-Prototyps Crescent Bay liefert.

Inhalt:
  1. Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality
  2. Vom 3D-Sound zur Gestenerkennung

Beim ersten Durchlauf ist die Optik der finalen Showdown-Demo, die Demo in Zeitlupe mit dem Monster-Roboter, beeindruckend, der Immersionsgrad wahnwitzig hoch. Spätestens beim dritten oder vierten Mal fällt aber auf, dass Oculus VR und Epic an allen Ecken und Enden tricksen müssen, damit die im Demosystem verbaute Geforce GTX 980 einigermaßen konstant die notwendigen 90 Bilder pro Sekunde für das 90-Hz-Display liefert.

Damit die Geforce GTX 980 flüssige Bildraten ausgibt, haben die Entwickler in der Showdown-Demo grundlegend mehrere Dinge getan (Powerpoint-Präsentation): Die globale Beleuchtung via Lightmass ist vorberechnet, es gibt maximal zwei dynamische Lichtquellen und die statischen Schatten sind simple Blobs ohne Spielereien wie sanft auslaufende Kanten.

Die Demo in Zeitlupe laufenzulassen, war übrigens keine Designentscheidung: In Echtzeit wäre die Anzahl der vom Prozessor pro Frame zu berechnenden Drawcalls viel zu hoch gewesen; knapp 2.500 Aufrufe waren weit mehr als das Doppelte dessen, was Epic benötigte. Da die Geforce-Grafikkarte die Mantle-API nicht unterstützt und Microsofts DX12 noch entwickelt wird, hat Epic viele Meshes kombiniert oder stark vereinfacht.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)

Dafür beherrscht die Maxwell-Grafikkarte den Asynchronous Time Warp: Der Rendering- und der Head-Tracking-Thread sind voneinander entkoppelt. Dadurch sinkt die Latenz und die Darstellung bleibt flüssig. Fällt die Bildrate unter 90 fps, rendert die Grafikeinheit kein neues Bild, sondern greift die Headtracking-Daten ab und interpoliert den letzten Frame perspektivisch auf Basis des Tiefenbuffers. Da der Eye-Render-Buffer verschoben wird, drittelt sich die benötigte Zeit verglichen mit einem gerenderten Frame. Zusammen mit Treiberoptimierungen soll sich die Latenz so bis zur Bildausgabe halbieren.

Die Grafikkarte muss in der Showdown-Demo besonders schwer arbeiten, denn zugunsten der für Virtual Reality wichtigen flimmerarmen Darstellung kommt 1,225-x-1,225-Supersampling-Kantenglättung (150 Prozent Screen Percentage) zum Einsatz. Das sind knapp ein Drittel mehr Pixel, als Epic Games für die Rift-Demo Couch Knight verwendet. Damit der Nutzer durch die Linsen ein für ihn normales Bild sieht, muss der Framebuffer verzerrt werden. Ergo liegt die Eye Render Buffer Resolution höher als die native Auflösung, bei 1.920 x 1.080 Pixeln sind das 2.364 x 1.461 Bildpunkte.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)

Zur Verdeutlichung: Die Geforce GTX 980 berechnet intern 1.790 x 1.448 Pixel doppelt, damit jedes Auge auf glattgebügelte 1.080 x 960 Bildpunkte blicken kann. Sollte das Display des Crescent Bay 1.440 x 1.280 Pixel pro Auge bieten, müsste die Geforce GTX 980 sogar jeweils 2.172 x 1.931 Bildpunkte doppelt durchschleusen. Das entspricht gut 8 Megapixeln, also Ultra-HD.

Eine Lösung, um künftig die Grafikqualität und die Geschwindigkeit zu steigern, ist Eye Tracking. Erste Head-mounted Displays wie das Fove unterstützen dies bereits. Der deutsche Hersteller SMI bietet ein entsprechendes Upgrade für das Rift Dev Kit 2 an, Sony nutzt Eye Tracking von SMI für eine spezielle Demo von Infamous Second Son und Nate Mitchell, Vice President of Product bei Oculus VR, sieht Eye Tracking für virtuelle Realitäten als absolut notwendig an.

Bei Eye Tracking erfassen mehrere Infrarotkameras die Pupillenbewegung der Augen. Das SDK wandelt diese in Koordinaten um. Schon mit vergleichsweise langsamem Tracking bei 50 Hz ist eine glaubwürdigere Tiefenwirkung möglich: Fokussierte Bereiche wie Gesichter werden scharf dargestellt, etwa in Spielen bei einem Gespräch mit mehreren Figuren, der Hintergrund hingegen verschwimmt im Bokeh. Mit einer nahezu latenzfreien Pupillenerfassung wird das Ziel greifbar: sogenanntes Foveated Rendering (PDF).

Die Fovea, zu Deutsch Sehgrube, bietet das beste Auflösungsvermögen, also die größte Schärfe des menschlichen Sehapparates. Ist durch Eye Tracking klar, worauf die Fovea gerade gerichtet ist, wird ein fingernagelgroßer Bereich mit höchster Qualität gerendert, während sie ringförmig immer weiter abnimmt. Laut Johan Andersson, Grafikchef der Frostbite-Engine, reicht es für ein tolles Ergebnis bereits, nur zwei Prozent aller Pixel mit bester Qualität darzustellen.

Die abnehmende Grafikqualität abseits der Sehgrube fällt dem menschlichen Auge tatsächlich kaum auf - außer, es sieht Bewegungen wie stark flimmernde Kanten oder heftiges Shader-Aliasing. Außerhalb der Fovea, also im peripheren Gesichtsfeld, muss die Bildqualität dennoch nicht allzu hoch sein.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Foveated Image (Bild: Wikipedia)

Unterm Strich benötigt eine hohe Bildqualität weniger Leistung als eine tolle Grafikqualität. Eye Tracking bietet dem Nutzer eines Head-mounted Displays somit ein besseres Erlebnis durch eine glaubwürdigere Tiefenwirkung, eine generell hübschere Optik und eine dennoch konstante Bildrate.

Nun ist der Mensch keineswegs auf die visuelle Wahrnehmung beschränkt, er begreift seine Umgebung zudem akustisch und haptisch. In beiden Bereichen forscht Oculus VR. Augmented-Reality-Firmen wie Microsoft oder Magic Leap jedoch sind einen Schritt weiter - denn die kommen ohne Kabel aus.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
Vom 3D-Sound zur Gestenerkennung 
  1. 1
  2. 2
  3.  


spyro2000 30. Jan 2015

Bei der Vorstellung von Maxwell hat man zwar großspurig von "VR Direct", "VR SLI" und...

Nocta 29. Jan 2015

Haarspalterei?

Adabi 28. Jan 2015

Feature Connector auf der Grafikkarte mehr. Sie haben also dazu gelernt und über Facebook...

Hotohori 27. Jan 2015

Vor allem nervt mich die Egoshooter Fraktion, das Genre das nur mit VR Brille mit am...



Aktuell auf der Startseite von Golem.de
SU7
Xiaomi stellt elektrische Sportlimousine für 28.000 Euro vor

Xiaomi positioniert sein Elektroauto SU7 gegen das Tesla Model 3 und heizt den Preiskampf auf dem chinesischen Automarkt weiter an.

SU7: Xiaomi stellt elektrische Sportlimousine für 28.000 Euro vor
Artikel
  1. 20 Jahre Far Cry: Das deutsche Grafikwunder
    20 Jahre Far Cry
    Das deutsche Grafikwunder

    Mit Far Cry feierte der deutsche Entwickler Crytek 2004 ein viel beachtetes Debüt. Kann der Südsee-Shooter auch 20 Jahre später noch beeindrucken?
    Von Benedikt Plass-Fleßenkämper

  2. Apple: Neue iPads sollen sich wegen OLED-Displays verzögern
    Apple
    Neue iPads sollen sich wegen OLED-Displays verzögern

    Die neuen iPad Pro und iPad Air sollen später als erwartet auf den Markt kommen. Der Grund sind die OLED-Displays beim Pro-Modell.

  3. Softwareentwicklung: Events und APIs mit DDD entwerfen
    Softwareentwicklung
    Events und APIs mit DDD entwerfen

    Anforderungen an Software ändern sich schneller als je zuvor. Damit Entwickler da mitkommen, sollten sie Domain-driven Design nutzen. Wie das geht, zeigen wir an einem Beispiel.
    Von Annegret Junker

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    • Daily Deals • Prime: Filme leihen für 0,99€ • Super Sale bei Alternate • MindStar: CHERRY Xtrfy MZ1 RGB Wireless 79€ • Alternate: Corsair RM750x/RM850x 109,90€/124,90€, ADATA 64 GB DDR5-6000 206,89€, Bosch-Professional-Werkzeuge • Gratis-Zugaben PS5 Slim & Nintendo Switch OLED beim TV-Kauf [Werbung]
    •  /