Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

Eye Tracking im Gaming – Eine kleine Erläuterung

Spezial

Wenn wir uns Nintendos Geschichte vor Augen halten, dann haben sie mit der Einbindung des Analogsticks und der Bewegungssteuerung der Wii einige Aspekte in den Konsolenbereich eingebracht, die heutzutage mal mehr oder mal weniger nicht wegzudenken sind. Gerade die Bewegungssteuerung und die daraus resultierende Art der Interaktion wird auch bei vielen VR-Brillen im PC-Bereich und bei PlayStation VR sowie mit PlayStation Move eingesetzt. Doch im heutigen Spezial geht es nicht um die neuste Technik im Konsolenbereich, sondern um eine Technologie, welche seit 2014 auch Fuß in den Gaming-Bereich des PCs gefasst hat. Die Rede ist von Eye Tracking.

Eye Tracking – Was ist das?

Wenn man einen Begriff nennt und darüber berichtet, sollte es selbstverständlich sein, dass dieser auch erklärt wird. Wer des Englischen mächtig ist, der kann schon aus den Wörtern schließen, dass es irgendetwas mit Augen und verfolgen zu tun hat. Tatsächlich wurde diese Technologie vor allem im Rahmen von Usability- und User Experience-Tests eingesetzt, um die Blickverläufe der Probanden zu sehen und somit mögliche Blickfelder festlzuegen, zu analysieren und auszuwerten. Dabei werden die Blickverläufe nach einer vorherigen Kalibrierung aufgezeichnet, um eben jene Daten wie Blickverlauf, Blickdauer und Time to First Fixation, also die Zeit bis zum ersten Erblicken eines Abschnittes auf dem Bildschirm, zu ermitteln. Das funktioniert sowohl stationär als auch mobil mittels einer speziellen Brille. Aber seit einigen Jahren spielt die Technik nicht nur beim Testen eine Rolle, sondern auch im Gebiet der Mensch-Computer-Interaktion (in manchen Einrichtungen auch Mensch-Maschine-Interaktion genannt). Querschnittsgelähmten wird es so beispielsweise ermöglicht, mit Blicken auf die Bildschirmtastatur Eingaben vorzunehmen. Die entsprechende Technologie dazu heißt Tobii Dynavox.

Tobii ist eigentlich der größte Hersteller von Eye Trackern. Die meisten ihrer stationären Geräte senden Infrarot- oder andere Licht-Strahlen aus, welche die Bewegungen der Augen messen. So ist es möglich, nach einer präzisen Kalibrierung die Blicke einzufangen. Allerdings gibt es auch hier einige Sachen die man beachten muss. Direkt-einstrahlendes Licht zum Beispiel sollte vermieden werden, aber auch sehr starke Brillengläser funktionieren nicht ganz so gut mit dieser Technologie, da es die Strahlen schwer haben, durch jene zu dringen. Und mit Eye Tracking kann man auch mit Windows gut arbeiten. So wird der Bildschirm bei Abwesenheit nach einigen Sekunden bei Notebooks automatisch verdunkelt, damit, wenn man wiederkommt, nicht so viel Saft verbraucht wurde. Auch Windows Hello ist kompatibel. Seit 2015 findet Eye Tracking aber auch in Spielen ihren Einsatz.

Die Nutzung in Spielen für Spieler

Groß angefangen hat diese Entwicklung mit dem Ubisoft-Spiel Assassin's Creed Rogue, welches im März 2015 für Windows erschien. Zusammen mit einem Steelseries Sentry Eye Tracker oder den Tobii eyeX konnte man damals einige kleine Spielereien erleben. Durch die Möglichkeit des Infinite Screens könnt ihr so beim Blicken an den Rand des Bildschirms die Kamera in die entsprechende Richtung drehen, ohne den Analogstick beziehungsweise die Maus zu verwenden. Dies ist für den rechten Arm entspannend, denn sonst müsste man die Maus immer über die Mausmatte verschieben und irgendwann wieder in die Mitte nehmen. Außerdem wurden in den ersten Spielen Natural Targeting implementiert. Das heißt: Dank der Augen kann man beispielsweise in Assassin's Creed Rogue mit seiner Pistole zielen und so Feinde präzise abschießen. Natürlich sollte der Eye Tracker richtig kalibriert sein, damit es nicht zu vielen Verwacklungen kommt.

Im kostenlosen Spiel Beatshot müsst ihr auf die ausgefüllten Kreise schauen. Der "Schuss" kommt automatisch in Takt, sodass ihr nur eure Augen braucht, um zu spielen.

Weiterhin wird die Verwendung eines Eye Trackers auch mit Immersive Graphics und Immersive Sound beworben. Bei Letzterem ergibt sich der sogenannte Cocktailparty-Effekt, also Geräusche und Musik von der Stelle, auf welche man schaut, werden verstärkt und die der anderen Gebiete in der Lautstärke vermindert, was auch als selektives Hören bezeichnet wird. So richtet sich also das Gehörte nach den Dingen, auf die man sich konzentriert. Das Prinzip funktioniert auch ähnlich bei den Immersive Graphics. In Deus Ex: Mankind Divided werden so die meisten HUD-Elemente erst sichtbar, wenn man mit den Augen drauf schaut. Aber auch die Fokussierung auf einen Punkt bewirkt, dass die Tiefenschärfe der Kamera sich ausrichtet, sodass die Dinge, die ihr betrachtet scharf und das restliche Bild unscharf wird. Bei Assassin's Creed Syndicate wird die Helligkeit angepasst, wenn man in einem Raum steht. Sieht man in den Raum selber, ist alles angenehm hell, während das Licht von draußen stark blendet. Schaut man aber nach draußen, wird die Helligkeit angepasst und man erkennt, was außerhalb des Gebäudes vor sich geht.

Das waren die vier großen Gebiete, mit welchen Tobii ihr Gerät bewirbt, welche je nach Spiel mehr Anwendung (Beispiel: Watch Dogs 2: Hacken, Zielen und Deckung suchen durch Blickverlauf sowie vieles mehr) oder weniger Anwendung findet. Wie eingangs erwähnt, gab es auch einen Eye Tracker, welcher nicht direkt von Tobii stammt. Mit dem Steelseries Sentry Eyetracker können Live Streamer ihre Blickverläufe im LiveStream darstellen lassen, damit die Zuschauer nachvollziehen können, wo der Spieler hingesehen hat. Im Bereich des eSports wird dieses Gerät zur Auswertung von Blickdaten genutzt. Wie oft hat der Spieler auf die Minikarte geschaut, wo hat er allgemein hingeguckt. Mehrere Statistiken lassen sich dort aufrufen, damit die Spieler mehr ihre Blickverläufe verstehen können. Aber der Einsatz des Sentry Eye Trackers in Spielen ist nur für Spieler nützlich, denn Entwickler benötigen einen Eye Tracker von Tobii.

Der Eye Tracker befindet sich unterhalb des Monitors und ihr erkennt die drei Lichtquellen.

Aber bei all diesen Funktionen gibt es auch einige kleinere Sachen zu beachten. So sollte man sich nicht zu stark vor dem Monitor bewegen. Zwar muss man den Eye Tracker vor Benutzung kalibrieren, aber diese Kalibrierung ist hinfällig, sobald sich ein Nutzer zu stark bewegt und die Erkennung dadurch nicht so präzise erfolgt. Auch sollte man versuchen, wenig Licht direkt auf den Eye Tracker strahlen zu lassen, da dadurch die Sensoren beeinflusst werden könnten. Der Eye Tracker funktioniert bei Bildschirmen mit einer Bildschirmdiagonale kleiner als 27 Zoll. Ihr könnt laut Herstellerangaben maximal 90 cm vom Eye Tracker entfernt sitzen, jedoch benötigt ihr mindestens 50 cm Abstand zu diesem für eine gute Erkennung eurer Augen. Während der Kalibrierung werden euch eure Augen und deren Position im Raum angezeigt, sodass ihr dahingehend euch etwas ausrichten könnt. Und auch wenn bei einigen Modellen eine Brille nicht empfehlenswert ist: Bei der Software für das Eye Tracking von Tobii könnt ihr auswählen, ob ihr eine Brille tragt oder nicht, was dann der Kalibrierung zugutekommt. Leider werden eure Augen bei der Benutzung belastet, sodass ihr nach einiger Zeit eine Pause bei der Benutzung einlegen solltet, damit sie nicht austrocknen.

Was ist der Vorteil für Spieleentwickler?

Auch wenn Eye Tracking nicht viel großartig neu macht, ist diese Technologie jedoch mit den kleinen Dingen die sie ermöglicht recht interessant. Und mit dem Besitz eines Tobii eyeX (oder dessen Nachfolger 4C, welcher sogar Kopfbewegungen verfolgt) kann man sich sogar selber als Entwickler mit den SDKs (Software Development Kit) für Unity3D sowie Unreal Engine beschäftigen und seine eigenen Projekte mit dem Einsatz von Eye Tracking erweitern. Aber auch für das normale C++ (einer objektorientierten Programmiersprache) und für .NET gibt es ein solches SDK. Ich habe mal kurz rumgespielt und mit ein paar Code-Zeilen konnte ich einen Würfel in Unity3D durch das bloße Ansehen drehen lassen, was jedoch in der heutigen Zeit keine Kunst ist. Ich kann leider nicht sagen, wie es für andere SDKs aussieht, aber bei Unity3D stehen euch bei Nutzung dieses SDKs viele Eigenschaften zur Verfügung, welche leicht zu handhaben sind. Aber auch sonst gibt es einige, leichte Funktionen, um die erhaltenen Daten zu nutzen. Für genauere Informationen verweise ich auf die Dokumentation von Tobii für die entsprechenden SDKs. Für Entwickler hat Tobii auch einen kleinen Fond eingerichtet, der jene bei der Entwicklung und Verwirklichung ihrer Ideen mittels Eye Tracking unterstützen soll.

Im Spiel Blind Love müsst ihr Hindernisse zerstören, Vögel abwehren und wie hier eine Brücke mit euren Augen herablassen, damit der Maulwurf zu seiner Liebsten findet. Dieser bewegt sich aber automatisch.

Die Zukunft des Eye Trackings ist jedoch nicht ungewiss. Ubisoft zählt als großer Unterstützer dieser Technologie. Neben Assassin's Creed Rogue besitzen Assassin's Creed Syndicate, Steep, Tom Clancy's The Division und Watch Dogs 2 einige der oben genannten Eigenschaften wie Immersive Graphics, Infinite Screen und Natural Targeting. In den Square Enix-Titeln Deus Ex: Mankind Divided und Rise of the Tomb Raider fand diese Technik ebenfalls Verwendung. Weitere Spiele sind zum Beispiel Arma 3, theHunter und Master of Orion, nebst kleineren Indie-Spielen. Einige Notebook-Hersteller wie MSI bauen bereits Eye Tracker in ihre Produkte ein, sodass man gleich beim Kauf eines Gaming-Notebooks einen Eye-Tracker fest integriert hat. Und auf der diesjährigen GDC wurde sogar in einem Panel ein neuer Einsatz abseits des PC-Bildschirms, nämlich für Virtual Reality-Brillen, angekündigt.

In ihrer GDC 2017-Präsentation sprach Tobii über die Zukunft ihrer Technologie im Spieleentwicklungsbereich. Für das Unternehmen ist Eye Tracking der nächste natürliche Schritt für die Virtual Reality. Denn der Nutzer möchte in diese virtuelle Realität eintauchen und diese erleben. Das ist aber mit der aktuellen Art, also das Drehen des Kopfes, welches den Nacken stark belastet, nur bedingt möglich, denn wir schauen uns auch oft mit den Augen um. Mit Avatar Interaction können es Entwickler ermöglichen, die Augen eines anderen Spielers besser darstellen zu lassen. Schaut er auf dich? Zwinkert er dir zu? Es lässt einen das Gefühl besser vermitteln, statt eines Avatars oder einer computergenerierten Person einen anderen Spieler vor sich zu haben. Auch Teleportation kann man nun mit seinem Blick vereinfachen, in dem man auf sein Ziel blickt. Dies nennt Tobii Natural Interaction. Bei Rapid Selection wird die Auswahl durch seine Augen und nicht durch Kopfbewegungen getätigt. Bei Intelligence Interfaces reagieren die Objekte auf das Anschauen des Spielers. Die Auswahl in Menüs erfolgt ebenfalls durch den Blick des Spielers. Ein Devkit dahingehend soll noch dieses Jahr für ausgewählte Entwickler erscheinen.

Zum Abschluss kann ich sagen, dass Eye Tracking eine neue Art des Spielens ermöglicht. Denn diesmal sind eure Augen nicht passiv, sondern wirken aktiv im Spielgeschehen mit. Durch die Einbindung dieser Technologie in großen AAA-Titeln von Ubisoft und Square-Enix hat die neue Nutzerinteraktion im normalen PC-Spiel-Bereich einen erfolgreichen Einzug erhalten. Und wie es aussieht, könnte die Technik die Immersion in Virtual Reality stark verbessern und die Erfahrung damit ebenso. Ich bin gespannt, wie sich Eye Tracking im Gaming in den nächsten Monaten entwickeln wird und glaube, dass diese Technologie zwar einen kleinen, aber auch einen nützlichen Teil zu dem Erlebnis des Spielens beitragen wird. Trotz ein paar Einschränkungen bin ich von der Technologie überzeugt.

Kommentare 3

  • Dunkare Hardcore Noob - 09.04.2017 - 11:25

    Ich finde das Eye Tracking als Spieletechnologie deutlich attraktiver als VR Helme, da mich diese Augenkrebsstrahler in den klobigen Helmen zu schnell anstrengen und sich für mich persönlich nicht für längere Spieleinheiten eignen. Auch wenn das VR Erlebnis an sich natürlich beeindruckender ist, als nur die Blicksteuerung. Aber ausgereift und vor allem unterstützt sind meiner Meinung nach beide Technologien noch nicht genug, dass es sich lohnt, da großes Geld zu investieren.
  • Skerpla 任天堂 - 09.04.2017 - 13:15

    Ich muss erstmal mit Kinect zurechtkommen, dann schaue ich weiter.
  • Albert Turmfürst - 09.04.2017 - 23:28

    Voice und Cam fehlen der Switch. Ich finde es nicht schade!!!!