Der Fall Kinect

Während die Veröffentlichung Kinects im November näher rückt, sprechen die Entwickler – offen und unter der Hand – über das neue Bewegungserkennungssystem. Darüber, was es kann, was es nicht kann und was wir von dem System für die Zukunft zu erwarten haben.

Microsoft selbst verstärkt seine Marketing-Bemühungen. In dieser Woche erschienen zwei Artikel (einer von T3 und ein weiterer, beindruckenderer von Gizmodo), die uns erstmals in die Kinect-Kamera hineinblicken ließen und uns dabei genügend technische Infos lieferten, die etwas unschönen „EyeToy-HD"-Vorwürfe zu entkräften, mit denen dem Gerät im Internet seit der E3 begegnet wird: Kinect ist ein State-of-the-Art-Motion-Capture-Gerät für Verbraucher mit Stimmerkennung und biometrischer Personenerkennung. Und Microsoft will, dass ihr das wisst.

Mittlerweile hat Microsoft das System in TV-Shows vorgeführt und belieferte Macys-Filialen in den USA mit spielbaren Demos, was zu einer Reihe von "Kinect-Fail"-Videos im Netz führte. Ebenso wie Versuche, dem Sensor bei anderen Events absichtlich ein Bein zu stellen, unter anderem durch das Tragen weiter, schwarzer oder reflektierender Kleidung.

Darüber mag man geteilter Meinung sein, aber auch wir haben schon damit gespielt und abgesehen von einem weniger guten Erlebnis von Eurogamer TVs Johnny Minkley mit dem Renntitel Joy Ride hat sich das System mehr oder weniger fehlerfrei behauptet. Im Rahmen der Spiel-„Erlebnisse", die die Entwickler bisher umrissen haben, funktioniert Kinect und die besten Spiele werden durchaus verlockend sein für einen Querschnitt an Spielern, die sich für Spiele wie Halo, Alan Wake und Crackdown 2 weniger interessieren als für Titel wie Wii Sports und Wii Fit.

Während sich Core-Gamer darüber Gedanken machen, ob man Kinect auch im Sitzen spielen kann, entwickeln die Hersteller Titel, die im Großen und Ganzen beinahe unmöglich von der Couch spielbar sind: Selbst das genannte Joy Ride verlangt von euch, euren Hintern hin und her zu schwingen, um die Wagen zum driften zu bringen. Und das Gameplay ist meist in „mundgerechte" Stücke unterteilt, damit man nicht zu sehr erschöpft oder zu lange auf den Beinen ist. Alles dreht sich um dynamische Spiele in sozialer Umgebung – Elemente der Formel, die Wii zu einem so großen Erfolg gemacht haben.

Microsoft hat neue Bilder veröffentlicht, auf denen Kinect ohne Hülle zu sehen ist. Vier Mikrofone (drei rechts, eins links) sind für die Breite verantwortlich. Mehrere PCBs weisen darauf hin, dass das Gerät tatsächlich etwas weiter fortgeschrittener ist, als man denken würde und dass es recht teuer zu bauen ist. Es ist ein langlebiger Motor verbaut, außerdem ein Ventilator, der die Hitze abführt. Kinect verfolgt den Spieler, indem es den Kamerawinkel entsprechend anpasst.

Davon abgesehen enthüllt eine Untersuchung der gefühlten Limitationen Kinects eine faszinierende Wahrheit: Die Hardware selbst ist lediglich ein Vehikel, um die Konsole mit Daten zu füttern. Seine Fähigkeiten werden hauptsächlich durch die Software definiert. Und die befindet sich in einem ständigen Zustand der Evolution. Dies zu vergessen, wäre ein großer Fehler bei der Einschätzung von Kinects Potential als Spieleplattform.

„Jeden Tag werden die Technologie und die Software besser, also tunen wir sie stetig", erzählte die Entwicklerlegende Tetsuya Mizuguchi CVG als er mit dem Magazin über die Entwicklung seines neuen Titels Child of Eden sprach. „Zu Beginn einer neuen Hardware ist nichts optimal, aber es wird besser und besser, je länger wir damit arbeiten."

Im Grunde bietet Kinect – als Gerät – der Xbox 360 nichts weiter als rohe Daten: Ein webcamartiges RGB-Bild, eine Depth Map vom 3D-Sensor und Audio-Daten vom Multi-Array-Mikro. Was das System vermag und was nicht, liegt eigentlich in der Interpretation dieser Daten. Viele der Limitationen des Systems sind tatsächlich Limitationen der Software und Software kann man verbessern. Microsoft prüft das Feedback von Entwicklern von Kinect-Titeln und verbessert diese Interpretationsebene in regelmäßigen SDK-Updates. Ähnlich wie die Konsolen-Entwicklungstools werden auch diese immer mächtiger, weil an den Kinect-spezifischen Elementen des SDKs gearbeitet wird.

Andere Entwickler meiden die Microsoft-Tools und verarbeiten die rohen Daten direkt, wie Blitz Games' CTO Andrew Oliver – der derzeit an einem The-Biggest-Loser-Fitnessspiel arbeitet – jüngst Gamasutra gegenüber enthüllte.

„Es sind mehrere Technologien involviert. Einige Leute nutzen ein Skelett-System und das benötigt ein wenig Zeit, berechnet zu werden. Es ist nur der Bruchteil einer Sekunde. Wir nutzen hingegen ein anderes Masking-System, mit dem wir die Dinge etwas straffen können", so Oliver.

„Aber all das ist softwarebasiert. Dort wo die Leute eventuell einige kleine Probleme sehen, sind diese über die Software leicht zu beheben. Die Kamera funktioniert im Grunde also und gibt dir den Input. Die Spieledesigner stoßen in einen komplett neuen Bereich vor und lernen all das erst. Das ist wie bei jeder Konsole. Die ersten paar Spiele sind nichts gegen die der zweiten und dritten Generation."

Ein interessanter Punkt ist, dass Oliver sich für die inhärente Latenz des Systems nicht interessiert.

„Es hängt davon ab, welche Technologie man nutzt. Ich habe ein paar Spiele mit etwas Lag gesehen, aber das ist die Softwarewahl der Entwickler. Sie haben es auf bestimmte Art programmiert und werden neue Techniken entwickeln", sagt er.

„Wir werden es straffen und straffen. Es muss keinen Lag geben. Wir können ihn womöglich so weit herunter bekommen, dass er nur noch zwei Frames hinterherhinkt, was schon erheblich ist. Das bemerkt man nicht. Wir lernen gerade erst neue Tricks. Es ist schon ziemlich tight."

Es wird spannend sein, die Latenz in der finalen Version von Olivers Titel zu messen. Denn wie regelmäßige Digital-Foundry-Leser wissen, hat ein 30-FPS-Spiel mit einem konventionellen Controller typischerweise 100 ms / sechs Frames Latenz Minimum – und das ohne jegliche Kinect-Berechnungen.

Ein Lag von zwei zusätzlichen Frames ist immer noch mehr oder weniger im normalen Bereich vieler controllerbasierter Spiele, aber wie wir schon in unserem E3-Bericht schrieben, wird das Empfinden von Latenz durch diverse Faktoren erhöht: Erstens, der menschliche Körper ist nicht annähernd so reaktionsschnell wie die Finger: Der Körper selbst ist „laggy". Zweitens zieht Gestenerkennung ziemlich starke Latenz nach sich, was besonders beim Springen deutlich wird und davon gibt es in Kinect Adventures und Kinect Sports – diese zwei nur als Beispiel – eine Menge. Eine gestengetriebene Animation auf dem Bildschirm kann erst starten, wenn das Programm begreift, was der Spieler macht: Es ist nie eins zu eins.

Tatsächlich scheint auch das Setup von Kinect gegen Olivers Behauptung von nur zwei Frames Latenz zu sprechen. Den optischen Feed zu verarbeiten, die Depth-Map zu erstellen und dies über USB 2.0 zur Konsole zu schicken, sorgt schon für eine Basis-Latenz, bevor die Konsole die Daten überhaupt in die Finger bekommt. Und natürlich dürfen wir auch nicht vergessen, dass Kinect nur bei 30Hz scannt. In controllerbasierten Games hüpft die Latenz von 66 ms auf 100 ms wenn die Bildrate von 60 FPS auf 30 FPS fällt. Eine niedrigere Scan-Rate führt absolut zu höherer Latenz.