Intel-Forscher lassen GTA 5 mit einer neuen Methode "fotorealistisch" aussehen
Nehmen deutsche Städte als Vorbild.
- Drei Forscher der Intel Labs haben eine neue Methode entwickelt, mit der sie Gameplay-Material fotorealistischer gestalten können
- Durch das maschinelle Lernen wird jeder Frame mit echten Fotos verglichen und verschiedene Elemente im Spiel ersetzt
- Das Programm soll deutlich stabiler laufen als andere Methoden mit dem gleichen Ansatz
Forscher der Intel Labs haben einen Weg gefunden, um Videospielaufnahmen mithilfe von maschinellem Lernen nahezu fotorealistisch zu gestalten. Für ihr Experiment nutzten sie einige Ausschnitte aus Grand Theft Auto 5.
Die Methode der Intel-Forscher ersetzt die polygonale Umgebung des Spiels durch Bilder, die von realen Fotos stammen. In ihrem Video erklären die Verantwortlichen, wie genau diese Technik umgesetzt wird:
Für euch haben wir die Infos aus der Video-Demonstration noch einmal kurz zusammengefasst.
Im Prozess, der anhand von einigen Videosequenzen gezeigt wird, analysiert die Methode jedes Einzelbild von GTA V und vergleicht es mit dem Cityscapes-Datensatz des Teams, das aus vielen Fotos deutscher Städte besteht, die mit einer Fahrzugkamera aufgenommen wurden.
Die Elemente des Spiels werden mit ähnlichen Objekten aus den Fotos verglichen und mit diesen ersetzt. So macht die Methode zum Beispiel den Asphalt glatter, den Autolack glänzender oder die Hügel grüner.
Neue, verbesserte Elemente sind "geometrisch und semantisch konsistent mit den Eingabebildern und zeitlich stabil" - wenn das Spiel also weiterläuft, folgen die fotorealistischen Objekte und Texturen mit.
Laut den Forschern kann dieser Prozess "Frame für Frame erzeugt und mit interaktiven Raten ausgeführt werden". Es wäre also denkbar, dass die Methode so weit optimiert werden könnte, dass sie während eines Games in Echtzeit läuft.
Im Video zeigt das Forscher-Team, dass der neue Ansatz deutlich stabiler ist als andere Versuche, Gameplay-Material durch fotorealistische Bilder zu ersetzen. Es entstehen beispielsweise Bildfehler oder Licht und Farbe flimmern wie verrückt. Mit dem maschinellen Lernen von Intel treten diese Fehler im gezeigten Material nicht auf.
Ihre wissenschaftliche Arbeit zu diesem Thema haben die verantwortlichen Forscher online veröffentlicht. Dort könnt ihr die Auswirkung der Methode mit Bildschiebern vergleichen, den genutzten Code abrufen oder die gesamte Arbeit (insgesamt 16 Seiten) durchlesen.
Würde euch ein fotorealistisches GTA V reizen?