Nvidia GeForce GTX 4000-Serie und DLSS 3 - Eine neue Dimension in Sachen KI-Upscaling

Zwei wichtige PC-Technologien haben sich gegen Ende 2018 etabliert - hardwarebeschleunigtes Raytracing und auf maschinellem Lernen basierendes Super-Sampling. Diese Technologien bildeten die Grundlage für Nvidias Markenwechsel von GTX zu RTX und wurden über die Jahre immer weiter verfeinert. Mit der Ankunft der neuen RTX 4000-Grafiklinie haben wir eine neue Innovation in der leistungssteigernden Technologie. DLSS 3 fügt der bestehenden DLSS 2-basierten räumlichen Hochskalierung die AI-Frame-Generierung hinzu. Wir haben die Technologie in den letzten zehn Tagen auf Herz und Nieren geprüft und sind von den Ergebnissen beeindruckt.

Nvidia stellte uns eine GeForce RTX 4090 vorab zur Verfügung, zusammen mit unvollständigen Versionen dreier DLSS-3-Titel: Portal RTX mit Path-tracing, Marvel's Spider-Man und Cyberpunk 2077. Letzteres sollte nicht mit der neuen RT Overdrive-Version verwechselt werden und hat mehr mit der bestehenden Retail-Version gemeinsam, nur mit DLSS 3. Selbst bei maximaler Leistung laufen diese Spiele mit RTX 4090 und DLSS 3 auf einem 4K-Bildschirm mit 120 Hz nahezu fehlerfrei. Nvidia spricht über DLSS 3 als Wegbereiter für Erlebnisse der nächsten Generation und zeigt sein höchst beeindruckendes Racer RTX, Portal RTX und die Overdrive RT-Version von Cyberpunk - die, ob ihr es glaubt oder nicht, tatsächlich eine Pfadverfolgungswiedergabe des Spiels ist. Marvel's Spider-Man? Nvidia hat ein Werbevideo gezeigt, in dem die RTX 4090 das Spiel mit 200fp ausführt.s. Leider sind wir nicht in der Lage, unsere eigenen Frame-Rate-Zahlen in diesem Artikel zu zeigen - nur Leistungsmultiplikatoren

Im Grunde genommen ist DLSS 3 eine Kombination aus drei verschiedenen Technologien, die Nvidia über Jahre hinweg entwickelt hat. Es beginnt mit dem bestehenden, sehr erfolgreichen DLSS 2 - derzeit unser Favorit für bildrekonstruktionsbasiertes Upscaling (obwohl Intel XeSS und AMD FSR 2.x immer näher kommen). Hinzu kommt die DLSS-Frame-Generierung. Im Wesentlichen rendert die GPU zwei Frames und fügt dann ein neues Frame zwischen den beiden ein, das durch eine Mischung aus Spieldaten wie Bewegungsvektoren und optischer Flussanalyse erzeugt wird, die von einem überarbeiteten festen Funktionsblock in der neuen Ada Lovelace-Architektur geliefert wird - die laut Nvidia dreimal schneller ist als die Ampere der letzten Generation.

Da die Bilder nun gepuffert werden, kommt es zu einer zusätzlichen Latenz in der Pipeline, die Nvidia mit seiner Technologie zur Verringerung der Verzögerung, Reflex, zu verringern versucht. Im besten Fall wird Reflex die zusätzliche Verzögerung, die durch die zusätzliche Pufferung verursacht wird, ausgleichen und vielleicht sogar weitere Millisekunden einsparen. Im schlimmsten Fall kann das Spiel eine zusätzliche Latenz aufweisen - wir werden später einige erste Ergebnisse vorstellen. Es spricht nichts dagegen, die Frame-Generierung überhaupt nicht zu nutzen und einfach auf die Lag-Reduzierung zu setzen, die Reflex bietet, wenn man das vorzieht. Aufgrund der Geschwindigkeit des optischen Flussanalysators in Ada Lovelace können frühere Turing- und Ampere-Karten keine DLSS-Bilderzeugung ausführen. Für Besitzer von Karten der Serien RTX 2000 und RTX 3000 bedeutet dies, dass DLSS 3 unterstützte Titel immer noch DLSS 2 Upscaling und Reflex Latenzvorteile bieten, aber die Frame Generation ist vom Tisch.

Wenn ich mir anschaue, wie die Pufferung für die Frame-Generierung funktioniert, fühle ich mich an die alten AFR-Techniken (Alternate Frame Rendering) erinnert, die mit SLI verwendet wurden - wo zwei Grafikkarten im Tandem arbeiteten und jeden zweiten Frame renderten. Dies führte zu einem ähnlichen Anstieg der Latenz, allerdings ohne die Abschwächung durch Reflex. Die DLSS-Frame-Generierung auf derselben GPU nimmt also den Platz der zweiten Grafikkarte aus der SLI-Zeit ein. Unterm Strich beschleunigen DLSS 2/FSR 2.x/XeSS das Rendering und reduzieren die Latenz - die Frame-Generierung tut dies nicht. Die Auswirkungen auf den Lag in den Testspielen, die wir hatten, sind kein Problem, aber ich glaube nicht, dass die Technologie für ultraschnelle Esports-Titel geeignet ist, bei denen für Top-Spieler jede Millisekunde Lag zählt.

Wir müssen uns auch damit auseinandersetzen, dass die generierten Bilder nicht so "perfekt" sind wie die traditionell gerenderten Bilder. Extrem schnelle Bewegungen - insbesondere in Kameranähe - können Artefakte verursachen. Außerdem haben HUD-Elemente keine Bewegungsvektoren, die von der Technologie verfolgt werden können, was ebenfalls zu Problemen führt. Im eigentlichen Spielgeschehen sind die Probleme jedoch minimal. Die Beschleunigung bringt die meisten Spiele auf 120 Bilder pro Sekunde oder darüber hinaus, was bedeutet, dass die Persistenz pro Bild sehr gering ist. Und vergessen wir nicht, dass diese generierten Frames von "perfekten", traditionell gerenderten Frames unterbrochen werden. In unseren Videos sehen Sie Aufnahmen mit 120 Bildern pro Sekunde, die mit halber Geschwindigkeit laufen - und selbst da sind die visuellen Diskontinuitäten kaum zu erkennen. Erst nach längerem Hinsehen erkennt man, wo die DLSS 3-Frame-Generierung zu wünschen übrig lässt.

Vergleichstool starten

Selbst dann übertreffen die Ergebnisse der neuen Technik, die von der GPU in 3 ms gerendert wird, bei weitem die besten Offline-Framerate-Hochskalierer, die es gibt. Um das zu testen, haben wir identische Inhalte aus Marvel's Spider-Man mit DLSS 3 aufgenommen und sie mit 60fps-Aufnahmen mit der Pixel Motion-Technologie von Adobe After Effects und dem Chronos SlowMo V3-Modell von Topaz Video Enhance AI verglichen. Auf einem Ryzen 9 5950X, der von einer RTX 3090 unterstützt wird, liegen die Berechnungskosten pro Frame bei 750 ms bzw. 125 ms. Da DLSS 3 in das Spiel integriert ist, Zugriff auf wichtige Engine-Daten hat und durch spezifische Hardware-Beschleunigung auf dem Chip unterstützt wird, erzielt es bessere Ergebnisse. Es versteht sich von selbst, dass all diese Techniken der "Bewegungsglättung", die in heutigen Fernsehern verwendet wird, überlegen sind - da sie auf Echtzeit-Bildinterpolation beschränkt sind, sind die Ergebnisse zwangsläufig schlechter als die hier gezeigten Aufnahmen von Adobe und Topaz, bei denen DLSS 3 bereits bessere Ergebnisse liefert.

Die verbesserte Leistung ist der Sinn der Sache - aber auch ihre Anwendung, um neue Erfahrungen zu ermöglichen. Portal RTX basiert auf der neuen RTX Remix-Plattform von Nvidia, die wie ein verrückter Science-Fiction-Traum aussieht. Im Wesentlichen wird Remix in ältere Titel integriert und ermöglicht so vollständig um Path-Tracing aufgewertete Wiedergaben klassischer PC-Spiele. Auf der Keynote haben wir gesehen, wie Morrowind einen neuen RT-Look erhalten hat, aber wir haben Portal RTX bereits ausprobiert - und es ist eine wirklich schöne neue Art, das Spiel zu erleben.

Wir werden kurz vor der Veröffentlichung noch mehr darüber sprechen, wie sich die Path-Tracing-Funktion in Portal integriert, aber in der Zwischenzeit hat sie in unseren Tests die größten Leistungssteigerungen von allen gezeigt. Das Path-Tracing belastet die GPU außergewöhnlich stark, und je höher die Arbeitslast, desto größer der Leistungszuwachs - nicht nur durch die DLSS 3-Frame-Generierung, sondern auch durch das DLSS 2-Upscaling. Die nachstehende Tabelle zeigt einen 3,19-fachen Leistungszuwachs durch DLSS 2 allein, der durch die zusätzliche Bilderzeugung auf das 5,29-fache ansteigt. Auf dem Screenshot seht ihr ein "Worst-Case-Szenario", das ich mit Wasser und zwei Portalen zusammengestellt habe. Man beachte auch die Latenzzahlen: In diesem Fall hebt Nvidia Reflex tatsächlich die zusätzliche Verzögerung auf, die durch die Pufferung der Bilderzeugung entsteht. Es fühlt sich genauso an, wie die DLSS 2-Version, die wiederum viel reaktionsschneller ist als das native Rendering.

Marvel's Spider-Man stellt eine ganz andere Herausforderung dar: Selbst mit einem Core i9 12900K können die heutigen GPUs leicht von der CPU ausgebremst werden, wenn die Raytracing-Reflexionen des Spiels aktiviert sind. Ein Blick auf den Screenshot direkt unten zeigt, dass dieses Quicktime-Event mit DLSS 2 nur 15,2 Prozent mehr Framerate bringt. Wenn man bedenkt, dass es sich um ein 1080p-Basisbild handelt, das auf 4K hochskaliert wurde, sollte die Leistung viel höher sein. Was hier tatsächlich passiert, ist, dass wir bei nativen 4K an die Grenzen der GPU stoßen, während wir mit DLSS 2 an die Grenzen der CPU stoßen.

Da die DLSS 3 Frame-Generierung nicht darauf angewiesen ist, dass die CPU Befehle für die erstellten Frames vorbereitet, tritt die Leistungssteigerung ein, obwohl die CPU voll ausgelastet ist. Der gesamte Prozess verläuft komplett unabhängig vom Prozessor. Um das in Bewegung zu sehen, schaut euch Nvidias Werbevideo an, das sich auf die Fortbewegung durch die Stadt konzentriert – den Teil des Spiels, der die CPU am meisten auf die Probe stellt. Der überwiegende Teil der Action in diesem Trailer wird mit etwa 100-120 Bildern pro Sekunde von der CPU beschränkt sein. Die DLSS 3-Frame-Generierung verdoppelt die Frame-Rate effektiv.

Für die unten stehende Tabelle habe ich versucht, die GPU so stark wie möglich zu belasten - und seltsamerweise haben Peter Parkers Besuche im Feast-Hauptquartier weitaus stärkere Auswirkungen auf die Grafik. Trotzdem stoßen wir mit einer Leistungssteigerung von nur 36 Prozent immer noch an die CPU-Grenze. Die Frame-Generierung erhöht jedoch weiterhin die Bildwiederholrate. Bemerkenswert ist auch, dass Reflex mit DLSS 3 die Latenz nicht wesentlich verbessert - die Technologie optimiert das Verhältnis zwischen CPU und GPU, was schwer zu erreichen ist, wenn die CPU an ihre Leistungsgrenze stößt. Dennoch ist das Spiel so schnell, dass die Latenzwerte durchweg extrem niedrig sind.

Der letzte Titel, der zum Testen bereitgestellt wurde, war ein Preview-Build von Cyberpunk 2077 von CD Projekt RED. In dem Video gibt es zwei Tests, die die Durchquerung des Cherr Blossom Marktes sowie eine längere Fahrt durch Night City und in die Wüste abdecken. Bei hochgefahrener 4K-Auflösung und vollem Raytracing - bis hin zur Psycho-Beleuchtung - zeigt sich erneut, dass die Leistung umso höher ist, je niedriger die Basis-Framerate ist.

In diesem Fall erhöht sich die Bildwiederholrate um das Vierfache - und verwandelt eines der anspruchsvollsten PC-Videospiele in ein Erlebnis, das auf einem 4K 120Hz-Bildschirm wunderbar wiedergegeben wird. In dem oben auf der Seite eingebetteten Video sehen Sie eine ganze Reihe von 4K 120fps-Aufnahmen, die auf 50 % der Geschwindigkeit verlangsamt wurden, um in einem 60fps-Video zu funktionieren. So erhaltet ihr einen Eindruck, wie flüssig es läuft.

In diesem Pre-Release-Preview-Code können die Nvidia Reflex-Latenzwerte mit DLSS 3 nicht mit denen von DLSS 2 mit ausgeschaltetem Reflex mithalten, was vermutlich das "inoffizielle" Ziel ist. Dennoch werden die 12 ms, die hier gemessen wurden, kaum das Erlebnis der meisten Triple-A-Spiele, einschließlich Cyberpunk 2077, beeinträchtigen. Schließlich handelt es sich hier nicht um einen Twitch-Shooter oder ein Esports-Wettkampferlebnis - aber abgesehen davon müssen wir auf jeden Fall sehen, wie sich die Latenz bei weiteren DLSS 3-Titeln in Zukunft entwickelt.

Zum Abschluss des Tests haben wir einige wenige Daten darüber, wie sich die RTX 4090 in Bezug auf die Leistung im Vergleich zum Silizium-Champion der Ampere-Architektur der letzten Generation, der RTX 3090 Ti, schlägt. Abgesehen davon, dass wir keine Zahlen zur Bildwiederholrate veröffentlichen durften, war die einzige weitere Einschränkung, die Nvidia verlangte, die Generationenvergleiche auf DLSS 2 auf der älteren Karte und DLSS 3 auf der neuen beschränken sollten. Der Grund dafür ist, dass die reinen Leistungszahlen für das Embargo am Testtag zurückgehalten werden sollten, wo die Benutzer die Leistung anhand der von der gesamten PC-Presse gelieferten Zahlen vergleichen können. Auch wenn ein begrenzter Vergleich zwischen DLSS 2 und DLSS 3 nicht ganz ideal ist, würde ich sagen, dass er das für wahrscheinliche Einsatzszenario dieser Karten repräsentativ ist.

Zunächst ein Blick auf Portal RTX: Das Bild dort stammt aus einer statischen Szene, in der ich die höchste GPU-Last erzeugt habe, die ich in Testkammer 14 aufbringen konnte. Hier ist das Wasser in vollem Umfang zu sehen, zusammen mit zwei Portalen, die einander gegenüberliegen. DLSS 2 auf Ampere im Vergleich zu DLSS 3 auf Ada Lovelace bietet im Wesentlichen eine dreifache Steigerung der Gesamtleistung. Dies ist insofern ein entscheidender Unterschied, als dass ein gutes Erlebnis auf einem 4K-Bildschirm mit variabler Bildwiederholfrequenz von 60 Hz auf einem 4K-Display mit 120 Hz nahezu fehlerfrei abläuft.

Dasselbe gilt für den Preview-Build von Cyberpunk 2077, den wir gespielt haben. Der Leistungsmultiplikator zwischen den Generationen ist vielleicht nicht so groß wie bei Portal RTX, aber die Basis-Framerate auf der RTX 3090 Ti-Seite ist größer. Wieder einmal ist es der Unterschied zwischen einer guten 60Hz VRR-Erfahrung auf der älteren Karte und einer großartigen 120Hz-Erfahrung mit der RTX 4090.

Kommen wir zum Schluss zur Kernfrage und gehen wir die offensichtlichen Punkte an. Zunächst einmal: Ist die Bildqualität der von der künstlichen Intelligenz erzeugten Bilder gut? Das hängt von der Geschwindigkeit der Aktion und der Fähigkeit des DLSS-3-Algorithmus ab, Bewegungen zu verfolgen. Je schneller die Bewegung, desto ungenauer sind die generierten Bilder - das Bild von Spider-Man im obigen Zoomer-Block ist ein besonders schwieriges Beispiel. Wechselt für jedes Bild zur Vollbildansicht und bewegt euch sich zwischen den Bildern eins, zwei und drei. Die Diskontinuitäten im zweiten von der KI generierten Bild sind leicht zu erkennen - aber sind sie auch leicht zu erkennen, wenn jedes Bild nur 8,3 Millisekunden lang zu sehen ist? Die Antwort ist... nicht wirklich. Achten Sie auch darauf, wie unterschiedlich Spider-Mans Arme und Beine von Frame zu Frame sind: Das zeigt, wie schnell die Bewegung in diesen drei Bildern ist, und zwar über eine Gesamtspielzeit von 24,9 ms.

Nun schaut euch die Third-Person Bilder links davon Zoomer-Block am. Wechselt wieder in den Vollbildmodus und schaltet zwischen den drei Einzelbildern hin und her, die über einen Zeitraum von insgesamt 24,9 ms aufgenommen wurden. Dies entspricht in etwa der normalen Bewegung im Spiel. In diesem Szenario ist der von DLSS 3 generierte Frame nahezu perfekt, nur das gelbe HUD-Element hat Probleme. Bei der Wiedergabe auf einem 120Hz-Bildschirm ist ein leichtes Flimmern zu erkennen.

Die nächste der offensichtlichen Fragen: Warum ist die DLSS 3-Frame-Generierung nicht auf RTX 2000- und 3000-Karten verfügbar? Nvidia sagt, dass der optische Flussanalysator in Ada Lovelace dreimal schneller ist als das Ampere-Äquivalent, was schwerwiegende Auswirkungen auf die 3 ms Generierungskosten von DLSS 3 haben würde. Unabhängig davon ist der Analysator ein fester Funktionsblock, der auf jeder RTX 4000-Karte gleich schnell laufen wird. Die einzige Alternative für ältere Karten, die ich mir vorstellen könnte, wäre eine qualitativ schlechtere Version für ältere Karten. Eine Sache, die Alex Battaglia und ich bei Bildqualitätsvergleichen mit Adobes Pixel Motion und Topaz Video Enhance AI's Chronos SlowMo-Modell festgestellt haben, ist, dass selbst schlecht aussehende AI-Frames bei der Wiedergabe in Echtzeit mit 120 Bildern pro Sekunde und 8,3 ms pro Frame gut abschneiden können.

Als nächstes wollen wir uns ansehen, wie die Bilderzeugung das CPU-Limit überwindet. In Marvel's Spider-Man verdoppelte sich bei unseren Tests mit dem Core i9 12900K die Leistung und das Spiel fühlte sich immer noch flüssig an - obwohl die Basis-Framerate komplett von der CPU gebremst wurde. Allerdings kann man die Frame-Generierung auch als Frame-Verstärkung bezeichnen. Wenn die CPU keine guten Frame-Times liefert, kann auch das Stottern verstärkt werden. Aus eigener Neugierde habe ich versucht, Marvel's Spider-Man mit RT auf einem schwachen Ryzen 3 3100 zu spielen - eine CPU, die keine Chance hat, konsistente Frame-Times zu liefern. Die Bildrate stieg mit der Frame-Generierung dramatisch an, aber das Stottern wurde auch verstärkt. Es gibt großartige Anwendungen für DLSS 3 zur Überwindung von CPU-limitierten Spielen - wie Microsoft Flight Simulator, zum Beispiel - aber gute, konstante Frame-Times von der CPU sind immer noch erforderlich.

Zu Beginn dieses Tests war geplant, DLSS 3 in groben Zügen zu behandeln, ohne zu viel von der vollständigen Überprüfung zu verraten. Die Arbeit war jedoch umfangreicher, als wir es uns vorgestellt hatten. Die Sache ist die, dass wir immer noch nur an der Oberfläche dessen gekratzt haben, was DLSS 3 bietet und wie es getestet werden sollte.

Zu den Unbekannten, die wir noch testen wollen, gehört die Frage, wie niedrig die Basis-Framerate nach DLSS 2 sein kann. Visuelle Diskontinuitäten in den von der KI generierten Frames sind zum Beispiel schwer zu erkennen, wenn man mit verstärkten 120 Frames pro Sekunde spielt, aber was ist mit 100fps? 90fps? 80fps? Könnte DLSS 3 im Extremfall ein Spiel mit 30 Bildern pro Sekunde tatsächlich wie ein Spiel mit 60 Bildern pro Sekunde aussehen lassen? Gibt es inhärente Schwächen in der Bildinterpolation, die von Spiel zu Spiel gleich sind? Das ist eine Pionierarbeit, die wir noch nie zuvor von einer GPU gesehen haben.

Die längerfristigen Implikationen sind interessant und mit dem RT Overdrive-Upgrade von Cyberpunk 2077 sehen wir etwas potenziell sehr Spannendes. Es handelt sich um ein transformiertes Spiel, bei dem die gesamte Beleuchtung über Raytracing erfolgt. Im Grunde handelt es sich um eine Pfadverfolgungswiedergabe eines der anspruchsvollsten PC-Spiele auf dem Markt. Konsolen könnten das niemals leisten - es übersteigt ihre Möglichkeiten bei weitem. Durch die Bereitstellung von zwei verschiedenen Renderern können man die Multiplattform-Entwicklung bewahren und gleichzeitig ein völlig neues PC-Erlebnis der nächsten Generation bieten. Das ist ein verlockender Gedanke und wir werden in zukünftigen Inhalten auf DLSS 3 und Cyberpunk 2077 zurückkommen.