Was macht DLSS 5?: Nvidias Antwort in einem Satz ist „die KI weiß, was sie tut“
Wie genau funktioniert DLSS 5? Welche Informationen nimmt die Technologie vom Spiel entgegen und welche Techniken kommen zum Einsatz um das finale Bild zu rendern? Jetzt hat Nvidia bestätigt, dass am Ende doch „nur“ das fertige 2D-Bild der Engine und Motion Vectors die Basis sind. Für Nvidia gibt es dieses „nur“ jedoch nicht.
Welchen Input liefert die Engine an DLSS 5?
Wie DLSS 5 im Detail funktioniert, war öffentlichen Informationen bisher nicht zu entnehmen. Nvidia hat allerdings gesagt, dass DLSS 5:
- Farb- und Bewegungsvektoren des Spiels für jedes Frame berücksichtigt, weshalb die Ausgabe im ursprünglichen 3D-Inhalt verankert bleibt („3D Guided Neural Rendering“).
- Die von der Engine vorgegebene Geometrie dabei nicht angepasst wird.
- Entwicklern detaillierte Steuerungsmöglichkeiten wie Intensität und Farbkorrektur zur Verfügung stellt. Künstler können damit Mischung (Blending), Kontrast, Sättigung und Gamma anpassen und festlegen, wo und wie Verbesserungen angewendet werden, um die einzigartige Ästhetik des Spiels zu erhalten.
Deshalb soll DLSS 5 auch nicht das Artdesign verändern, der zentrale Vorwurf der letzten Tage.
Doch wie genau berücksichtigt DLSS 5 den Inhalt eines Frames? Erhält DLSS 5 zu diesem Zweck auch Informationen zum zugrundeliegenden 3D-Modell inklusive Tiefeninformationen direkt aus der Engine oder nicht? Explizit gesagt hat das Nvidia bisher nicht, doch die Aussage, dass „die Geometrie“ nicht verändert wird, klang für viele danach.
Die Basis: Ein 2D-Bild und Bewegungsvektoren
Allem Anschein nach war diese Schlussfolgerung falsch. Denn wie Daniel Owen auf Nachfrage bei Nvidia von Jacob Freeman erfahren hat, ist die Basis von DLSS 5 das fertig gerenderte 2D-Bild der Engine zuzüglich Bewegungsvektoren („Motion Vectors“) um zu verstehen, wie sich Objekte von Bild zu Bild bewegen.
3D- und Tiefeninformationen oder Informationen zu den vom Designer gewählten Oberflächen (Physical Based Rendering Properties) bekommt DLSS 5 also nicht direkt von der Engine übergeben. DLSS 5 sieht „nur“ den fertig gerenderten Frame und wie sich Objekte von Frame zu Frame bewegen.
Für die KI ist das mehr als genug!?
Das „nur“ ist in der Bewertung dieses Ansatzes allerdings entscheidend. Für Nvidia gibt es allem Anschein nach kein „nur“. Denn die KI, die hinter DLSS 5 steckt, braucht in Nvidias Kosmos keine weiteren Informationen aus der Engine, im fertig gerenderten 2D-Bild ist unter Zuhilfenahme der Bewegungsvektoren schließlich all das enthalten:
- Die Geometrie
- Die Tiefeninformationen
- Informationen über Farben, Kontraste, Licht und Schatten
- Informationen zu den Oberflächenbeschaffenheiten
Nvidias Ansatz ist im Endeffekt „Die KI ist perfekt“. Die eigene KI versteht, was auf dem 2D-Bild zu sehen ist – ohne zu wissen, wie die Engine zu diesem Ergebnis gekommen ist. Denn das fertige Bild enthält ja alle Informationen. Das ist sicher nicht der Ansatz, den viele Spieler erwartet haben.
Am Kernproblem ändert sich auch dadurch aber eigentlich nichts: Egal wie DLSS 5 funktioniert, es kommt darauf an, was dann daraus gemacht wird. Bedenken, dass das nicht funktionieren wird, werden die neuen Erkenntnisse über die technischen Hintergründe mit einer allgemein wachsenden Skepsis gegenüber KI aber nicht ausräumen – im Gegenteil.
Fabian und 
Jan-Frederik- Was macht DLSS 5?: Nvidias Antwort in einem Satz ist „die KI weiß, was sie tut“
- Nvidias CPX-Chip: Für Rubin gestrichen, bei Feynman eventuell wieder da
- CB-Funk-Podcast #161: Nvidia DLSS 5 und alles zur Technik von Crimson Desert
- +18 weitere News
Lässt man die Diskussion um die bisher gezeigten DLSS-5-Ergebnisse außen vor, bin ich bis dato schon davon ausgegangen, dass DLSS 5 tief mit der Game Engine verknüpft wird um ein umfassendes Verständnis der gerenderten Szenerie zu erlangen und dann über Neural Shader im Detail Anpassungen vorzunehmen. Aber dem ist allem Anschein nicht so, denn DLSS 5 nimmt „nur“ das fertig gerenderte 2D-Bild zuzüglich Motion Vectors entgegen und optimiert es mit Gen AI.
Hinter diesem Ansatz steckt Nvidias Überzeugung, dass AI zu allem fähig ist. DLSS 5 ist in Nvidias Augen quasi ein Koch, der ein komplexes Gericht (die gerenderte Szene) ohne Kenntnis des Rezeptes (was macht die Engine) 1:1 nachkochen kann, weil er durch Probieren vollständiges Wissen über die Rezeptur und die Zubereitung erlangen kann. Das Rezept ist irrelevant.
Kann das gelingen? Als AI-kritische Person bin ich gewillt das nicht glauben zu wollen und die ersten Demos haben bei genauerer Betrachtung Zweifel genährt. Ich will aber nicht ausschließen, dass es am Ende doch möglich ist. Wenn dem so wäre, wäre das einzige zu lösende Problem, dem Entwickler alle Tools in die Hand zu geben, damit er das Endresultat nach seinen eigenen Vorstellungen anpassen kann. Und das allein ist ein großes Thema. Gelingt der „AI weiß alles“-Ansatz nicht, hat DLSS 5 hingegen ein noch viel größeres Problem.