also wie erwartet kriegt das DLSS5 model
keine Geomertiedaten, sondern basically den Framebuffer des vorherigen Rendering Schritts, ob das nun DLSS4 oder natives Rendering oder Raytracing ist, ist egal, sie operieren ganz klar auf Pixelebene und nicht direkt (zusätzlich) auf den Geometriedaten.
Damit ist auch jeder Hinweis von Nvidia über Kontrolle und "Creator intent" für den Müll, da Sie das schlicht nicht garantieren können, da das DLSS 5 Modell die Ground Truth der Geomterie gar nicht kennt. Es "kennt/sieht" wie eine 2D Representation, und ist auf vorherschende Licht, Schatten, Occlusion Effekte angewiesen, um Tiefe und Geometry abzuleiten.
Also im Endeffekt ein reiner Post-processing Filter, wie befürchtet.
NVidia hat hier gar nichts "beruhigt"", im Gegenteill, sie haben die schlimmsten Befürchtungen bestätigt.
edit2:
Sie verwenden 3 Infos aus dem Renderer:
- Albedos: Grundfarbe
- Surface Normals: Oberflächenstruktur
- "some" lightning information: vermtul. Reflektionsfaktor, etc
Also mehrheitlich Informationen welche die Beleuchtung beeinflussen.
Innerhalb dieser Grenzen darf das Model frei entscheiden (o-ton NVidia). Darf also z.Bsp eine Oberfläche 2cm nach aussen bewegen, ohne Farbe, Material und Obfläche zu verändern
oder halt Grace's Gesichtsform ....
Motion Vectors, etc. werden weiter verwendet...
edit: Wenigstens die Masken kommen laut talk von der Engine.
Auch betonen sie dass es die Geometrie nicht verändert ("respecting the frame"), was in der Umkehr für mich bedeutet (sonst hätten sie es erwähnt) dass sie die Geomtrie auch nicht verwenden.
Will heissen: Sie verändern nicht die Geometriedaten des originalen Frames / der Engine, aber sie können sehr wohl die Wirkung/das Aussehen der Geometrie auf der Pixel Ebene anpassen. Kann daher zu wahrgenommen veränderter Geometrie führen.
