Nein, nur die temporalen Daten werden gejittert. Und mit dem EINEN gerenderten Bild verrechnet um es zu optimieren.
Und diese temporalen Daten werden vorher reduziert durch das DLSS Modell. Das Renderbild selbst ist
Es wird aber nicht das "gejitterte Bild" gerendert - sondern die temporal vorliegenden BILDER werden gejittert "gesampled" in einem "post-Processsing" Verfahren um daraus INKLUSIVE des aktuell gerenderten Bildes ein auszugebendes Bild zu generieren. Das entweder einfach nur "temporal" gefiltert ist (TAAU bzw. DLAA) oder ZUSÄTZLICH upscaled ist.
EDIT: Das Abtasten eines bereits bestehenden Bildes geht super schnell. Zumal man ja auch nicht ALLE Pixel scannt sondern eben nur die Zufällig "gejitterten". Denn rein zeitlich ist der RENDER Schritt immer noch das was am längsten Dauert. Der Post-Processing Schritt ist dagegen relativ schnell.
https://developer.unigine.com/en/docs/latest/principles/render/upscaling/?highlighted=dlss,dlsslll
EDIT: Deswegen steht da bei "Upscalers"
ziemlich weit unten findet sich ein Schema, wie die Frame erzeugung in einzel schritten abläuft.
Das DLSS kommt ganz offensichtlich hier erst NACH dem deferred rendering und dem TO-Rendering.
Das zeigt ganz klar, dass es sich beim DLSS um eine Art Post-Processing Filter handelt.
Entsprechend ist das Jittering die "Abstatung" (Sampling) der temporal vorliegenden Daten. Da werden nicht in jedem Bild nochmal ZIG-unterbilder "Gerendert"...es werden die schon zuvor gemachten Bilder erneut abgetastet - aber nur an bestimmten "Sub-Pixel" Positionen nach einem möglichst "Random" Muster (um Artefakte aus dem Sampling zu reduzieren).
Dieses Jittering/Abtasten nun wird bei TAA mit einem vorher definierten "Pseudo-Random" Halton-Muster gemacht. Beim DLSS aber mit einem Transformer Neural Net (seit DLSS 4 oder so).
Weil dies nach dem Training eine sehr komplexes, zugleich aber maximal cleveres Parametrieren dieser "Pseudozufallsfunktion" die das Jittering braucht um möglichst perfekte Ergebnisse zu liefern macht.
DLSS nutzt einen Buffer von zuvor generierten Frames und kreiert daraus mit dem neuen Frame sowie eben einer von Frame zu Frame WECHSELNDEN Abtastung eine Art "best guess" des finalen Bildes (basierend auf dem aktuell gerenderten Bild + eben den "Post-Processing DLSS-Filter".
Vielleicht hilft auch das hier fürs Verständnis: https://en.gamegpu.com/news/zhelezo/kak-na-samom-dele-rabotaet-apskejling-dlss-4-5-v-igrakh
Also NEIN: Diese Aussage ist einfach falsch
Das gerenderte Bild wird mit einem FILTER "korrigiert" der aus X-ZUVOR gerenderten (bzw. Ausgegebenen?) Bildern besteht, die mit einem "Sub-Pixel" Verfahren das eine Transformer Neural Net "steuert" erneut abgetastet werden um daraus das fertige Bild zu kreieren.
Das ganze kann nun MIT oder OHNE Upsampling gemacht werden, was das schöne an dem Verfahren ist.
Und diese temporalen Daten werden vorher reduziert durch das DLSS Modell. Das Renderbild selbst ist
usmave schrieb:Oder anderes Beispiel:
Du hast einen imput von 100x100 Pixeln (10.000 Pixel), gejittert werden draus Informationen aus 150x150 Pixel (22.500 Pixel), da das gejitterte Bild um einen halben Pixel versetzt gerendert wird. Mach das mal ca. 50x die Sekunde, was den ungefähren jetzigen Zahlen der Jitterbilder bei Nvidia entspricht.
Da kommen irrsinnige Mengen bei raus.
Das Modell entscheidet nur, was von diesem Datenberg weg kann, um dennoch ein ansprechendes Ergebnis zu liefern. Je besser es trainiert wurde, desto mehr kann in kürzerer Zeit verworfen werden.
Es wird aber nicht das "gejitterte Bild" gerendert - sondern die temporal vorliegenden BILDER werden gejittert "gesampled" in einem "post-Processsing" Verfahren um daraus INKLUSIVE des aktuell gerenderten Bildes ein auszugebendes Bild zu generieren. Das entweder einfach nur "temporal" gefiltert ist (TAAU bzw. DLAA) oder ZUSÄTZLICH upscaled ist.
EDIT: Das Abtasten eines bereits bestehenden Bildes geht super schnell. Zumal man ja auch nicht ALLE Pixel scannt sondern eben nur die Zufällig "gejitterten". Denn rein zeitlich ist der RENDER Schritt immer noch das was am längsten Dauert. Der Post-Processing Schritt ist dagegen relativ schnell.
https://developer.unigine.com/en/docs/latest/principles/render/upscaling/?highlighted=dlss,dlsslll
EDIT: Deswegen steht da bei "Upscalers"
/EDITDLAA (Deep Learning Anti-Aliasing) is an AI-powered tool to eliminate jagged edges in video apps, by rendering at native (100%) resolution. It improves image quality with less performance cost than traditional anti-aliasing methods.
ziemlich weit unten findet sich ein Schema, wie die Frame erzeugung in einzel schritten abläuft.
Das DLSS kommt ganz offensichtlich hier erst NACH dem deferred rendering und dem TO-Rendering.
Das zeigt ganz klar, dass es sich beim DLSS um eine Art Post-Processing Filter handelt.
Entsprechend ist das Jittering die "Abstatung" (Sampling) der temporal vorliegenden Daten. Da werden nicht in jedem Bild nochmal ZIG-unterbilder "Gerendert"...es werden die schon zuvor gemachten Bilder erneut abgetastet - aber nur an bestimmten "Sub-Pixel" Positionen nach einem möglichst "Random" Muster (um Artefakte aus dem Sampling zu reduzieren).
Dieses Jittering/Abtasten nun wird bei TAA mit einem vorher definierten "Pseudo-Random" Halton-Muster gemacht. Beim DLSS aber mit einem Transformer Neural Net (seit DLSS 4 oder so).
Weil dies nach dem Training eine sehr komplexes, zugleich aber maximal cleveres Parametrieren dieser "Pseudozufallsfunktion" die das Jittering braucht um möglichst perfekte Ergebnisse zu liefern macht.
DLSS nutzt einen Buffer von zuvor generierten Frames und kreiert daraus mit dem neuen Frame sowie eben einer von Frame zu Frame WECHSELNDEN Abtastung eine Art "best guess" des finalen Bildes (basierend auf dem aktuell gerenderten Bild + eben den "Post-Processing DLSS-Filter".
Vielleicht hilft auch das hier fürs Verständnis: https://en.gamegpu.com/news/zhelezo/kak-na-samom-dele-rabotaet-apskejling-dlss-4-5-v-igrakh
Also NEIN: Diese Aussage ist einfach falsch
....da das gejitterte Bild um einen halben Pixel versetzt gerendert wird.
Das gerenderte Bild wird mit einem FILTER "korrigiert" der aus X-ZUVOR gerenderten (bzw. Ausgegebenen?) Bildern besteht, die mit einem "Sub-Pixel" Verfahren das eine Transformer Neural Net "steuert" erneut abgetastet werden um daraus das fertige Bild zu kreieren.
Das ganze kann nun MIT oder OHNE Upsampling gemacht werden, was das schöne an dem Verfahren ist.