Test DLSS 4.5 & FSR AI vs. Nativ im Test: Die Bildqualität im direkten Side-by-Side-Video-Vergleich

@gartenriese Wurde doch schon zig mal erklärt. Dadurch dass die Kamera in jedem Frame minimal versetzt wird (jitter) bekommst du mit jedem Frame neue Bildiformationen, so dass du bereits nach 4 Frames genug Informationen hättest, um das Spiel in 4 facher Auflösung zu rendern.

Wenn du z.B. eine dünne Stromleitung im 720p Bild nur verpixelt und unvollständig abgebildet siehst, dann wird sich über mehrere Frames hinweg durch den jitter und die immer leicht andere perspektive der Teil der Stromleitung den du siehst bzw. nicht siehst in jedem Frame etwas verändern. Im 720p Frame würde die Stromleitung dann auch flimmern wenn du dich bewegst, weil sie so dünn ist, dass immer nur ein paar Pixel der Stromleitung es tatsächlich ins fertige Bild schaffen.
Wenn du dann aber mehrere Frames kombinierst, wo jeweils ein teil der Leitung zu sehen war, dann können diese Informationen kombiniert werden, bis aus den pixeligen teilstücken irgendwann eine klare durchgehende Linie wird.

Wenn also Information in einem Frame fehlt, wird sie durch den Jitter in den vorherigen Frames irgendwo zu finden sein. Je feiner der Jitter der Kamera und je mehr frames, desto feiner wird auch die Szene abgetastet und desto höher kann man (in der theorie) die Auflösung am ende pushen.


Also das Grundprinzip ist nun wirklich keine Raketenwissenschaft und seit Jahrzehnten bekannt und häufig teil einer Signalverarbeitung. Hab letztens sogar ein Video auf YouTube gesehen wo dieses prinzip der Mehrfachabtastung genutzt wird, um die Ausbreitung von Licht im Raum auf Video aufzunehmen. Die Kamera kann zwar nur einen Pixel aufnehmen, aber auch da nutzt man die Mehrfachabtastung der Szene, um daraus ein vollständiges Bild zu rekonstruieren.
Man schießt einen Laser Impuls einfach millionen fach ab.
Nach jedem Abschuss macht man immer zur exakt gleichen zeit eine Aufnahme, jedoch in der räumlichen Position immer leicht versetzt (quasi unser jitter). So bekommt man mit einer Kamera die nur einen Pixel aufnehmen kann trotzdem ein vollständiges Bild. Hat das Bild also z.B. eine 720p Auflösung, braucht man nur 1280x720 mal die Position leicht ändern, den Laser pulse ebenfalls so oft abschießen und jeweils ein Pixel zur gleichen Zeit aufnehmen und die Aufnahmen zusammensetzen. Schon hat man ein vollständiges Bild. Will man den nächsten Frame aufnehmen justiert man nur den Aufnahmezeitpunkt nachdem der Laser abgeschossen wurde und tastet wieder 1280x720 mal die Position ab, um das zweite Bild zusammenzusetzen.

Hier das Video

Hat zwar überhaupt nichts mit DLSS zu tun, führt das Prinzip der temporalen akkumulation aber ins absolute extrem. Ich kann das Video daher trotzdem sehr empfehlen, um das Prinzip zu verstehen.
Der Relevante Teil beginnt bei 13:10. Ich empfehle trotzdem das ganze Video.

Theoretisch könnte man also bei DLSS sogar mit 1 Pixel Pro Frame arbeiten, wenn das Spiel mit Millionen von Frames pro Sekunde laufen würde. Die Frage ist also nur, wie viele Pixel man in einer bestimmten Zeit abtasten kann. Wenig Auflösung und mehr Frames oder mehr Auflösung und weniger Frames. Ist zumindest tehoretisch völlig egal, es zählt nur, vie viele Megapixel Pro Sekunde man abtastet. In der Praxis erreicht man natürlich niemals so hohe Frameraten in einem Spiel, erstens weil die CPU meistens schon bei wenigen hundert Frames/s limitiert und weil eine GPU überhaupt nicht darauf ausgelegt ist nur einen Pixel zu berechnen. Die Rechenleistung der Grafikkarte würde also kaum ausgenutzt werden. Das funktioniert in der Praxis also nicht.

Soll ja auch nur ein Extrembeispiel sein, wie man selbst aus einem Pixel beliebig hochauflösende Bilder rekonstruieren könnte, was ja nach ansicht mancher hier "nicht möglich" sein soll.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: ComputerJunge, Lurtz, Qyxes und 8 andere
Lexor-tm schrieb:
Wenn DLSS nur Engine Metadaten bräuchte, wäre der Deep Learning Teil überflüssig. Nvidia nutzt den Begriff "Rekonstruktion" sicher nicht zufällig.
Marketing-Sprech, Nvidia hält in diesen Folien MFG auch für ein Feature, mit dem man flüssig auf einer 5060 8GB spielen könnte. Eine Rekonstruktion ist keine Erfindung. Oder würdest du sagen, Edison hat die Glühbirne "rekonstruiert"?
Lexor-tm schrieb:
Stacking rekonstruiert nicht, sondern addiert. Du kannst noch so viele Fotos stacken, wenn überlagernd in allen Fotos spezifische Details fehlen, fehlen die auch im Resultat.
Das stimmt, aber eine Skalierung ist auch kein Prozess, bei dem etwas erfunden wird. Die neuen Pixel werden mit Informationen gefüllt, die aus den Bildern vorher stammen. Neues zu erfinden ist nicht die Aufgabe der KI, sonst müsste man Ghosting bei kleinen Objekten wohl nicht so eindämmen.
 
gartenriese schrieb:
Wenn das tatsächlich so wäre, dann hab ich Mal eine Frage. Stell dir vor du benutzt DLSS Ultra Performance in 4k und du schaust dir im Spiel irgendeine Textur an und bewegst dich nicht. Wie kann dann die Textur mit DLSS mehr Details haben als wenn man sich nur das 720p-Bild anschaut?
Du hast doch gestern noch geschrieben
Ich weiß was Jittering ist und woher die Daten für DLSS kommen
Also kannst du dir das doch sehr gut selbst beantworten.

Und nein, DLSS „weiß“ nicht wie die Textur aussehen müsste und setzt dementsprechend die Pixel so hin, erneut, das war im Groben was DLSS 1.0 gemacht hat. Die Informationen müssen vollständig aus den vorherigen Frames extrahierbar sein
Ergänzung ()

Lexor-tm schrieb:
Ohne die Erschaffung von Neuem, ist Rekonstruktion mit unvollständigen Informationen über das Original nicht möglich.
Es gibt keine unvollständigen Informationen über das Original, das ist ja der Punkt.
Es gibt sogar zu viele Informationen über das Original und DLSS muss bewerten, welche davon nicht verwendet werden
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Grestorn, Melmoth, Boimler und eine weitere Person
Taxxor schrieb:
Und nein, DLSS „weiß“ nicht wie die Textur aussehen müsste und setzt dementsprechend die Pixel so hin, erneut, das war im Groben was DLSS 1.0 gemacht hat
Bei diesem Video, das DLSS mit Auflösungen bis hinunter zu wenigen Pixeln zeigt, kann man DLSS etwas bei der Arbeit zusehen. Der Jitter ist zwar nicht direkt sichtbar, aber man kann sehen, dass wenn keine Information akkumuliert werden kann, DLSS einfach die unverbesserte Quellinformation zeigt. Das Verhalten von DLSS ist vielfach analysiert worden und ich habe bisher keine Analyse gesehen, die ein Verhalten gefunden hat, das über Akkumulation hinausgeht.
 
  • Gefällt mir
Reaktionen: Lurtz, Tr8or, CuzzImBasti und 5 andere
@Taxxor @Mimir Danke euch, mir scheint ich bin komplett auf das Marketing von Nvidia reingefallen. Ich hatte bisher gedacht, dass das wichtigste die Inferenz wäre, aber so wie ihr das jetzt erklärt habt ist das Jittering das wichtigste (quasi die "Handarbeit" ohne KI). Das erklärt auch, warum die Fortschritte immer geringer werden, weil nur der kleine Teil vom ganzen Prozess verbessert werden kann durch größere Modelle.
 
gartenriese schrieb:
Das erklärt auch, warum die Fortschritte immer geringer werden, weil nur der kleine Teil vom ganzen Prozess verbessert werden kann durch größere Modelle.
Vor allem erklärt es ja auch, warum da nichts erfunden sondern aussortiert wird. Deshalb mein Vergleich mit dem Stacking, wo Bildfehler auch systematisch herausaddiert werden. Der Unterschied ist nur, dass Upsampling schon bei der Erstellung des Bildes eingreift und nicht die fertigen Anzeigen miteinander in Beziehung setzt - so wie wir Menschen das jetzt hier im Nachhinein tun und schauen, wo noch was flimmert etc.
 
  • Gefällt mir
Reaktionen: gartenriese
gartenriese schrieb:
@Taxxor @Mimir Danke euch, mir scheint ich bin komplett auf das Marketing von Nvidia reingefallen. Ich hatte bisher gedacht, dass das wichtigste die Inferenz wäre, aber so wie ihr das jetzt erklärt habt ist das Jittering das wichtigste (quasi die "Handarbeit" ohne KI). Das erklärt auch, warum die Fortschritte immer geringer werden, weil nur der kleine Teil vom ganzen Prozess verbessert werden kann durch größere Modelle.

Nein, das Jittering ist nur das Grundprinzip, wie man eine Szene temporal supersampled, also mehr Bildinformationen gewinnt, als in einem einzelframe vorhanden ist. TAA macht bereits exakt das gleiche und nutzt die Bildinformationen zur Kantenglättung. Aber das war erstmal nur um die Frage zu beantworten wie aus "wenig" Bildinformationen "mehr" Bildinformation werden kann.

Die eigentliche komplexität liegt nicht im jittering bzw. der temporalen akkumulation, das Problem ist das ganze auch in einer sich bewegenden Szene zu tun.
Wenn sich nicht mehr nur die Kamera leicht (und vorbestimmt) bewegt, sondern mit jedem Frame die komplette Szene vom Spieler quasi wahllos hin und her bewegt wird, wird es extrem viel schwerer, die Bildinformationen, die man über mehrere Frames hinweg gewinnt, richtig zuzuordnen. Als hilfestellung dafür liefert die Engine Motion Vectors, damit der Algorithmus verstehen kann, wie sich objekte über Zeit durch die Szene bewegen um dann die Pixel der verschiedenen Frames richtig zuordnen zu können.

Auch hier ist TAA noch im Boot. Mit TAA kann sich die Szene schließlich auch bewegen und das Bild wird trotzdem geglättet. Aber hier gerät TAA eben selbst in nativer Auflösung schon an seine grenzen und zeichnet das Bild in Bewegung unscharf. Unschärfe bedeutet, dass nicht genug Bildinformationen temporal akkumuliert und korrekt zugeordnet werden konnten. Der Algorithmus wird unsicher und neigt dann dazu details einfach zu verwischen.

Genau dieses Problem wird dann dermaßen komplex, dass es idealerweise trainierte KI braucht, um diesen Datensalat dann noch korrekt verarbeiten zu können und die Pixel bzw. Samples an die korrekte Position im fertigen Bild zu bringen. Je besser das gelingt, desto schärfer wird das Bild in Bewegung. Und DLSS (und auch FSR) sind durch das KI training so gut in dieser Aufgabe, dass sie trotz stark reduzierter Auflösung der einzelbilder so viele Bildinformationen korrekt temporal akkumulieren können, dass das Ergebnis meist besser aussieht, als mit TAA.


Also nochmal, das grundprinzip der temporalen Akkumulation macht sich bereits TAA zu nutze. Sagt ja bereits der Name. Dort werden die Bildinformationen nicht ins Upsampling sondern nur in die Kantenglättung gesteckt. TAA kommt hier aber bereits an seine Grenze.

Bei DLSS und FSR hingegen können so viele Bildinformationen über Zeit genutzt werden, dass man nicht nur wie bei TAA Kantenglättung machen kann, sondern direkt das Bild auch in höherer Auflösung ausgeben kann, als ursprünglich gerendert wurde. Man hat also einen massiven Informationsüberschuss im Vergleich zu TAA, weil der Algorithmus selbst so viel besser arbeitet. Und genau dafür braucht es das Neuronale Netz und das KI Training. DLSS und FSR machen das was TAA auch macht, nur vielfach besser. Sie erfinden oder haluzinieren keine Details, sie skalieren das Bild auch nicht im klassischen sinne hoch, sie schaffen es einfach nur, so viel mehr Bildinformationen über eine Szene zu sammeln und die Daten korrekt zu verwerten, dass sie ein viel schärfers Bild erzeugen können, welches dann in höherer Auflösung ausgegeben werden kann. DLSS und FSR sind somit ein KI gestütztes und somit ein sehr viel leistungsfähigeres TAA. Die KI macht hier nichts anderes, als die Daten aus den vorherigen Frames richtig zu sortieren und zu gewichten. Das ist die hohe Kunst. Je besser das gelingt, desto besser das Bild.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: ComputerJunge, Lurtz, theGoD und 10 andere
danyundsahne schrieb:
Ja gut, kenne ich schon auch noch. Aber selbst mit dem .arj Entpacken so mancher Games fand ich das damals weniger verwirrend als die heutigen Einstellungen die ich alleine im GPU Treiber alles einstellen kann. :D

Also so eine Flut an einstellbaren Dingen gab es früher beileibe nicht meiner Meinung nach....
Da gab es diese ganzen Techniken noch nicht. Das war doch alles deutlich einfacher gestrickt.
Man muss aber nichts einstellen. Alles auf "Standard" lassen oder automatische Optimierung geht ja auch. Es ist in Deinem Kopf das Gefühl irgendwie immer noch etwas besser optimieren zu müssen. Notwendig ist das nicht.
 
Natürlich wurde hier FSR3 nicht mitgetestet, aber dieser Test ist spätestens jetzt auch ein ganz klarer Beweis dafür, dass z.B. ein Wechsel von einer 7900XT oder XTX auf eine 9070 oder XT mit FSR4 (AI) viel mehr als ein reines Sidegrade ist. Nativ ist es definitiv ein Sidegrade, aber in Sachen Bildqualität eben doch ein gewaltiger Unterschied und auch ein klarer Schritt nach vorne. Ich bin heilfroh, dass ich meine RDNA3 verkauft habe. Lassen wir die "nur" 16GB VRAM aussen vor. Eine RTX 5080 muss sich damit auch "herumquälen"!
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Blood011, Lurtz, Nihil Baxxter und 2 andere
Danke, @Mimir , die Grundprinzipien mit den Motion Vectors usw. war mir schon bekannt, aber nicht in der Tiefe wie du es mir erklärt hast. Finde ich super, dass man hier nicht nur mit einem "Du bist ja dumm" verscheucht wird sondern ausführliche Erklärungen bekommt. Danke nochmals.
 
  • Gefällt mir
Reaktionen: Boimler, ElliotAlderson, Grestorn und eine weitere Person
gartenriese schrieb:
Wenn das tatsächlich so wäre, dann hab ich Mal eine Frage. Stell dir vor du benutzt DLSS Ultra Performance in 4k und du schaust dir im Spiel irgendeine Textur an und bewegst dich nicht. Wie kann dann die Textur mit DLSS mehr Details haben als wenn man sich nur das 720p-Bild anschaut?
Weil man, wie ich ja bereits beschrieben habe, bei einem statischen Bild mit der temporalen, gejitterten Methode ein immer detaillierteres Bild bekommt. Jedes neu gerederte Frame fügt weitere Details hinzu.

Nach einer Sekunde hast Du bereits 60 weitere Frames (bei 60 fps), die alle mehr Details zum Bild hinzufügen als das erste gerenderte native Bild.

Jittering bedeutet, dass bei jedem Frame das Renderraster minimal verschoben wird, damit Details, die eigentlich "zwischen" das Pixelraster fallen, wieder sichtbar werden.

/Edit Hab Mimir's Text zu spät gelesen. Er hat das alles optimal erklärt.

Jetzt wäre nur noch schön, wenn das auch mal in einen redaktionellen Artikel gefasst würde, damit die Missverständnisse, Mythen und Fehlinformationen endlich mal zumindest etwas bekämpft werden. Wie wär's. @Wolfgang ?
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: gartenriese
neofelis schrieb:
Wahrscheinlich wegen der überzogenen Schärfe.

DLSS 4 und 4.5 schärfen nicht nach, es ist ein noch aktivierter oder/und nicht abschaltbarer Schärfefilter ingame, die die Überschärfe erzeugen.

Wolfgang schrieb:
DLSS 4.5 schärft genau wie DLSS 4 selbst überhaupt nicht nach. Ja, DLSS 4.5 und DLSS 4 erzeugen generell, sowohl im Stillstand als auch in Bewegung, ein sehr scharfes Bild.

In den meisten Fällen ist das kein Problem. Wenn das Spiel selbst aber nachschärft und man das nicht abstellen kann, wird es schnell zu viel. Dann kann es auch überscharf werden, dagegen kann man leider aber nichts machen. In so einem Fall kann es dann auch einfach zu viel sein. So oft tritt das aber zum Glück nicht auf. Schärferegler auf 0 (das sollte man IMMER tun) löst das Problem meistens.
 
  • Gefällt mir
Reaktionen: theGoD
Vigilant schrieb:
...was aber einen grundsätzlichen Prinzip von Zeit und Fortschritt (technologisch) widersprechen würde.
Der Faktor Zeit ist entscheidend. PAL Fernsehen gab es in weitgehend unveränderter Form gut 40 Jahre lang und Benzin verbrennen wir nun seit über 100 Jahren. Nach der Elektronenröhre, dem Transistor und dem Siliziumchip, werden wird vielleicht auch irgendwann etwas anderes finden, nur ob wir das noch erleben werden ist fraglich.
 
  • Gefällt mir
Reaktionen: Vigilant
GOOFY71 schrieb:
dieser Test ist spätestens jetzt auch ein ganz klarer Beweis dafür, dass z.B. ein Wechsel von einer 7900XT oder XTX auf eine 9070 oder XT mit FSR4 (AI) viel mehr als ein reines Sidegrade ist.
Ja, FSR4, RT und die auf absehbare Zeit steigenden Preise waren für mich der Grund von 6800 XT auf 9070 OC zu gehen. Im November.

Für die 6800 XT gab es noch 280€ in der Bucht, die 9070 OC bekam ich neu für 520€. Das Upgrade für 240€ also hat sich schon gelohnt, ABER:

Im Nachhinein hätte ich zu dem Zeitpunkt des 6800 XT Kaufs (03/2023 für 570€) auch gleich eine RTX 4080 nehmen können (die gab's zu der Zeit schon ab ca. 1000€). In der Gesamtrechnung hätte ich dann zwar immer noch min. 200€ draufgelegt. Aber dafür hätte ich schon vor 3 Jahren besseres Upscaling und RT bekommen und bis heute keinen Aufrüstgrund gehabt.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Pro_Bro, theGoD, Tr8or und 2 andere
Grestorn schrieb:
Stimmt. Der Artikel beweist sogar, dass DLSS Performance(!) meist deutlich besser als Native aussieht. Von Balanced und Quality gar nicht zu sprechen.
Genau genommen beweist der Artikel, dass DLSS/FSR (performance) inklusive/trotz upscaling (oft) besser aussieht, als TAA Nativ. Nicht aber, dass (DLSS/FSR performance wegen) upscaling besser aussieht, als (jedes beliebige AA Verfahren in) Nativ, denke da an DLAA /FSR nativAA. Also es beweist nicht, dass es wegen upscaling besser aussieht, sondern nur dass das Anti aliasing von TAA den beiden anderen Verfahren unterlegen ist. Füttert man die überlegenen Verfahren ebenfalls nativ, wird das Ergebnis höchstwahrscheinlich noch besser, ansonsten gäbe es ja auch keinen Qualitätsgewinn von ultra Performance (3) zu performance (2) zu Balanced (1,724) zu quality (1,5). Also mit niedrigerem upscaling Faktor, bzw um so niedriger umso besser, sollte dann auch bei Faktor nativ (1) gelten.

Nicht das du das geschrieben hättest, manchmal bekommt man bei dem Thema aber den Eindruck.





Edit. Trenn den zweiten Abschnitt hier mal raus, weil es nicht im Zusammenhang steht. Und scheinbar für Verwirrung sorgt.
 
Zuletzt bearbeitet:
Grestorn schrieb:
Also mit Fake-Schärfe und Fake-Details.
Erwartets du wirklich das man auf solchen Stuss eine ordentliche Antwort gibt ?
Grestorn schrieb:
Das hat nichts mit echter Detailtiefe zu tun.
"Echte" Detailtiefe kenne ich nur aus der Fotografie.

Und nein die geometrische Detailtiefe, die die UE5 ermöglicht, ist noch lange nicht alles und die UE5 auch nicht der "Standard".
Und wenn, wie von mir bereits geschrieben, die Spiele kein DLSS und FSR in der aktuellen Iteration anbieten hat sich die Thematik eh für mich erledigt.
 
Nihil Baxxter schrieb:
RTX 4080 nehmen können (die gab's zu der Zeit schon ab ca. 1000€). In der Gesamtrechnung hätte ich dann zwar immer noch min. 200€ draufgelegt. Aber dafür hätte ich schon vor 3 Jahren besseres Upscaling und RT bekommen und bis heute keinen Aufrüstgrund gehabt.
Langfristig gesehen halte ich Nvidia auch für die bessere Wahl. Das ist wohl unumstritten. Im Highend Segment gibt es keine Alternativen. Seit RDNA4 stellt AMD zumindest eine ordentliche Alternative im Mitteklasse Segment dar.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: ElliotAlderson und Nihil Baxxter
@Fika

Wir haben nun seitenweise erklärt, wieso es objektiv und aus nachvollziehbaren, erklärbaren Gründen bei FSR 4 und DLSS mehr Detailtreue gibt als bei einem native gerenderten Einzelbild. Entweder Du liest es, verstehst es, oder Du lässt es. Dann hör aber bitte auf mit Deiner Skepsis und falschen Infos um Dich zu werfen.

@KarlsruheArgus

Was genau ist daran Stuss, dass Aliasing nichts anderes ist als "empfundene" Schärfe (also Fake-Schärfe) aber eben keine echte Schärfe?

Wenn Du ein gutes Argument hast, dann her damit. Zu Schreiben "das ist Stuss" ist zu billig.

Wenn Du kein Spiel hast, das DLSS und FSR kann (wie alt sind Deine Spiele), dann hast Du keine eigene Vorstellung von diesen Features und solltest Dich vielleicht dementsprechend etwas zurückhalten.
 
  • Gefällt mir
Reaktionen: CuzzImBasti und ElliotAlderson
Grestorn schrieb:
Wenn Du ein gutes Argument hast, dann her damit. Zu Schreiben "das ist Stuss" ist zu billig.
Du schreibst von Fake, nicht ich, also liefere eine brauchbare Argumentation ansonsten hat sich das erledigt.

Grestorn schrieb:
Zu Schreiben "das ist Stuss" ist zu billig.
Ach... :stacheln:
Grestorn schrieb:
Also mit Fake-Schärfe und Fake-Details.

Grestorn schrieb:
Wenn Du kein Spiel hast, das DLSS und FSR kann (wie alt sind Deine Spiele), dann hast Du keine eigene Vorstellung von diesen Features und solltest Dich vielleicht dementsprechend etwas zurückhalten.
Was soll diese Falschaussage ?
KarlsruheArgus schrieb:
Und wenn, wie von mir bereits geschrieben, die Spiele kein DLSS und FSR in der aktuellen Iteration anbieten hat sich die Thematik eh für mich erledigt.
 
  • Gefällt mir
Reaktionen: Andre83hro
GOOFY71 schrieb:
Seit RDNA4 stellt AMD zumindest eine ordentliche Alternative im Mitteklasse Segment dar.
Sehe ich auch so. Bin zudem ein Freund der Adrenalin-Suite, begrüße den guten Linux-Support und darüber hinaus profitieren alle PC-Spieler von einer Konkurrenz-Situation auf dem dGPU-Markt.
 
  • Gefällt mir
Reaktionen: HtOW und GOOFY71
Zurück
Oben