Test DLSS 4.5 & FSR AI vs. Nativ im Test: Die Bildqualität im direkten Side-by-Side-Video-Vergleich

[gartenriese]

Danke, jetzt wird es auch der Letzte begreifen.

Sehr optimistisch Das Problem ist doch bei Vielen, dass sie es nicht begreifen wollen. Sprichwort Faktenresistenz.

 

[Grestorn]

Die Upscaler werden mit hochaufgelösten Bilddaten trainiert, da steht nichts davon dass jedes Spiel mit den Bilddaten genau dieses Spiels trainiert wird

Naja, es ist halt das Prinzip, mit dem man bei DLSS 1 wohl versucht hat, das Problem anzugehen. Ich würde noch nicht mal denken (ich weiß es aber nicht), dass man beim Training von DLSS generell oversampled Bilder braucht. Denn es geht nicht darum, Details zu rekonstruieren (das kann der Basis-Algorithmus durch das Jittering viel besser), sondern es geht darum, Okklusions-Effekte rauszurechnen. Und dafür brauche ich gar keine hohe Auflösung des Trainingsmaterials.

Da geht es oft viel mehr darum, dem Auge trotz fehlender Informationen (schnelle Kamerabewegung) ein Bild zu liefern – wenn auch nur für den Bruchteil einer Sekunde, also 2–10 Frames – das der Mensch das nicht als störend und fehlerhaft empfindet. Dafür brauche ich keine Auflösung.

Oder auch darum, auch wenn keine passenden Motion-Vektoren vorhanden sind, dennoch zu erkennen, dass sich bei diesem Ding um ein sich bewegendes Partikel handelt, und das korrekt rauszurechnen statt es zu smearen. Auch dafür brauche ich keine Auflösung. Sondern nur Wissen über die Art, wie Rendering und Render-Engines funktionieren.

 

[Taxxor]

@Grestorn wo ich mitgehe ist, dass die Aussage, die Qualität von DLSS sei nur so gut, weil mit einem hochaufgelöstem Bild trainiert wird, sich schon so liest als müsse es mit hochaufgelöstem Material genau dieses Spiels(und dieser Szenen) arbeiten, um zu wissen wie es am Ende aussehen muss. Was den Gedanken des „erfinden von Details“ fördert, gerade für Leute die nicht so tief in der Materie sind.


Dass beim Training generell gegen eine ground truth verglichen wird, denke ich aber schon, aber halt eben generisch

 

[Mimir]

Call of Duty: Black Oops 7 ist mit DLSS total überschärft. Schaut ja gruselig aus, der Schnee besteht aus lauter Mini-Bombentrichtern . Hat wohl, im Gegensatz zu "Nativ", wohl frisch geregnet
Zudem sieht man, vor allem bei den Schatten-Abgrenzungen, deutliche "Treppenstufen".

Auch hier wieder das gleiche Problem wie immer. Das Spiel wendet einen starken Scharfzeichner an, sobald Upscaling genutzt wird. Hier FSR links und DLSS rechts.

Man sieht mit FSR die gleiche weiße Umrandung wie bei DLSS. Bei DLSS ist es nur deutlich stärker ausgeprägt und sieht völlig überschärft aus, weil das grundlegende Bild bereits deutlich weniger Unschärfe hat.

Bei FSR verwischen genug Details, so dass der Scharfzeichner nicht so viele Details erfassen kann, die er dann nachschärfen könnte.

Das ist kein DLSS Problem, sondern auch ein FSR Problem bzw. genauer gesagt das Problem der Entwickler des Spiels die den Schärfefilter erzwingen und nicht abschaltbar machen.


Soweit ich das sehe ist bei Nativer Auflösung der Schärfefilter ebenfalls aktiv, wirkt sich aber aufgrund der TAA unschärfe noch weniger aus (oder die Entwickler haben ihn tatsächlich weniger stark eingestellt).

So oder so müssen da die Entwickler der Spiele ran und nicht Nvidia. Du siehst ja, dass das DLSS Bild sehr viel detaillierter ist und ein Scharfzeichner daher völlig sinnfrei. Auch beim FSR bild bringt der Scharfzeichner nichts. Er hat bis auf die Kanten eh kaum Details mit denen er arbeiten kann. Außer dicke ränder also kein Mehrwert.

 

[gartenriese]

Es muss mit in-engine Daten trainiert werden, weil um nvidia nochmal zu zitieren:

Wo willst du sonst motion vectors her bekommen? Und warum nutzt nvidia das sehr spezifische Wort game engine?

Das was du da zitierst ist ja nicht das Training für DLSS sondern die Eingabedaten während dem Spielen.

 

[Grestorn]

Dass beim Training generell gegen eine ground truth verglichen wird, denke ich aber schon, aber halt eben generisch

Am Ende des Tages können das nur die Nvidia-DLSS-Entwickler im Detail beantworten. Ich würde zu gerne mit einem diskutieren.

Ich denke nur, dass, wenn wir glauben, dass der Algorithmus damit besser wird, weil er mit enorm vielen Daten aus echten Spielen trainiert wird, wir dann falsch liegen. Abgesehen davon, dass dann auch die Größe des neuronalen Netzes irgendwann explodieren würde. Das bleibt aber immer in etwa gleich groß.

Es muss viel gezielter trainiert werden, um effektiv zu sein.

Wenn Du den Anfang der Diskussion mit ihm anschaust, kam er schon von dem Postulat, dass DLSS Details erfindet, da es ja nur mit Bilddaten "trainiert" wird. Ich kann nicht mehr nachsehen, um das Zitat rauszuholen, da ich ihn so schnell nicht mehr un-ignorieren werde. Aber Du kannst ja mal zurückgehen.

 

[Anti-Monitor]

Gefällt mir gut. Bringt das auch was in FHD auf den kleinen Karten wie 5050 und 5060 mit 8GB?

 

[gartenriese]

Dieses Beharren auf einer Ground Truth ärgert mich so sehr, weil sie ein Narrativ befeuert, das so einfach nicht stimmt. AI Upscaling = Erfundene Details. NEIN. Die Details sind eben NICHT erfunden.

Kannst du das erläutern? Die Daten, die Nvidia für das Training verwendet, sind ja die sogenannte "Ground Truth". Und was meinst du damit, dass die Details nicht erfunden sind? Die Details kommen ja nicht vom Spiel selbst sondern von DLSS, sind also meiner Meinung nach generiert, also "erfunden". Oder verstehe ich dich da gerade falsch?

Edit: Vielleicht ein Beispiel: Wenn ich im Navi nach dem Weg frage, dann "erfindet" das Navi mir ja auch die Route, sprich generiert den Pfad durch irgendwelche Algorithmen und Daten. Es gibt ja keine Datenbank irgendwo, wo genau diese Route, die ich will, schon hinterlegt ist. Genau das gleiche passiert doch auch mit DLSS, oder?

 

[Pro_Bro]

Der Großteil der User hier ist laut der letzten Hardware Umfrage auf WQHD unterwegs.
Die schnellste AMD Karte mit FSR4 ist die 9070 XT, diese widerrum werden die wenigsten kaufen um damit dann auf UHD zu spielen.

Dass in UHD bei DLSS quasi immer und bei AMD Spieleabhängig der Performance Mode noch besser aussieht als Nativ/TAA ergibt bei Super Sampling mit den dafür recht hohen 1080p Sinn.

Wie sieht es denn aber bei den meisten Computerbase Lesern in der Praxis, die mit WQHD unterwegs sind, aus?

 

[Lurtz]

Kannst du das erläutern? Die Daten, die Nvidia für das Training verwendet, sind ja die sogenannte "Ground Truth". Und was meinst du damit, dass die Details nicht erfunden sind? Die Details kommen ja nicht vom Spiel selbst sondern von DLSS, sind also meiner Meinung nach generiert, also "erfunden". Oder verstehe ich dich da gerade falsch?

Das Neural Network lernt anhand echter Enginedaten wie es in wesentlich höherer Auflösung gerendert aussehen müsste. Es lernt aber nicht anhand von konkretem Content, wie dieser wiederherzustellen ist, sondern lernt davon abgeleitete, allgemeingültige Regeln.

Beispiel:
Modell erkennt "das ist eine Stromleitung" -> Versuche die feinen Linien vertikal in ihrer Struktur beizubehalten, möglichst ohne Brüche (etwas das DLSS irgendwie bis heute nicht gut kann ).

Es lernt aber nicht:
In Spiel XY ist da eine Stromleitung, pinsel die in den Frame.

Wie sollte das bei einem völlig interaktivem Material wie Spielen auch funktionieren? Kein Spiel mit NPCs könnte so funktionieren, woher soll der Algorithmus wissen, wo sich die Figuren bewegen und wo sie hinzumalen sind? Gerade das "Tracking" entfernter Objekte ist mit dem 2nd Gen Transformer-Model aber nochmal enorm besser geworden.

 

[Taxxor]

Beispiel:
Modell erkennt "das ist eine Stromleitung" -> Versuche die feinen Linien vertikal in ihrer Struktur beizubehalten, möglichst ohne Brüche (etwas das DLSS irgendwie bis heute nicht gut kann ).

Es lernt aber nicht:
In Spiel XY ist da eine Stromlinie, pinsel die in den Frame.

Beides ist falsch.

DLSS erkennt nicht, dass dort eine Stromleitung ist. Das ist DLSS 1.0

DLSS hat aber die Daten mehrerer Frames, die diese Stromleitung sowie alles andere was auf dem Bild zu sehen ist, enthalten, der Algorithmus bestimmt nun welche dieser Daten verworfen und welche verwendet werden.
Das geschied völlig generisch anhand der Daten, die der Algorithmus aus der Engine bekommt, es gibt keine "Objekterkennung" bei DLSS

 

[Grestorn]

Kannst du das erläutern? Die Daten, die Nvidia für das Training verwendet, sind ja die sogenannte "Ground Truth". Und was meinst du damit, dass die Details nicht erfunden sind? Die Details kommen ja nicht vom Spiel selbst sondern von DLSS, sind also meiner Meinung nach generiert, also "erfunden". Oder verstehe ich dich da gerade falsch?

Nein, die Details (beim stehenden Bild) kommen eben NICHT von einem AI-Algorithmus, sondern von den vielen gejittert gerenderten Frames. Das ist es, was immer wieder missverstanden wird.

Deswegen braucht DLSS auch keine "Ground Truth" auf die es trainiert wird. Es hat die hochauflösenden Daten bereits.

Die Kunst ist das Verrechnen der Daten ohne Artefakte und das Behandeln von den Fällen, wo es keine passenden vorherigen Frames gibt (wegen Bewegung oder Okklusion) oder wenn Motion-Vektoren fehlen. Da hilft dann aber kein noch so intensives Training mit irgendwelchen Spieldaten. Da muss man viel gezielter trainieren.

 

[Taxxor]

Die Details kommen ja nicht vom Spiel selbst sondern von DLSS, sind also meiner Meinung nach generiert, also "erfunden". Oder verstehe ich dich da gerade falsch?

Die Details kommen allesamt direkt vom Spiel

 

[gartenriese]

Das Neural Network lernt anhand echter Enginedaten wie es in wesentlich höherer Auflösung gerendert aussehen müsste. Es lernt aber nicht anhand von konkretem Content, wie dieser wiederherzustellen ist, sondern lernt davon abgeleitete, allgemeingültige Regeln.

Genau, die echten Enginedaten sind die Ground Truth. Das meine ich ja.

Beispiel:
Modell erkennt "das ist eine Stromleitung" -> Versuche die feinen Linien vertikal in ihrer Struktur beizubehalten, möglichst ohne Brüche (etwas das DLSS irgendwie bis heute nicht gut kann ).

Es lernt aber nicht:
In Spiel XY ist da eine Stromleitung, pinsel die in den Frame.

Wie sollte das bei einem völlig interaktivem Material wie Spielen auch funktionieren? Kein Spiel mit NPCs könnte so funktionieren, woher soll der Algorithmus wissen, wo sich die Figuren bewegen und wo sie hinzumalen sind? Gerade das "Tracking" entfernter Objekte ist mit dem 2nd Gen Transformer-Model aber nochmal enorm besser geworden.

Das hatte ich auch nicht gemeint, da habe ich mich wohl falsch ausgedrückt.

 

[Grestorn]

Beispiel:
Modell erkennt "das ist eine Stromleitung" -> Versuche die feinen Linien vertikal in ihrer Struktur beizubehalten, möglichst ohne Brüche (etwas das DLSS irgendwie bis heute nicht gut kann ).

Nein. Die Stromleitung ist sichtbar, weil die gejittert gerenderten Bilder der vorhergehenden Frames da eben echte Pixel zeigen.

Ich denke, man sollte das mit dem Jittering echt nochmal erklären. Ich fürchte, die wenigsten verstehen das Prinzip, und warum überhaupt beim herkömmlichen Rasterizing eine Stromleitung auf einmal nur noch aus einzelnen Punkten statt einer durchgehenden Linie besteht.

@Wolfgang Wie wäre es mit einem Artikel dazu? Ich helfe gerne...

 

[gartenriese]

Die Details kommen allesamt direkt vom Spiel

Das glaube ich eben nicht. DLSS arbeitet ja nur mit den Pixeln und nicht mit den 3D-Modellen.

 

[Lurtz]

Beides ist falsch.

DLSS erkennt nicht, dass dort eine Stromleitung ist. Das ist DLSS 1.0

DLSS hat aber die Daten mehrerer Frames, die diese Stromleitung sowie alles andere was auf dem Bild zu sehen ist, enthalten, der Algorithmus bestimmt nun welche dieser Daten verworfen und welche verwendet werden.
Das geschied völlig generisch anhand der Daten, dioe der Algorithmus aus der Engine bekommt

Stimmt, war falsch formuliert. Ich stimme dir zu.

 

[Taxxor]

Das glaube ich eben nicht.

Kannst du gerne nicht glauben, ist aber trotzdem so.

Wie @Grestorn schon angemerkt hat, informiere dich mal darüber, was "Jittering" ist, dann kommst du vielleicht drauf.

~50 1080p Bilder enthalten eben mehr Bildinformationen als ein einziges 4K Bild, und diese ~50 1080p Bilder sind das, womit DLSS intern arbeitet um ein 4K Bild auszuspucken.

 

[gartenriese]

Nein, die Details (beim stehenden Bild) kommen eben NICHT von einem AI-Algorithmus, sondern von den vielen gejittert gerenderten Frames. Das ist es, was immer wieder missverstanden wird.

Naja, irgendein Algorithmus wird auf den Tensorkernen schon laufen. Vielleicht ist das jetzt auch Wortklauberei :-P

Deswegen braucht DLSS auch keine "Ground Truth" auf die es trainiert wird. Es hat die hochauflösenden Daten bereits.

Was ist denn der Unterschied zwischen "Ground Truth" und den hochauflösenden Bildern? Für mich ist beides das gleiche.

 

[Grestorn]

Das glaube ich eben nicht. DLSS arbeitet ja nur mit den Pixeln und nicht mit den 3D-Modellen.

Ja, aber eben mit vielen vielen minimal versetzt gerenderten Bildern. Dadurch, dass sie minimal versetzt gerendert wurden (um weniger als ein Pixel) kommen die beim Rasterizing normal verloren gegangenen Details wieder zum Vorschein und der Algorithmus kann sie berücksichtigen.

Das ist die ganze Kunst.

Erfunden wird da nichts.