relaxed_Guy schrieb:
@Volker @Jan @Wolfgang Computerbase hat es mit ihren Änderungen beim Testen auch in ein QA von Hardware Unboxed geschafft. Es wird sehr ausführlich davon gesprochen was Sie von der Änderung halten und ob diese Testmethode für Sie sinnvoll ist bzw. bei ihnen in Zukunft Anwendung finden würde.
Danke für den Hinweis, das habe ich mir gerne angesehen
Hier ein „paar kurze“ Gedanken zu dem Hardware-Unboxed-Video. Das hier hat keine sonderliche Reihenfolge, keine sonderliche Priorität. Es sind einfach nur ein paar Gedanken dazu:
- Das ganze befindet sich aktuell in einer Ausprobieren-Phase. Ich war mit der bisherigen Situation bezüglich Native, DLSS, FSR und Co. nicht zufrieden und habe daher nach besseren Alternativen gesucht. Gedanken über das Thema habe ich mir bereits seit mehreren Monaten dazu gemacht, das hier waren jetzt erste Gehversuche. Alleine schon, um selbst Praxiserfahrungen mitsamt der Vor- sowie Nachteilen zu machen und auch, um sich so Feedback einzuholen. Nichts ist in Stein gemeißelt (auch wenn ich manche Sachen ausgeschlossen habe, das wird so nicht und vermutlich nie mehr gemacht).
- Aktuell gibt es finde ich keine perfekte Art, Grafikkarten- beziehungsweise Spiele-Benchmarks zu erstellen. Alles hat seine Vor- und Nachteile. Das ist denke ich die wichtigste Aussage, die man derzeit machen kann.
-----------------------------
Nun gehe ich etwas genauer auf die Meinungen von Hardware Unboxed ein. Wie die Kollegen meine Methoden nachvollziehen können, kann ich auch ihre nachvollziehen. Genauso wie sie einen Grund haben, so zu testen wie sie testen, habe ich auch einen Grund so zu testen wie ich teste. Wie gesagt, meiner Meinung nach gibt es aktuell nicht die perfekte Art Benchmarks zu machen - nur unterschiedliche mit verschiedenen Vor- und Nachteilen. Und los gehts
- HWU legt eine Menge Wert auf „Apples to Apples testing“. Ich verstehe, warum sie das machen. Das haben wir ja jahrelang alle so gemacht und aller Abschied fällt bekanntlicherweise schwer. Ich finde nur einfach nicht, dass so eine Testmethode noch sonderlich Sinnvoll heutzutage ist. Upsampling hat dies quasi „kaputt gemacht“. Denn was habe ich noch von Apples to Apples Vergleichen, wenn ich als Redakteur und Spieler nicht mehr empfehlen kann, so zu spielen und wenn dies heutzutage ein Großteil der CB-Leser nicht mehr tut? Damit hätte ich dann viele vergleichbare Werte, die für einen Großteil der Leser nicht praxisrelevant sind. Überspitzt gesagt habe ich dann „theoretische TFLOPS-Werte der Grafikkarten“ die immer und überall vergleichbar sind, die aber in der Praxis keine Gültigkeit haben, da sich fast alle Programme anders als die Theorie verhalten. Wie gesagt, das ist überspitzt dargestellt, geht aber meiner Meinung nach in diese Richtung.
- „Vorhersehbares Scaling mit Native“. Die Kollegen schreiben, dass man von nativen Benchmarks alles „umrechnen“ kann und daher quasi weiß, wie viel FPS zum Beispiel DLSS Quality bringt. Das ist grob gesagt zwar möglich, aber variiert von Spiel zu Spiel dann doch teils gar nicht so wenig. Da kann ich auch schonmal 10 Prozent daneben liegen, das gibt es gar nicht so selten. Hinzu kommt, wenn ich schon umrechnen soll, kann ich auch zum Beispiel von FSR 4 Quality umrechnen, was FSR 3 Quality bringt. Das ist dann ähnlich ungenau wie das umrechnen von Native, geht aber genau so (nur eben anders herum). Man kann auch ebenso von zum Beispiel FSR 4 Quality ausrechnen, wie viel FPS man mit FSR 4 Performance haben wird. Das geht schlussendlich sogar genauer als wenn ich von Native zu FSR 4 Performance rechne.
- „Nicht jeder will Upsampling nutzen“. Das ist natürlich richtig, aber auch nicht jeder will Native nutzen. Und hier sehe ich ganz klar die Entwicklung, dass eben mehr Leute (vor allem in der CB-Enthusiasten-Community) Upsampling nutzen möchten anstatt Native und das wird von Jahr zu Jahr immer mehr und mehr.
- „Cover all aspects of Gaming, sub optimal for Competitive Games“. Hier haben die Kollegen glaube ich Super Resolution mit Frame Generation durcheinander gebracht. Ich wüsste nicht, warum man Super-Resolution-Upsampling nicht in Competitive Multiplayer-Spielen nutzen möchte. Im Gegenteil sogar. Ich habe mehr FPS und eine besser Latenz. Genau das will man doch da.
- „Manche wollen lieber die bessere Performance von FSR 3 haben als die bessere Bildqualität mit FSR 4“. Ja, potenziell kann es das natürlich geben, das Ziel erreiche ich dann aber sinnvoller mit einem aggressiveren Modi von FSR 4. Das sieht immer noch besser aus anstatt FSR 3 zu nutzen. Wenn man explizit deswegen FSR 4 auslässt, kann man auch FSR 4 anschalten und den FSR-Modi erhöhen.
- „In einem Grafikkarten-Test müsste die Bildqualität in jedem Spiel analysiert werden“. Zuerst einmal: Wie wir in Zukunft Grafikkarten testen, habe ich noch nicht entschieden. Das neue Testverfahren gilt erst einmal nur für die einzelnen Spiele-Benchmark-Tests. Im Laufe des vierten Quartals werden die Grafikkarten-Benchmarks wie gewohnt aktualisiert, bis dahin muss da natürlich auch die Testmethode stehen. Feedback ist hier gerne erwünscht – aber nein, „Nur Native“ wird es da wie auch aktuell schon definitiv nicht mehr geben. Was es aber auch nicht geben wird sind verschiedene Einstellungen in den Spielen. Da muss es schon ein einheitliches System geben, was dann auf alle Spiele übertragen wird.
- „Welches Upsampling in einem Spiel besser aussieht kann subjektiv sein“. In einem begrenzten Bereich ist dies natürlich richtig, aber hier sind wir dann ja auch wieder beim Apples to Apples Thema (siehe oben). Das ist wie gesagt etwas, was 2025 und auch schon davor meiner Meinung nach nicht mehr sinnvoll, da immer und immer mehr praxisferner ist. Das neue „Apples to Apples“ ist meiner Meinung nach schlicht „vergleichbare Bildqualität“, aber nicht mehr „identische Bildqualität“. Letzteres wäre zwar wünschenswert, wenn denn so die Mehrheit spielen würde, ist aber schlicht nicht möglich aktuell, solange jeder IHV sein eigenes Upsampling anbietet, was dann für die eigenen Karten auch am besten ist. Praxisrelevantes Testen ist imo wichtiger als zwangsweise Apples to Apples. Das gehört auch zum Kapitel „die perfekte Art für Benchmarks gibt es nicht mehr“.
- „Baseline actual performance (Native) is the most important thing“. Warum ist Native die Baseline und warum ist das am wichtigsten, wenn so immer weniger und weniger spielen? Und wenn es aus Qualitäts- und Performancesicht zusätzlich nicht sinnvoll ist. Hier stimme ich mit HWU nicht überein. Wo ich mit den Kollegen überein stimme ist, das es optimal wäre beides, also Native und Upsampling, zu testen. Das ist aber aus ressourcengründen kaum bis gar nicht sinnvoll möglich. Hier priorisiere ich lieber.
- „Upsampling kann Fehler enthalten, die gepatcht werden müssen, daher kann man das nicht generell empfehlen“. Nun, TAA (und damit Native) kann aber genauso Grafikfehler enthalten, die DLSS 4 und FSR 4 nicht haben. Das ist mittlerweile würde ich sagen häufiger der Fall als anders herum. Das Argument kann ich entsprechend auch umdrehen.
-------------------
So, das war jetzt eine ziemlich gewaltige Wall of Text, aber das ist eben auch ein sehr komplexes Thema (vielleicht das komplexeste, das es in Sachen Grafikkarten-Benchmarks jemals gegeben hat). Aber das sind grob meine Gedanken zu den Meinungen von Hardware Unboxed. Die ich genau wie die Kollegen unseren Testmethode gegenüber zwar verstehen kann, aus meiner Sicht für uns aber nicht für sinnvoll halte. Beenden möchte ich das Pamphlet mit einem Absatz von weiter oben:
Aktuell gibt es finde ich keine perfekte Art, Grafikkarten- beziehungsweise Spiele-Benchmarks zu erstellen. Alles hat seine Vor- und Nachteile. Das ist denke ich die wichtigste Aussage, die man derzeit machen kann.
