Morvan schrieb:Erstens ist FCAT VR kein Benchmarktool. Es ist ein Tool um die Frametimes und ähnliches aufzuzueichnen, während ein Benchmark läuft. Ein Benchmarktool wäre beispielsweise Cinebench.
Well, falsche Begrifflichkeit von mir. Mea culpa. das wurde aber auch im Artikel leider nicht so deutlich formuliert.
Wie in vergangenen VR-Benchmark-Tests hat die Redaktion stattdessen auf Nvidias FCAT VR zurückgegriffen, das sich seit 2017 als Referenz für Benchmarks in VR bewährt hat [...]
Dann wird es dich freuen, dass ich zumindest auch bei den SteamVR-Titeln die Framerateanzeige von SteamVR parallel laufen lassen habe. Diese liefert die selben Informationen in Echtzeit, da FCAT VR im Endeffekt auch nur auf die entsprechenden Schnittstellen von SteamVR oder Oculus zurückgreift. Dabei kam herraus, dass genau dann wenn und nur dann wenn bei der SteamVR Messung Framedrops angezeigt wurden auch später in der Auswertung des FCAT VR logfiles Framedrops verzeichnet waren.
Achja und zusätzlich deckt sich dies auch mit dem wahrgenommenen Ergebnis.
Deswegen wäre es ja vielleicht sinnvoll auch einen Absatz darüber zu schreiben, das das Anaylsetool von Nvidia vielleicht voreingenommen ist. oder halt nicht, wenn es durch andere toll bestätigt wird. oder ist das so falsch?
Eine berechtigte Skepsis in allen Ehren, aber ich glaube hier ist diese nicht angebracht.
"Traue keiner Statistik, welche du nicht selbst gefälscht hast." - Hab vergessen von wem.
Grundsätzlich ist es immer gut zu hinterfragen auf welcher Basis Daten erhoben wurden, wie sie gemessen wurden und wer die Randbedingungen definiert hat und wie die Randbedingungen den Test beeinflussen.
Ohne jetzt hier etwas vorwerfen zu wollen, aber es gab schon genügend Statistiken, welche durch geeignete Wahl der Messmethoden in die gewünscht Richtung bewegt wurden.
Wenn ich einen Gewichtsvergleich zwischen dem neuen iPhone und dem neuen Galxay S mache, wird dieser doch auch nicht verfälscht, wenn ich eine Waage von Samsung verwende. (Ja es gibt Waagen von Samsung, wenn auch vlt keine, die für den Gewichtsvergleich zweier Smartphones geeignet wäre, aber das hier soll auch nur ein Beispiel sein ...)
Da Waagen geeicht werden (und zwar nicht von Samsung) wäre es tatsächlich für mich okay.