Ich sagte, dass die Diskussion ins Esoterische abdriftet. Denn es geht eben nicht darum zu klären was es eigentlich bringt und ob der Zweck dem Aufwand gerecht würde. Das ist auch bei dir der Fall. Du
glaubst daran, dass mehr Daten mehr Erkenntnis bringen und das ist aus meiner Sicht keineswegs so.
Es ist immer auch Aufgabe eines Test eine Auswahl zu treffen, was man an Daten präsentiert. Das macht nicht zufällig jeder Test im weltweiten Netz. Es ist kontraproduktiv, so viel Daten wie nur irgendwie möglich reinzupressen, nur weil es diese Daten gibt. Deine Frage, ob ich glaube, dass du nicht die Daten interpretieren könntest, muss ich mit einer Gegenfrage antworten: Hast du eine Vorstellung davon, wie aufwändig es ist, die Daten aufzubereiten und in einer sinnvollen Form zu präsentieren?
Dich mag ein bloßes Hinwerfen auch nicht stören, weil du es selber zu interpretieren vermagst, anderseits hast du gerade eben noch gefordert, dass es erheblich interpretiert und angereichert wird mit weiteren Daten. Von daher ist das doch genau mein Punkt: Für einen minimal größeren Erkenntnisgewinn gegenüber der jetzigen Informationen, müsste man einen unverhältnismäßigen höheren Aufwand treiben. Auch wenn du das für vernachlässigbar hältst, so liegt das denke ich mal dann doch im Ermessen des Testers.
Die Standardabweichung zu nennen bringt wie gesagt nicht viel, weil gerade Framerateeinbrüche sehr stark vom Rest des System abhängen. Jetzt zu sagen, das reicht aber gerade noch in der Testsequenz ist im Grunde genommen falsch. Denn unter anderen Bedingungen reicht es eben gerade nicht mehr. Dann wird im Forum der Thread aufgemacht, warum denn der Test behauptet, Spiel X laufe mit den Einstellungen auch noch in extremen Situationen flüssig, während es sich daheim irgendwie rucklig anfühlt. Und mehr als fühlen ist es nicht, wenn es für eine Sekunde einbricht wie in den Framverläufen teilweise.
Bei Frameeinbrüchen reicht es auch schon aus, wenn die Frames nur kurzzeitig ein bestimmtes Niveau unterschreiten.
Wenn es aber nur in einer Ausnahmesituation kurzfristig eintritt, werden die meisten damit leben können. Und widerspricht nicht deine Aussage der Forderung nach Angabe der Standardabweichung? Wenn schon eine Sekunde entscheidend ist, aber einfach nur 25 Sekunden Sequenz gemessen werden, wie viel sagt die Standardabweichung aus? Oder aber du widersprichst fundamental der Behauptung dass sich das ganze mit den gleichen Mittel wie jetzt sehr einfach umsetzen lassen. Wenn du mit Standardabweichung im normalen mathematischen Sinne kommst, dann muss man auch die Stichprobe angemessen ausweiten (man beachte dazu aber den nächsten Absatz) und zudem eine ausführliche Erläuterung abgeben, wie das überhaupt zu interpretieren wäre.
Es ist doch viel mehr so, dass die Frameverläufe und die Benchmarkwerte eine Vergleichbarkeit untereinander ermöglichen, aber eben nicht unbedingt eine absolute Aussagen zu realen Spielsituationen treffen können. Die Sequenzen sind trotz allem künstlich herbeigeführt und auf Wiederholbarkeit ausgelegt. Eine für die meisten Spiele untypische Situation und außerdem ist diese noch von anderen Einflüssen abhängig. Man bekommt also nur einen groben Eindruck darüber, wie die Karte im Spiel unter diesen oder jenen Einstellungen auf den Karten läuft.
Die Frameverläufe suggerieren dagegen eine sehr exakte Vermessung des Spiels und eine Aussage über die allgemeine Spielbarkeit. Da die Situationen künstlich herbei geführt wurden, ist das aber gar nicht so der Fall. Die Angabe der Standardabweichung würde sogar noch sehr viel mehr Genauigkeit suggerieren, während es aber eigentlich nur für die Testumgebung gültig wäre. Die Genauigkeit und die Menge der Daten verleitet dazu zu glauben, dass eine absolute Aussage zum Spiel selbst getroffen würde.
Was so ein Test will ist doch aber die Karten untereinander vergleichen. Karte A ist leistungsfähiger als Karte B. Da auch in deinen genannten Beispielen die Kurvenverläufe eben sehr wohl gleich sind, nur eben je nach Stärke der Karte auf einem anderen Level, lässt sich immer eine direkte Beziehung herstellen zwischen den detaillierten Messwerten und der Durchschnittsangabe. Was anderes wäre es, wenn in den 25 Sekunden Karte 1 mal sehr weit vor und mal sehr weit hinter Karte 2 liegen würde und am Ende dennoch ein ähnlicher Schnitt rauskommt. Wenn aber die Abstände in jedem Frame relativ gleich bleiben (ob nun inhomogen im Verlauf oder nicht), dann ist die schnellste Karte definitiv auch die beste. Ob nun im Schnitt oder im Verlauf.
Es wird auch nirgends im Test gesagt, ab diesem Durchschnittswert ist es spielbar. Das ist nicht die Zielsetzung des Hardwaretest, dort geht es nur darum, welche Karte stärker ist. Das wäre bei einem Spieletest etwas anderes, wo konkret gesagt wird, diese Hardware braucht man, um es flüssig in Auflösung X und Qualität Y zu spielen. Oder mit dieser Hardware kannst du alles auf "Hoch" stellen. Das ist aber einfach eine sehr spezifische Angabe pro Spiel und Hardware, wo auch nicht das eine Spiel Rückschlüsse auf das andere liefern kann.
Über die Angabe der minimalen Frames kann man sich natürlich streiten. Warum das nicht unbedingt so sinnvoll ist, dazu wurde hier einiges geschrieben und warum es auch irreführend wäre, habe ich hoffentlich auch einiges gesagt. Wie gesagt, die Zielsetzung des Test ist nicht die Angabe der Spielbarkeit, sondern eine Übersicht, welche Karte schneller ist (im jeweiligen Spiel). Das macht Frameverläufe und Aussagen zur Spielbarkeit nicht uninteressant, aber dafür braucht es eine andere Herangehensweise und eine andere Zielsetzung. Da müsste man z.b. sehr viel mehr auf die Auswirkungen verschiedener Konfigurationen eingehen.
Die Behauptung, man müsse nur die vorhandenen Daten aufführen und neu interpretieren, kann ich insofern nicht teilen. Da bedarf es aus meiner Sicht schon mehr, was dann aber wieder zu dem Punkt führt, dass der Aufwand nicht im Einklang mit dem Erkenntnisgewinn steht.