Wann werden endlich Grafikkartenbenchmarks vernünftiger ausgewertet und dargestellt?

Die Angabe von Mittelwerten ohne Zusatzinformationen ist nur bedingt relevant um die Leistungsfähigkeit z.B. einer Grafikkarte einzuschätzen.
Die Darstellung durch (geglättete?) Verlaufsdiagramm bietet schon einmal mehr Informationen ist aber für einen Vergleich zwischen vielen Testexemplaren ungeeignet und wird zudem nicht für jedes Testexemplar angeboten.

Manche Seiten geben zusätzlich die (möglicherweise einmalig auftretende) niedrigste FPS Zahl an. Ist natürlich schon mal interessanter aber auch sehr fehleranfällig und über die Relevanz lässt sich durch aus streiten.
Warum bietet man nicht einfach wie auf dieser Seite den Durchschnitt der niedrigsten 1% (oder 2,3,4,5 oder was auch immer) der FPS an oder wie viel % der FPS unter 30 sind?
Im Grunde wäre alles besser als die bisherige Darstellung (bei der auch noch von Redakteuren bei Differenzenen von unter 10 % von schneller oder langsamer gesprochen wird ohne auf die Datenqualität oder Schwankungen einzugehen).

Anstatt eine Forderung zu stellen, wäre eine Bitte deutlich netter.

Wären die Nachteile einer GTX970, welche durch die erst im Nachhinein bestätigten Limitationen in Bestimmten Szenarien auftreten, mit den von mir und vielen anderen vorgeschlagenen Test-/Auswertemethoden bereits aufgefallen?
Vermutlich ja (ob man darauf auf die technische Limitierung der 970 schließen hätte können? Wohl eher nicht).
Der aktuelle Fall der GTX970 zeigt doch mehr als deutlich, dass "vernünftige" Test-/Auswertemethoden benötigt werden. Warum dieser konstruktive Vorschlag über Jahre hinweg (müsste mal nachschauen, wann ich das erste mal die erste Diskussion mit einem Redakteur gehabt habe...) mit einer solchen Konsequenz und Beharrlichkeit ignoriert wird, entzieht sich meiner Kenntnis...

Kurz und knapp: Ich bin kein Freund von Min-FPS-Werten (aus Gründen, die ich schon zig mal erwähnt habe). Auch nicht mit irgendwelchen Durchshcnitten von Min-FPS-Werten, die das ganze nur viel komplizierter machen. Wie gesagt ist die bessere Alternative mehr Frameverläufe anzubieten. Deswegen gibt es die Frameverlaufsdiagramme. Da kann man natürlich noch Überlegungen anstellen, diese auszubauen. Es stimmt zwar, dass man in diesen nicht jede Grafikkarte mit jeder vergleichen kann, die direkten Konkurrenten aber schon.

Zu deinem letzten Post:
Wir ignorieren eine Vorschläge schon nicht. Doch sehen wir/ich eben auch eine negative bzw. unpraktische Seite an dieser Angelegenheit. Und auch zur Erkennung der VRAM-Problematik wären Min-FPS nicht optimal. Je nachdem würden die zwar was zeigen, wenn es VRAM-Probleme auf der 970 gibt, aber nicht immer. Frametimes helfen da mehr. Und da steht auch noch etwas auf der To-Do-Liste für die Zukunft

Ich habe auch nie behauptet, dass ein einzelner Minimumwert der heilige Gral ist. Ich sehe, genauso wie du, die entsprechende Fehleranfälligkeit bei (höchstwahrscheinlich) einem Lauf des Benchmarks.
Was macht die Darstellung des Durchschnitts der niedrigsten 1% der FPS-Werte viel komplizierter? Die Darstellung kann ja genauso erfolgen, wie es bei vielen Seiten mit den einzelnen Minimumwerten bereits üblich ist und die Auswertung sollte auch kein Thema sein (kenne bei Excel jetzt aus dem Stehgreif nur eine Formel für Perzentile, aber wir sind ja in einem Technikforum und hier kennen sicherlich einige die Lösung .

Gamestar hat es ja vorgemacht, in welche Richtung es gehen kann (Frametimes: Streuung):
http://www.gamestar.de/hardware/gra...html#benchmarks-im-durchschnitt-videospeicher
Ob das von Gamestar gewählte Kriterium jetzt das Nonplusultra ist, kann ich nicht beurteilen, da so etwas normalerweise die Erfahrung zeigt (Durch Veränderung der Prozentzahl kann ich Unterschiede stärker oder schwächer herausstellen).

Nur die Streudiagramme sagen gerade bei enger zusammenliegenden Vergleichsgruppen einfach wenig aus.
Aber ich ziehe vernünftig ausgewertete Daten den Rohdaten immer vor. Das gleiche gilt für Frameverläufe. Frameverlausdiagramme sind sicherlich nicht schlecht, bieten aber eine schlechte Vergleichbarkeit, sobald mehrere Karten verglichen werden. Wenn zumindest zu den Frameverlaufsdiagrammen Durchschnitsswerte, Min-Max, Standardabweichung in einer daneben stehenden Tabelle angegeben werden würde, dann wäre eine Vergleichbarkeit wieder besser gegeben. Ich meine: Die Daten würde ja alle vorliegen, nur ausgewertet werden sie nicht.

Vielleicht ist die Frage im vorherigen Post untergegangen:
Was genau macht die Darstellung des Durchschnitts der z.B. niedrigsten 1% der FPS-Werte viel komplizierter?

Soll der Attila Test jetzt das Niveau sein, was man in Zukunft von den Tests erwarten kann oder wird noch über Verbesserungen nachgedacht?
Warum wird kein Video der Szene gezeigt, die man vermessen hat? Gerade bei einem solch starken 3-phasigen Verlauf wäre es doch interessant, die Szenarien zu kennen, die diese Auslastung verursachen...
Warum werden die Frametimes nicht in einer separaten Tabelle ausgewertet? Der Pi mal Daumen Vergleich von auch nur zwei Karten an Hand des Frametimediagramms funktioniert auch nur, wenn man ständig eine Karten ein- und ausblendet... Warum wählt man eine solchen unübersichtlichen Weg als einzige Darstellungsvariante der Daten?

Ich ignoriere deine Posts nicht, aber es ist viel derzeit zu tun (auch für den neuen Testparcours) und deine Ideen sind nicht vom Tisch! Wenn du magst kannst du diese durchaus hier einbringen:
https://www.computerbase.de/forum/threads/neuer-grafikkarten-testparcours-eure-vorschlaege.1449301/

Zu deinem letzten Post:
Die Benhchmark-News zu Attila ist das was sie ist: Eine Benchmark-News zu einem neuen Spiel. Sprich, diese hat nicht viel mit dem neuen Testparcours zu tun (außer, dass Attila dort Rome 2 ersetzen wird). Wie auch aktuell wird es natürlich auch mit dem neuen Testparcours die Benchmark-Szene im Video geben. In den Spieletests entfällt dies aus Platzgründen (die News muss ja noch ordentlich aussehen).Das Diagramm ist nicht wirklich übersichtlich, das stimmt. Das lässt sich technisch leider anders zur Zeit nicht lösen, aber da sollte durchaus noch was dran gedreht werden.