Steffen schrieb:
Für jedes Diagramm einzeln wird zunächst der Bestwert gesucht. Das kann je nach Einheit (FPS oder Zeit in Sekunden) der kleinste oder größte Wert sein. Dann wird für jede Grafikkarte und jedes Diagramm der Quotient aus ihrem Wert und dem zuvor ermittelten Bestwert des Diagramms gebildet. Wenn das für alle Diagramme und Grafikkarten geschehen ist, wird je Grafikkarte das arithmetische Mittel ihrer Quotienten berechnet. Das ist das finale Ergebnis. Wenn ich deine Tabelle richtig verstehe, dann ist das Variante 3.
Ja, klingt nach Variante 3.
Dass die Methode unsauber ist, kann man sich mit einem ganz einfachen Beispiel klar machen:
Wenn man nur die Karten A und B auswertet und C außer Acht lässt, sind A und B im Ranking gleich schnell. Macht auch Sinn, denn in dem einen Benchmark ist Karte A um 33% schneller, im anderen Benchmark Karte B um 33%.
Nimmt man nun Karte C dazu, ändern sich auf einmal die Verhältnisse und Karte B ist im Ranking schneller als Karte A. Jeder, der einen kurzen Blick auf die Frameraten in den Benchmarks wirft, wird doch dann sagen: "Kann nicht sein, A und B sind im Mittel gleich schnell."
Die Methode hat einen systematischen Fehler. der das Ranking verzerrt.
Steffen schrieb:
Es gibt nun noch die (häufig genutzte) Möglichkeit, dass der Redakteur explizit eine Referenz-Grafikkarte auswählt. Das führt dann optional noch anschließend dazu, dass das oben genannte "finale Ergebnis" jeder Grafikkarte durch das "finale Ergebnis" der Referenzkarte dividiert wird. Ich vermute das ist noch etwas anderes als deine Variante 2.
Ja, das ist was anderes als meine Variante 2. Bei der Wahl der Grafikkarte durch den Redakteur geht es offenbar nur noch darum, was der Bezugspunkt für 100% im Ranking ist. Den kann der Leser auch selbst wählen, wenn er mit der Maus über eine Grafikkartenbezeichnung fährt.
Steffen schrieb:
Zum geometrischen Mittel: Den von dir genannten Vorteil sehe ich ein. Ich frage mich aber, ob das geometrische Mittel nicht auch Nachteile hat.
So spontan fällt mir keiner ein. Das geometrische Mittel verwendet man, wenn man Verhältnisse mitteln möchte. Genau das ist ja hier die Aufgabe.
/EDIT: Ein Nachteil fällt mir gerade ein. Wenn eine Karte in einem Benchmark kein Ergebniss erzielt (z.B. wegen Absturz oder Inkompatabilität) und in diesem Einzelfall mit 0,0 fps gewertet werden würde, liefert das geometrische Mittel auch 0 zurück. In diesem Fall müsste man auf eine Wertung dieses Einzelbenchmarks für diese Karte verzichten.
P.S.: Aufgrund der großen Anzahl von Benchmarks wird das Rating nicht wesentlich von der Wahl des Verfahrens abhängen. Die systematischen Fehler mitteln sich quasi raus. Aber ich fände es dennoch schöner, wenn man ein von Grund auf solides Verfahren wählt und sich nicht auf eine große Anzahl von Benchmarks verlässt. Und dieses solide Verfahren ist mein Verfahren 4 (siehe Startposting), d.h. eine Referenzkarte für die Ermittlung der Verhältnisse in allen Einzelbenchmarks festlegen und die Verhältnisse dann geometrisch mitteln.
