Anregung für aussagekräftigere Grafikkartentests

[Gipz]

Durchschnittliche FPS bei Artikel angeben?

Hallo,

ich wollt mal so anfragen ob man nicht gleich bei denn Tests die mit einer Grafikkarte oder so gemacht werden die durschnittlichen fps in denn einzelnen Auflösungen und einstellungen angezeigt werden könnten für jede einzelne Karte dann könnte man selber ausrechnen, weil sich ja die preise dauernd ändern, welche karte sich rentieren würde zu kaufen (preisleistung).

Bitte meinungen Posten ob ihr das für evt sinnvoll haltet.



greetz Gipz

 

[Mr. Snoot]

AW: Durchschnittliche FPS bei Artikel angeben?

Die Werte, die bei Spielebenchmarks angezweigt werden, sind doch die FPS.

 

[Gipz]

AW: Durchschnittliche FPS bei Artikel angeben?

ja aber nur zu den einzelnen spielen und nicht zu allen gesamt, ich denke mal um das preisleistung verhältnis raus zu kriegen rechenen die alle durschnschnittlichen frame von jeden spiel zusammen, teilen sie durch die anzahl der spiele und dann berechenen sie wieviel € man für einen frame hinblättern muss.

Und diese zahl mit der halt gerechnet wird also der durchschnitt aller spiele zu den einzelnen getesteten "Objekten" die will ich ahlt immer haben statt nur 100% und 88% preisleistung.

 

[TheNameless]

AW: Durchschnittliche FPS bei Artikel angeben?

Versteh ich auch nicht. Es werden ja schon die average FPS angezeigt.

Wobei ich auch dafür bin, dass man den Verlauf als Diagramm noch darstellt (wenigstens bei der Karte, die getestet wird - wenn es machbar

ist).

::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::

Warum nicht gleich so? Jetzt wissen wir auch was du willst.

 

[andr_gin]

AW: Durchschnittliche FPS bei Artikel angeben?

1.) Nein da wird bestimmt nicht da arithmetische Mittel gebildet. Da wären ältere Spiele viel zu stark gewichtet. Beispiel:

Wir haben Quake3, Crysis und 3DMark06

Eine 8800 GT liefert bei 3DMark06 20fps, bei Crysis 40fps und bei Quake3 500 fps.
Eine X1800XT liefert bei 3DMark06 10fps, bei Crysis 20fps und bei Quake3 550fps (warum auch immer).

In Wirklichkeit ist die 8800 GT doppelt so schnell und nur bei Quake3 10% schneller.
Laut deiner Rechnung sind es aber bei der 8800 GT 20+40+500 = 560/3= 187fps
Bei der X1800XT sind es 10+20+550 = 580/3 = 193fps

Da muss man zuerst die Werte nach einem gemeinsamen Bezugspunkt gewichtet werden. Einmal abgesehen davon bringt es nichts, wenn man bei 3 Spielen durchschnittlich 100fps hat, wenn 1 davon 290fps hat und die anderen 2 rucken wie verrückt.

 

[Jan]

AW: Durchschnittliche FPS bei Artikel angeben?

Die Rechnung, die dem Performancerating zugrunde liegt, ist eine andere. Es werden nicht die Frames aller Spiele addiert und dann der Mittelwert gebildet, sondern es wird der prozentuale Leistungsunterschied gemittelt. Ist eine Karte einmal zehn, einmal zwanzig und einmal dreizig Prozent schneller, zeigt das Performancerating einen Vorsprung von zwanzig Prozent. Absolute Werte spielen dabei keine Rolle.

Abgesehen davon bemühen wir uns, dann und wann auch Verlaufsdiagramme und/oder maximale und minimale Frameangaben zu machen. Da wir uns größtenteils jedoch auf Tests zur neu vorgestellten Karten am Tag der Vorstellung beschränken, ist die Zeit zwischen Teststellung der Hardware durch den Hersteller und Veröffentlichung knapp bemessen, so dass wir in der Regel aus Zeitgründen auf diese Angaben verzichten müssen.

 

[Seppuku]

Hallo,

da meine Anregungen (und die einiger anderen) in den Kommentaren zu diesem Thread untergangen zu sein scheinen, bringe ich die Vorschläge hier noch einmal zur Sprache.

Bei Grafikkartentests werden ja eigentlich nur die Durchschnittswerte angegeben. Ich glaube jedem ist klar, dass diese Werte nichts über die Qualität der Daten aussagen.
Beispiel:
Ein eine Karte erreicht in einem Spiel 50% der Zeit eine Framerate von 40fps und die andere Hälfte eine Rate von 60fps. Macht im Durchschnitt 50fps.
Eine andere Karte erreicht Frameraten von 10fps und 90 fps. Macht im Schnitt auch 50fps.
Es ist auf der zweiten Karte, trotz gleicher Durchschnittsframerate, nicht spielbar.

Dem entgegenwirken könnte man einfach mit der Angabe von der Verteilungen der Frames in bestimmten Intervallen.
z.B.
xx% der Frames unter 15fps
xx% der Frames zwischen 15 und 25 fps
xx% der Frames zwischen 25 und 35 fps
xx% der Frames über 35 fps

Es würde ja auch schon helfen z.B. einfach mal die Standardabweichung mit anzugeben um wenigstens etwas über die Streuung der Werte zu erfahren...

Grafikkartenbenchmarks schreien ja auf Grund ihrer Menge an Daten nach einer (zumindest ansatzweise) statistischen Auswertung.
Denn so wie es jetzt ist (insbesondere in dem Test über den Speicherbedarf), ist die Darstellung der "Ergebnisse" einfach nur mangelhaft und teilweise nicht wirklich aussagekräftig (denn wo werden bei den Durchschnittsframes Frameeinbrüche ersichtlich?).

Viel mehr Arbeit würde die andere Darstellung auch nicht machen, denn Excel spuckt die Werte ja automatisch aus. Einmal die richtige Tabelle erstellt, ist es nur noch Copy und Paste-Arbeit.

 

[4kµHD]

was mich stört an den test ist das immer nur sli system dabei ist ! wenn sollten test nur sli oder cf ! und nicht einzelene karten im vergleich zu sli oder cf!

 

[Seppuku]

@culo
Ist der Vergleich von Einzelkarten zu einem SLI/CF-Verbund uninteressant?

Aber bitte wieder auf meine Punkte zurückkommen. Das soll kein genereller "Was stört mich an den Grafikkartentests"-Thread werden.

 

[4kµHD]

Ist der Vergleich von Einzelkarten zu einem SLI/CF-Verbund uninteressant?

ja ist es ! da du nicht äpfel mit birnen vergleichen kannst ! ja aber du hast recht mit deinen Anregungen !

 

[Unyu]

Hardopc hat das Ganze relativ schön gelöst mit min, avg und max fps und einem Frameverlauf zum angucken.
Zumindest wenn nur 2,3 Karten verglichen werden ist das toll.

Ein Festbeißen auf 25, 30 und 35fps ist nicht ganz so glücklich.

 

[Seppuku]

Ein Frameverlauf wäre natürlich noch aussagekräftiger (und auch nicht schwerer zu realisieren).
Eine Einteilung der Verteilung der Frames in Klassen würde einfach das Vergleichen deutlich vereinfachen (da hier auf CB ja mehr als 3 Karten verglichen wären). Am besten wäre einfach beides.
Wenn die Minim-/Maximumumframes nur aus einem Wert bestehen, sind diese Werte extrem fehlerbehaftet und nicht wirklich aussagekräftig. Wenn dann müsste man vielleicht einen Mittelwert von z.B. 5% der niedrigsten/höchsten Werte bilden, um wenigstens Ausreißer ein nicht so hohes Gewicht zu geben.

Meine Klassen der Framebereiche waren jetzt auch nur so auf die Schnelle ausgedacht. Sie sollte weniger zum Vergleich von Grafikkarten in bestimmten Einstellungen dienen, die in den Spielen 100fps+ haben, sondern einen Eindruck der Grafikkarten in bestimmten Einstellungen liefern, die an der "Grenze zur Spielbarkeit" liegen. Mir ist sehr wohl bewusst, das "spielbar" ein sehr dehnbarer Begriff ist. Aber für 99% aller Spieler ist ein Spiel, das nicht oder kaum unter 25fps fällt auf jeden Fall spielbar. Warum sollte die Einteilung im Großen und Ganzen nicht glücklich sein?

 

[Jan]

Ich habe beide Themen zusammen geführt, da es grundsätzlich um dasselbe Anliegen handelt. Auch unsere Antwort ist quasi dieselbe.

Wir bemühen uns, dann und wann auch Verlaufsdiagramme und/oder maximale und minimale Frameangaben zu machen. Da wir uns größtenteils jedoch auf Tests zur neu vorgestellten Karten am Tag der Vorstellung beschränken, ist die Zeit zwischen Teststellung der Hardware durch den Hersteller und Veröffentlichung knapp bemessen, so dass wir in der Regel aus Zeitgründen auf diese Angaben verzichten müssen.

Nichtsdestotrotz: Wir freuen uns auch in diesem (wiederholten) Fall für die konstruktive Kritik bzw. Verbesserungsvorschläge und werden sehen, was sich in Zukunft vielleicht doch machen lässt.

 

[Seppuku]

Ich sehe jetzt zwar nicht, wo sich unsere Anliegen überschneiden, aber ok.
Es wäre ja nichts neues, wenn man dann einen Tag später den Test nochmal ergänzt. Also erstmals den Test so veröffentlichen, wie gewohnt und dann wirklich aussagekräftigere Ergebnisse (in Form einer Auswertung) ein paar Tage später hinterher schieben (wenn es aus zeitlichen Gründen nicht sofort geht).
Das Zeit-Argument lass ich (in der oben beschriebenen Form) dann nicht mehr zählen, da die entwprechenden Ergebnisse in Echtzeit von Excel ausgespuckt werden (sofern man sich einmal die Mühe gemacht hat, eine vorgefetigte Tabelle zu erstellen).
Wieviel Zeit das Einfügen einer Tabelle oder eines Diagramms auf eurer Seite kostet weiß ich nicht, sollte sich aber auch im Rahmen halten.
Man muss sich jetzt halt die Frage stellen: Will ich weiterhin die Ergbnisse eines sonst guten Tests auf wirklich mangelhafter Weise präsentieren und den Test dann zu einem durchschnittlichen (wie viele andere im Internet auch) verkommen lassen oder investiere ich noch mal ein ein paar Stunden mehr Zeit und liefere einen durchwegs guten Test ab.

 

[Unyu]

Warum sollte die Einteilung im Großen und Ganzen nicht glücklich sein?

Für die, die gerade knapp unter der Grenze liegen ist es unter umständen unfair.

 

[Seppuku]

Ja, das stimmt schon. Dann müsste man die Klassen eben verkleinern, was es wieder unübersichtlicher machen würde.
Aber es ist im Grunde alles noch besser als die aktuelle Darstellung.
Eine Darstellung durch ein Verlaufsdiagramm und Verteilung der fps auf Klassen wäre in meinen Augen eine gute Kombination (so hätte man einmal ein Aussagekräftiges Diagramm und einmal eins, dass weniger aussagekräftig ist, aber dafür übersichtlich.
Die Ergebnisse eines Tests müssen ja auch nicht so dargestellt sein, dass jeder 12jährige das Resultat auf einen Blick ablesen kann. Es müsste halt ein Mittelweg zwischen Übersichtlichkeit und Aussagekraft gefunden werden. Zur Zeit ist es sehr übersichtlich, aber alles andere als aussagekräftig.