Anregung: Neue Benchmarkdiagramme

[DVNO]

Ich wusste nicht wohin mit dem Thread.
Weil es eine Anregung sein soll, auch für die computerbase Bencher, habe ich es mal hier rein gepostet.

Ich bin durch das Interview mit Greg Ellis von ATI auf 3d-center darauf gekommen. http://www.3dcenter.de/artikel/2005/03-31_a.php

Ich zitiere hier ein Stück:

"Wann ein Performance-Unterschied relevant ist, hängt von mehreren Faktoren ab, viele davon sind subjektiv. Ich glaube wir können uns darauf einigen, dass sehr niedrige Frameraten (z.B. 6 fps vs 5) keinen realistischen Unterschied zeigen, da in einem solchen Test bei diesen Einstellungen offensichtlich beide Produkte unbrauchbar sind.

Das gleiche trifft auf sehr hohe Frameraten zu (z.B. 275 fps vs 240), wo eigentlich nicht die falsche Wahl getroffen werden kann, da beide Produkte offensichtlich gut sind, in was auch immer getestet wurde.

In der Mitte wird Subjektivität wichtig. Ein Anwender findet 50 fps erheblich besser als 40 fps in einem bestimmten Spiel, während der gleiche Anwender keinen Unterschied zwischen 38 fps und 32 fps in einem anderen Spiel erkennen kann. Ein anderer Anwender hat dazu vielleicht eine andere Meinung."

Das was Greg Ellis hier sagt, empfinde ich als sehr richtig.
Frameraten über 150 fps sind uninteressant, Frameraten unter 15 ebenso. Was also am wichtigsten für den User ist, ist letztendlich nicht die Overall-performance sondern ab wann eine Grafikkarte in einem Spiel unter die "Ruckelgrenze" abrutscht, diese "Ruckelgrenze" ist natürlich subjektiv.

Die Idee ist folgende:
Ich schlage vor, neue Diagramme in die Benchmarks einzubinden.
FPS/Zeit-Diagramme auf denen man bei einer Demo oder einer Grafikanimation sieht, wie wieviele FPS die Karte an welchem Moment der Demo bringt.

Auf diesen sieht man sehr genau, wann welche Grafikkarte bei der Demo oder dem Benchmark einen Performanceeinbruch erleidet und unter die Ruckelgrenze rutscht. (In den aufwändigen Szenen mit viel Shadern oder vielen Polygonen auf dem Bildschirm).

Dann kann man verschiedene Grafikkarten in ein Diagramm einzeichnen und die Unterschiede erkennen, wie weit die Grafikkarten im Vergleich abrutschen.

Ich weiss nicht wie schwer es ist das umzusetzen, aber ich denke vielen wird einleuchten, dass diese Diagramme wesentlich aussagekräftiger sind, als die Durchschnittliche Framezahl im ganzen Benchmark-Parcour, weil ich glaube, dass diese Frameeinbrüche bei allen verschiedenen karten unterschiedlich, und nicht konstant entsprechend der Aufwändigkeit des Bildes schwanken.

Kann man das umsetzen?

mfg

 

[Rockzentrale]

Wenn ich das ganze richtig verstehe willst du also ermitteln, bei welcher Karte mit welcher Einstellung ein Spiel beginnt zu ruckeln oder?

 

[Jirko]

In meinen Augen tuen sich da mehrere Probleme auf:

1.) Wie logge ich die Framerate auf Zeit, sodass ich sie auch noch Szenen zuordnen kann?

2.) Inwieweit steht der zusätzliche Arbeitsaufwand im Verhältnis zum Nutzen? Ich könnte mir vorstellen, dass urgendein Programm die Frames in Reihe loggen kann. Aber bei längeren Benchmarks dürfte die Zurodnung sehr aufwendig werden.

3.) Wir bräuchten wohl Liniendiagramme zur Darstellung des FPS/Zeit-Verhältnisses. Da müssten wir Steffen erstmal an vorderste Programmierfront schicken.

 

[DVNO]

Schön zu hören, dass jemand verstanden hat, was ich meine.
Genau das meine ich.

Wie schwer das umzusetzen ist, weiss ich nicht. Solch ein Programm von dem du redest wäre nötig.
Dass das viel arbeit ist, ist mir klar. Das kann man nicht zusätzlich zu jedem Benchmark machen.

Ich denke, der Nutzen liegt auf der Hand, oder?
Ich denke nicht, dass Grafikkarten verschiedener Bauweise konstant einbrechen. Und genau das ist ja interessant.

 

[Rockzentrale]

Was dann im Endeffekt dann für den USer der einen Test lieft dann viel nützlicher ist, da man seine Graka dann nach seinen eigenen Anfroderungen herraussuchen kann

@ Silver
Dass der Arbeitsaufwandsteigt ist klar.

Loggen die Benchmarks eigendlich nicht die Anzahl der Frames mit und addieren die dann zum Schluss oder wie klapps dies dann?

Wenn dies der Fall ist/wäre, müsste man ja "nur" diese Tabelle o.ä. exportieren und daraus dann ein Duagramm nachen oder?

 

[Jirko]

Die Benchmarks, die ich kenne, speichern einfach die Anzahl der insgesamt gerenderten Frames und teilen durch die benötigte Zeit.

Im Übrigen: Wieso ist der Nutzen für den Verbraucher so viel größer? Meint ihr, eine schnelle Grafikkarte - im bisherigen Sinne schnell, würde nicht auch die geloggten Situationen besser verkraften, als eine bisher durschschnittlich langsamere?

Und was genau würde es euch bringen, zu wissen, dass eine - sagen wir - GeForce 6600 in Half Life 2 im dritten Level nach 5 Minuten an irgendeiner Stelle mit 6 Gegner plötzlich nur 45 FPS macht statt 58? Vor allem dann, wenn alle anderen Grafikkarten den gleichen Knick aufweisen?

Es dürfte wohl eher selten sein, dass vergleichbare Grafikkarten an unterschiedlichen Stellen deutlich einbrechen.

 

[sverebom]

Warum nicht einfach die niedrigste erzielte Framerate mit angeben?

Wenn man als bspw. UT2004 bencht, dann gibt man an, welche Framerate maximal erzielt wurde und welche minimal erreicht wurde. Wann die minimale Fframerate erreicht wurde, spielt doch keine Rolle. Fakt ist, das die Karte im Laufe des Benches eventuell unter eine Minimumframerate gerutscht ist. Die Situation, in der die Karte in die Knie geht, kann man dann in der Interpretation des Ergebnisses erwähnen ("bei Hohem Gegneraufkommen in weiträumigen Außenlevels geht Karte XY in die Knie").

Man müsste dann nur eine kritische, minimale Framerate definieren, bspw. 30 Frames.

 

[DVNO]

Ich habe mal ein Bild gemalt, wie ich mir das vorstelle: So könnte das ja ausssehen und man würde dann ja wohl eher zu Graka in rot greifen. Im Endeffekt etwa gleich viele frames, jedoch an den Hubbeln unterschiedlich.
Man müsste eben mal untersuchen, ob es da wirklich gravierende Unterschiede gibt.
Ich glaube eben nicht, dass

alle anderen Grafikkarten den gleichen Knick aufweisen

Ich mach mal noch ein zweites bild


mfg!

 

[Jirko]

Das mit der minimalsten und maximalsten Framerate fände ich da schon praktikabler. Sollte hinsichtlich der Zielsetzung einen ägnlichen Effekt haben. Man müsste jetzt nur gucken, wie man die verschiedenen Framerates nun wieder rausbekommt. Benchmarks lieben halt Durschschnittswerte und geben auch nicht viel mehr aus - meistens.

 

[a!i3n]

Hi,
die Idee ist sehr gut
bei AM3 kann man sich die Frames der einzelnen
Abschnitte anzeigen lassen, anhand dieser lässt
sich schon ein kleines Diagramm erstellen, sind zwar
nur 6 Logs glaub ich aber besser als keine
Also bei Am3 lässt es sich schon einfacher realisiern
Auch bei 3Dmark 05 03 wäre so etwas klasse, dort könnte
man rückschlüße ziehen, wie gut sie im rendern etc (wird angezeigt
was das für ein test ist) sind! Hoffe ihr wisst was ich meine
mfG
Max

 

[DVNO]

Ich habe da was gefunden:

http://www.hardocp.com/article.html?art=NjY2LDQ=

Hardocp.com scheint das bereits zu machen. Sonderlich aufschlussreich scheinen die Tabellen allerdings nicht zu sein, vielleicht sind die auch zu ungenau. Allerdings bestätigen sie voll und ganz, was ich meine. Die Grafikkarten brechen _TOTAL_ unterschiedlich ein.

Vielleicht sollte man das mal genauer untersuchen.

mfg

 

[a!i3n]

Mir reicht unten die kleine Tabel unter der ersten Diagramm doch voll und ganz!
Nach so einem Test würde jeder vernüftige Mensch die 6600 Gt holen
Wenn da nur dei Max.Fps ständen wären nur 7 Fps unterschied! Dann würden
wieder welche sagen ach...das merkt man nicht! So nun schaut man sich aber die
min.FPS an! Die 6600Gt hat dort sehr gute spielbare 26 Fps! Die X700 bricht stark auf
nicht ruckelfreie 17 FPS ein! 60 FPS Maximal haben sie aber beide Genau so ist es gut! Da wäre ein großer fortschritt für die Tests
mfG
Max

 

[Jirko]

Sieht interessant aus, ja - aber total unterschiedlich brechen die Karten nicht ein. Es gibt einige Ausnahmen, aber am krassesten ist das nur in Doom3 zu beobachten, und dass gerade dieses Spiel nVidia-freundlich ist, wollen wir ja nicht bestreiten.

 

[Mr. Snoot]

Man müsste jetzt nur gucken, wie man die verschiedenen Framerates nun wieder rausbekommt. Benchmarks lieben halt Durschschnittswerte und geben auch nicht viel mehr aus - meistens.

Ginge bspw. mit Fraps. Da kann man die FPS mitschreiben lassen (glaube jede Sekunde ein Wert) und da dann halt Min./Max. rausnehmen.

 

[DVNO]

Abgesehen davon dass es keine x700xt gibt...
Das Diagramm ist einfach viel zu ungenau.
"6-Sekundenschritte" sagen einfach mal garnix, auch wenn ich jetzt davon ausgehe, dass etwa alle sekunde ein wert in der tabelle ist. Denn aus "Einsekundenschritten" kann ich eine repräsentativeFolge machen, aber keine repräsentative Funktion für unser Problem.(die jedem x-Wert einen y-Wert zuschreibt). (wenn man von 25-80 fps ausgeht)
Interessant wären Abfragen innerhalb von einer Sekunde, etwa alle Zehntelssekunde.
Da könnte man genauer untersuchen woran dieser Kurvenausschlag liegt, indem man schaut, was die Graka grade rendert.

Minimalwerte und Maximalwerte anzugeben scheint nicht unsinnvoll, repräsentiert allerdings nicht unbedingt das, was ich meine.

mfg

 

[Jirko]

Öhm - Zehntelsekunden? Schonmal an die Benchmarks gedacht, die länger laufen, als 20 Sekunden? Bei zwei Minuten wären es schon 1200 Messpunkte - soll das alles auf die x-Achse? Wer soll das da eintragen? Und wer soll es ablesen können?

Vielleicht haben sie ja mehr als 6 Sekundenschritte genommen, die Achse würde ich ach nicht für jede Sekunde einteilen, das wird viel zu unübersichtlich.

Also irgendwie artet das sehr aus, was du dir vorstellst. Letztendlich bringt es dir auch nichts, wenn du weißt, dass Atis X800 in Doom3 immer dann einknickt, wenn Feuerverzerrungen dargestellt werden müssen, oder? Was machst du dann? Kaufst du dir das Spiel oder die Grafikkarte nicht? Und glaubst du erst dann, dass nVidia in D3 die Nase vorn hat oder wie muss ich mir das vorstellen?

Es drängt sich mir schonwieder die Zeit/Nutzen-Frage auf.

@ Gauder

Ja, das mit FRAPS habe ich mir gedacht. Wäre wohl das kleine Übel, da kommt die Umsetzung in ein Diagramm und der Zeitaufwand eher auf die schwarze Liste.

 

[a!i3n]

Ja das ist wirklich schon sehr viel Zeit aufwand!
Aber den Min.FPS Max.FPS und durchschnitts FPS sind
für mich schon mehr als hilfreich! So wie in dem Link von lowle!
Zwar haben bei 60 FPS Maximal--> Kunde gedenkt beide gleich gut!
aber bei minimal hat die nVidia 26 und die Ati nur 17! Dann weiß man
doch schon ehr was man nehmen würde oder?
Das ist nur ein BSP. Egal ob D3 nun für nVidia oder Ati optimiert ist!
mfG
Max

 

[DVNO]

Ich glaube wir diskutieren aneinander vorbei.
Lassen wirs halt.

Ich kann mir nicht vorstellen, dass das ein grosses Problem darstellt ein Programm zu schreiben, das fps alle 1/10 Sekunde ausliest und dann in eine Tabelle schreibt,
und dazu eins, das aus der Tabelle ein Diagramm zeichnet, das kann man auch mit exel machen.
Länger als 30 Sekunden sind ja auch unnötig. das was ich gemalt habe sollen so etwa 20 sekunden sein.

Jemand der programmieren kann, braucht vielleicht 3-4h um das umzusetzen.
Sobald ichs kann werde ich das selber machen.

Ich frag mal bei 3d-center vielleicht können die das ja.

 

[DVNO]

Die Leute von 3D-center haben sich auch Gedanken zu dem Thema gemacht und dabei kam folgendes raus, was allerdings auch nur eine Anregung darstellt, und bei weitem noch diskussionswürdig ist.

http://www.3dcenter.de/artikel/average_fps/

Die scheinen wohl irgendwie auf den Knackpunkt gekommen zu sein...

 

[Bokill]

@lowle

War vom dortigen 3DC-Mitglied Madkiller auch schon länger so angedacht worden ...

Das Problem ist die Umstellung und die Vermittlung der Message von diesen Benches.

Eine Tradition gibt man ungerne auf. Es kann ja auch nicht Sinn sein, immer weitere Benches oben rauf zu packen, wer liest denn dann Reviews mit 50 Seiten?

Das Problem wird um so schlimmer werden, wenn Dual-Cores Massenhaft im Konsumentenbereich drin sind, aber CB wird sicherlich sich schon Gedanken gemacht haben ...

MFG Bokill