Benchmarks und ihre Aussagekraft

[honkitonk]

Moin Leutz

Es gibt schon ne Sache die mich schon seit einigen Monaten beschäftigt. Die lieben gut alten Benchmarks und ihr realitätsbezug. meine rechnerkonfig ist ja in der sig zu sehen. und laut 3dmark 2003 ist mein pc nicht so der bringer (teilweise nur 6xxx punkte) komisch bloß, dass Doom 3 etc einfach nicht an die Werte des benchmarks halten wollen und trotzdem mit allen grafischen schmankerln flüssig laufen.

aufmerksam auf dieses verwirr spiel hat mich nen artikel in irgend einer Zeitschrift gemacht. und ich finde man merkt es wirklich, dass alle benchmarks (vor allem die 3d-reihe) kaum einen bezug zur spielerischen realität haben.

ok es ist toll, wenn da 11xxx punkte stehen, aber was bringts, wenn ich weis dass ich daraus keine wirklichen rückschlüsse auf die leistungsfähigkeit meines systems ziehen kann.

Jetzt würd mich mal eure meinung zum punktekrieg im benchmarkbereich interessieren.

gegrüßt

PS: ich weißnicht wirklich ob das hierher gehört

 

[the Interceptor]

Die 3DMarks haben meiner Meinung nach mehr mit Prestige als mit tatsächlicher Leistungsfähigkeit zu tun. Es macht sich halt gut, wenn man sich als GraKa-Hersteller damit brüsten kann, im 3DMarkXX 3000 Punkte mehr zu haben als die Konkurrenz, obwohl die Differenz in der Realität praktisch nicht mehr vorhanden ist. Alles Werbemaßnahmen, damit das eigene Produkt gut aussieht. Deshalb gibt's ja auch die Treiberkriege zwischen ATI und Nvidia mit auf 3DMark optimierten Treibern.
Wenn mit noch was Schönes einfällt ergänze ich es noch...

Gruß,
the Interceptor

 

[TSHM]

Durch Filteroptimierungen, die es bei beidem gibt, sind Benchmarkergebnisse nur bedingt zulässig. Ohne Bestimmte Registry-Settings ist es bei ATI nicht möglich und Nvidia empfiehlt ausdrücklich, den "High Quality-Modus" nicht zu Benchmarkzwecken zu verwenden, die Optimierung am non High Quality-Modus sind derzeit nicht bekant.

Quelle: http://www.3dcenter.de/artikel/forceware_61.77_66.00/

 

[honkitonk]

Bezeichnend für den ganzen Beschiss war doch damals die sache mit dem patch für den 2003er, weil Nvidia da ne optimierung nur fürn benchmark programmiert hatte.

 

[Mr. Snoot]

Ich lass von Benchmarks mittlerweile die Finger. Unter anderem, weil ich bei einigen Tests totalen Schrott erhalten habe (Aquamark sollte bei meinem alten PC so um die 35000 Punkte schaffen - verglichen mit ähnlichen Systemen. Herausgekommen sind 15000 ..). Spiele liefen aber einwandfrei.

Entweder Spiele laufen, oder nicht. Der Benchmark dient ja nur zum Vergleich zwischen PCs/Komponenten und als Kaufberatung.

Auf meinen aktuellen Rechner und zukünftige Systeme kommt mir so schnell kein Benchmark mehr

 

[muh2k4]

na klasse wieder ein wer-hat-den-dicksten-thread...
hilfe mein rechner ist in spielen zu schnell obwohl der benchmark was anderes sagt.
wenn du dem 3dmark nicht traust dann halt dich halt an spiele oder officebenchmarks. das der 3dmark heftig umstritten ist wissen wir alle und das brauchen wir hier auch nicht nocheinmal neu aufrollen.

 

[honkitonk]

also bei den starken variationen in den ergebnissen können se eigentlich auc nicht als kaufberatung dienen.
Das einzi gute an den Benchmarks ist, dass da oft schöne Bilder zu bewundern sind und wenns gut läuft hat man sogar flüssig laufende filmchen

 

[Mr. Snoot]

also bei den starken variationen in den ergebnissen können se eigentlich auc nicht als kaufberatung dienen.

Kommt halt auch drauf an, was getestet wird. Bei Grafikkarten isses z.Zt. sicher problematischer als bei CPUs.

 

[TSHM]

Ich vertraue überhaupt keinen Benchmark mehr außer Erfahrungsberichte und Technischen Daten.

 

[Gonzo71]

eine direkte aussagekraft hat ein Benchmark für mich nicht, man kann damit halt bissel angeben (Sch*anz vergleich )
und man kann ganz gut seine übertaktete Grafikkarte damit testen, wenn der Bench abschmiert wieder bissel runtertakten

 

[the Interceptor]

"spielbar" und "läuft flüssig" sind auch dehnbare Begriffe. Ein Freund von mir ist da relativ schmerzfrei, er spielt noch Frameraten, die mir schon viel zu niedrig sind. Ich verzichte lieber auf ein paar Details und habe dafür einen besseren Spielfluß. Wenn also jemand sagt "bei mir läuft BlaBla superflüssig!" würde ein Anderer es eher mit "gerade so spielbar" bezeichnen.

Gruß,
the Interceptor

 

[honkitonk]

im durchschnitt kann man aber davon ausgehen, dass fps-raten jenseits der 30 für die meisten als flüssig bezeichnet werden können. ( ich persönlich reagiere auch sehr allergisch auf die geringsten ruckler) also doom 3 mit 50/60 fps ist schon flüssig

 

[Fazer]

im durchschnitt kann man aber davon ausgehen, dass fps-raten jenseits der 30 für die meisten als flüssig bezeichnet werden können. ( ich persönlich reagiere auch sehr allergisch auf die geringsten ruckler) also doom 3 mit 50/60 fps ist schon flüssig

Ich kann nur nicht verstehen wieso Du bei Deinem System nur auf 6xxx Punkte kommst!! Da muss irgendetwas nicht richtig eingestellt sein.
Ich komme auf 8374 Punkte bei folgendem System.

P4 2,6 GHz, 512MB Samsung, GeForce 6800

 

[honkitonk]

manchmal spinnt der bench so rum, dass ich bei zwei nur wenige klicks voneinander entfernten benches zwei unterschiedliche (und ich mein nicht wenige hundert) ergebnisse habe. hab auch schon punkte von 11k und mehr gehabt. aber da sieht mans mal wieder. irgendwelche dateien an der falschen stelle oder mal nicht frisch formatiert, und schon gibts sehr differenzierte ergebnisse.

 

[Mr. Snoot]

"spielbar" und "läuft flüssig" sind auch dehnbare Begriffe.

D.h. ich hab in Far Cry 30+ fps. Trotzdem meint irgendein Benchmark, dass ein P3 mit SD-RAM + GF2 schneller sei

 

[KL0k]

es kommt auch immer drauf an wer die benchmarks macht - womit - und was getestet werden soll.. ich find beispielsweise die benchmarks in zeitschriften bei neu erschienner hardware recht aufschlussreich. hab meine radeon auch danach ausgewählt damals (vor 2,5 jahren oder so, ne radeon9500pro) und benutz die auch immer noch.(bis sich der händler mal gütig gibt und mir endlich meine 9800pro schickt, aber das isn anderes thema )

3dmark is halt müll, aber auf die benchmarks von zeitschriften bspw. möcht ich nicht verzichten.

 

[muh2k4]

fluesig und spielbar sind alles auslegung
fuer meinen teil sind:
- 30+ fps spielbar
- 60+ fps fluessig
jetzt gibt es immer wieder spezies die behaupten das menschliche auge wuerde eh nicht mehr als 15 bilder die sekunde wahrnehmen...dann sollen die mir aber mal erklaeren warum ich selbst den unterschied zwischen 60fps und 120fps erkenne.
wie gesagt...30 muesstens schon sein. ich habe damals noch unreal2 auf meiner alten kiste 880erK/@1024mb@gf2Ultra mit um die 17fps gezockt und des hat einfach keinen spass mehr gemacht...

EDIT: man muss natuerlich noch beachten...ick zock auf 21"...das ist ja auch net ganz unerheblich

 

[Nedved]

ich finde futuremark und aquamark werden von den firmen wie ATI und Nvidia kräftig gesponsored. wenn man bedenkt dass dieser test enscheidet ob die karte langsam ist oder nicht. naja und ausserdem finde ich diese test allg. für sehr fraglich. ist halt bauernfängerei. z.B. eine neue version kommt raus und einer hat ne ti4600 und sieht ohh laggt ja nur noch. ich muss mir ne neue kaufen. obwohl er z.B. nur cs zockt und es damit sehr gut läuft.

 

[honkitonk]

na das mit dem unteschied zwischen 60 und 120fps mag ich jetzt nicht wirklich glauben. denn ab 100fps bräuchte man noch nicht einmal mehr motion blur zu simulieren, denn ab diesem limit kann das auge die bilder gar nicht mehr vollständig erfassen, so dass es zu einem natürlichen unschärfe empfinden kommt. (entsprechendes ausgabemedium vorausgesetzt).

ausserdem gibt es kein spiel o.ä. , dass immer mit der selben fps-zahl läuft. das sind alles durchschnittswerte. und wenn einspiel mit 60fps mal einbricht kann es durchaus in die nähe der 30fps-grenze kommen, und dass ist wahrnehmbar. ein fps-einbruch beim 120fps-spiel würde niemand mitkriegen, es sei denn es sackt auf die besagten 30fps ab. was eher unwahrscheinlich ist.

gegrüßt