Sollten in CB-Tests die min. FPS angegeben werden?

Sollten in den CB Grafikkarten-Tests die min. FPS angegeben werden?

  • Ja, auf jeden Fall!

    Stimmen: 19 45,2%
  • Wäre nicht schlecht, ist jetzt aber nicht zwingend notwendig.

    Stimmen: 9 21,4%
  • Ist mir egal / sonstige

    Stimmen: 4 9,5%
  • Nein, die Tests passen so, wie sie sind.

    Stimmen: 10 23,8%

  • Umfrageteilnehmer
    42

Furble

Lt. Commander
Registriert
Jan. 2008
Beiträge
1.995
Hallo liebe Community!


Mein Anliegen ist folgendes: Sollte Computerbase in den Grafikkarten-Tests die minimalen FPS in den jeweiligen Spielen angeben, so wie es z.B. PCGH tut?

Ich finde die CB-Tests eig immer ganz gut, aber eigentlich sind die minimalen FPS, vor allem im Multiplayer, wichtiger als die durchschnittlichen!
Denn was bringt es, durchschnittlich 70 FPS zu haben, wenn bei actionreichen Spielszenen die FPS auf 25 FPS absinken?

Da finde ich es eigentlich besser, konstantere 60 FPS zu haben, die nicht unter 35-40 FPS sinken!

Was denkt ihr dazu? Meint ihr, CB sollte in den Grafikkarten Tests die min. FPS mit angeben oder findet ihr, dass das so passt, wie es ist?


Liebe Grüße! :)
 
Zuletzt bearbeitet:
Die Min-FPS sagen erstmal wenig aus, da man nicht weiß, ob die FPS-Einbrüche in einer mehrminütigen Benchsequenz gar nur eimal (also vernachlässigbar) oder sehr häufig (also kritischer) auftreten.

Genau deswegen gibts die Frameverläufe:

https://www.computerbase.de/artikel...i-test.1417/seite-20#abschnitt_frameverlaeufe


Wenn du die Linien anklickst*, kannst du die Min-FPS genau ablesen und siehst auch, wie häufig die Framerate einbricht.


(* SVG-fähiger Browser vorausgesetzt, also nicht im Internet Explorer kleiner gleich Version 8.)
 
Im Übrigen bergen die min-FPS die Gefahr, dass man stellenweise durch Nachladevorgänge von der HDD ein verfälschtes Ergebnis erhält. Angesichts der emotionalen Aufgeladenheit dieser Thematik ist es daher durchaus gut, dass solche Fehlerquellen, die sich vor allem bei in Balken dargestellten min-fps gut verstecken können, bei GPU-Tests ausgeschlossen werden.

Und wie schon von PuppetMaster angesprochen wurde, Frameverläufe sind vorhanden und ermöglichen es viel detailierter darzustellen, wie es letztendlich in der Benchszene mit min-fps aussieht, als es ein Balken je könnte. :)
 
Ist mir zufälligerweise alles bekannt (:D), aber Wolfgang hat momentan noch keine SSD im Testsystem.

Und das mehr besser ist, ist eh klar. Machen muss es halt irgendwer.^^
 
Das Minimum-Zeug birgt halt immer auch Gefahren und du kannst es drehen und wenden wie du willst, irgendwas bleibt immer. Das fängt ja schon bei der ausgesuchten Spielszene an. Es ist nicht nur der Nachladeruckler oder VRAM-Knappheit oder sonst was, auch kann es nur eine einzige Szene sein, die ein Mal vorkommt, in der etwas krass runter geht. Ist das denn aussagekräftiger, wenn da ein Mal 20 als Min und sonst 80 im Mittel steht, und eventuell sonst der minimale Wert bei 45 ist? Nein ist es nicht. Es ist genau so aussagekräfitg wie ein Max-Wert von 170, der auch nur 2 Mal anzutreffen ist, während man sonst bei max 120 ankommt. Und den Wert gibt halt auch kein Mensch an.

Frameverläufe sind da schon richtig und eutlich besser als ein fester Wert. Und nach 11 Frameverläufen im GTX 560 Test erstmal mehr verlagen, ist naürlich wieder klar. Finger -> Arm usw. ^^
 
Naja beim Benchen wird doch sowieso neben Min, Max und Avg. auch der Frameverlauf in Zahlen festgehalten. Sehe also darin keinen wirklichen Mehraufwand.
 
Dem Minimum wird nicht nur meiner Meinung nach bei Graka-Tests viel zu viel Bedeutung zugesprochen. Ich seh schon die Grabenkämpfe "meine Karte ist im Minimum viel besser. Dafür hat meine Average 40 Frames mehr. Meine ist trotzdem noch besser weil Minimum >> all". Hauptsache jeder hat (irgendwie) Recht.

Dass letztendlich der Prozessor und seine zugrunde liegende Plattform genau den Minimum-Wert maßgeblich beeinlusst, bedenken die meisten aber dann doch wieder nicht: https://www.computerbase.de/artikel...est.1404/seite-30#abschnitt_arcania__gothic_4 ( gern auch in hoher Auflösung: https://www.computerbase.de/artikel...est.1404/seite-38#abschnitt_arcania__gothic_4 ) Denn genau da legt man den maximalen Minimum-Wert bereits fest. Intels schnellste Quad Core liegt so halt mal 50% vor dem schnellsten AMD-Modell. Aber heißt das auch, das alles immer 50% schnell läuft? Nein, heißt es eben nicht. Der Wert verzerrt einfach völlig das Bild.
 
Zuletzt bearbeitet:
Volker schrieb:
Ist das denn aussagekräftiger, wenn da ein Mal 20 als Min und sonst 80 im Mittel steht, und eventuell sonst der minimale Wert bei 45 ist? Nein ist es nicht.
Deswegen sollte man auch nicht nur einen Wert angeben, sondern z.B. eine Klasse erstellen, in der 5% der niedrigsten Werte sind. Dieser Durchschnittswert wäre durchaus aussagekräftig.
Die Auswertung der gesammelten Daten und Interpretation der Ergebnisse ist bei den Tests hier wirklich seit 5 Jahren auf dem gleichen niedrigen Niveau. Das hinklatschen von ein paar Verlaufsdiagramme, in denen nur wenige Karten, eine Auflösung und Qualitätseinstellung vorkommt und die nicht einmal diskutiert oder durch die zusätzliche Angabe von Zahlenwerten veranschaulicht werden, hilft in meinen Augen auch kaum weiter.
Aber die Diskussion gibts ja schon seit einigen Jahren vergeblich (zuletzt erst mit Wolfgang).
 
Seppuku schrieb:
Dieser Durchschnittswert wäre durchaus aussagekräftig.

Nein, wäre er nicht und aus dem Grund wird so eine Diskussion auch immer ins Leere bzw. ins Esoterische laufen.

Man kann es sich natürlich so hinbiegen und immer noch mehr Daten sammeln, aufführen zusammenrechnen, Durchschnitte bilden. Aber es wird dennoch niemals mehr als eine grobe Näherung sein, die für das eigene System daheim eben diese Aussagekraft nur begrenzt besitzen kann und der groben Näherung des Test in der jetzigen Form auch nicht fundamental widerspricht. Mag sein, dass es reicht um es sich in Flamewars gegenseitig an den Kopf zu werfen, dass Karte X aber zwei Frames weniger im Minimum bei Spiel Y im Test Z hatte.

Aber der Wert hängt nun mal von sehr viel mehr Faktoren ab als nur der Karte bzw. dem Chip. Genannt wurden bisher CPU, Datenträger, Spiel. Generell ist das Gesamtsystem entscheidend. Was du letztendlich scheinbar auch willst ist nichts anderes als was eh gemacht wird, nur viel viel mehr davon. Also Frameverläufe für alle Qualitätseinstellungen und Auflösungen. Nur wissen wirst du danach auch nicht mehr und die wenigsten interessiert es ernsthaft. Die Zahlenwerte stehe auch im Diagramm übriges. Welche sollten den noch dabei stehen, damit es "anschaulicher" wird?

Wobei auch du erst mal begründen solltest, warum Frameverläufe aufgeführt werden sollten, wo garantiert eben kein Flaschenhals zu befürchten ist. Um die Karte an die Grenze von Speicherausbau und- interface zu bringen, müssen die Datenmengen auch stimmen. Oder siehst du das anders? Selbst dann nimmt wie gesagt die CPU und andere Komponenten Einfluss, was man nur aufwändig nachstellen könnte um überhaupt ein Minimum der möglichen Konfigurationen zu erfassen.

Die Werte, die in den Benchmarks ermittelt werden, sind Durchschnittswerte. Wie man auch in Frameverläufen sieht, ist das als Näherung insofern nicht völlig daneben, weil Spitzenwerte und Minimalwerte selten über längere Zeit zu sehen sind. Das hängt natürlich auch von der Auswahl der Szenen ab. Aber 25fps als Durchschnittswert sind nicht unbedingt genug, das dürfte jedem klar sein. Und man sieht auch, das die Frameverläufe bei gleichwertigen Karte auch fast gleich sind. Das heißt also, dass wer im Durchschnitt besser ist, eben mehr Reserven bei den minimalen FPS hat.

Und für diesen Erkenntnisgewinn braucht es aus meiner ganz persönlichen Sicht nicht diesen Aufwand. Wenn das mal im Rahmen eines Grundlagenartikels gemacht werden würde, dann sehe ich ein, dass man da ins Detail geht und es mal veranschaulicht, wie Durchschnittswerte im Verhältnis zu den minimalen FPS stehen. Auf andere Spiele ließe sich das aber auch nicht unbedingt übertragen, das heißt, das man es im besten Fall für 10 bis 15 Spiele besser kennt, weil die eh in jedem Test im Netz vorkommen.

Selbst wenn man deine Prämisse mit der des Threaderstellers hier vergleicht: Wenn ich schon die 5% niedrigsten nehme, dann garantiert es auch nicht, dass nicht das 1% der schlechtesten Werte genau die sind, die störend auffallen. Alles eine Frage der Szene, der Ansprüche, des Spiels. Wenn man mal, was weiß ich, WoW als Beispiel nimmt, dann mögen in 99% der Fälle die Werte ausreichen und dann bei einem Boss ausgerechnet der 1% zuschlagen. Konstante 60 Frames sind auf dem PC eine Seltenheit, weil die meisten sowieso versuchen das Maximum an Grafik einzustellen, was ein noch vertretbares Spielen in den meisten Fällen erlaubt. Weil es eben geht.

Ich verstehe ja den Hang nach mehr Infos. Bin ich ja auch eigentlich dafür. Aber bei allem Verständnis, die Ergebnisse der Tests würde es nicht ändern und der Aufwand nicht im Verhältnis zum Erkenntnisgewinn stehen.
 
Zuletzt bearbeitet:
@ HappyMutant

Was haben statistische Methoden mit Esoterik zu tun?
Wer sagt denn, dass man nach einer statistischen Analyse systemspezifischer Daten plötzlich allgemeingültig macht?
Was du letztendlich scheinbar auch willst ist nichts anderes als was eh gemacht wird, nur viel viel mehr davon.
Ja. Und ist das denn so verwerflich? Wenn ich Daten vorliegen habe, warum sollte ich dann nicht einfach auch das Maximum an Informationen aus diesen herausholen wollen? Wobei man ja nicht einmal eine tolle Analyse erwarten würde, sondern die Angabe der Standardabweichung wäre schon einmal ein Anfang...
Man bewertet die Karte nach ihrer Leistung und nimmt ausschließlich den Mittelwert als Indikator und man erhält nur für ausgewählte Auflösungen und Einstellungen einen Einblick in die Qualität der Daten...
Nur wissen wirst du danach auch nicht mehr und die wenigsten interessiert es ernsthaft. Die Zahlenwerte stehe auch im Diagramm übriges. Welche sollten den noch dabei stehen, damit es "anschaulicher" wird?
Interessant, dass du ohne mich zu kennen weißt, dass ich keine Daten interpretieren kann...
Ob es die meisten anderen interessiert, weiß ich nicht. Wer Interesse an einem guten Test hat, der auch wirklich nachvollziehbar ist, der wird es auf jeden Fall haben.
Es würde für den Anfang reichen, wenn einfach einmal die Standardabweichung mit angegeben werden würde oder wenn man einfach auch einmal die Szene zu den Testsequenzen sehen würde (mit einer kurzen Begründung warum man sich für eben diese beim Benchmark entschieden hat).
weil Spitzenwerte und Minimalwerte selten über längere Zeit zu sehen sind.
Bei Frameeinbrüchen reicht es auch schon aus, wenn die Frames nur kurzzeitig ein bestimmtes Niveau unterschreiten.
Ich verstehe ja den Hang nach mehr Infos. Bin ich ja auch eigentlich dafür. Aber bei allem Verständnis, die Ergebnisse der Tests würde es nicht ändern und der Aufwand nicht im Verhältnis zum Erkenntnisgewinn stehen.
Welcher Aufwand denn bitte? Mit Excel wird ja hier jeder umgehen können.
Und man sieht auch, das die Frameverläufe bei gleichwertigen Karte auch fast gleich sind. Das heißt also, dass wer im Durchschnitt besser ist, eben mehr Reserven bei den minimalen FPS hat.
Nicht unbedingt.
Ein Beispiel, in dem genau das Gegenteil der Fall ist, wären die Frameverläufe im aktuellen Test der 560 Ti zu Mafia und Battleforge.
Beispiele für sehr inhomogene Verläufe wären Stalker und Metro. Aus ausschließlich dem Mittelwert absolut nicht ersichtlich!
Und warum sollte diese Informationen niemanden interessieren?
 
Ich sagte, dass die Diskussion ins Esoterische abdriftet. Denn es geht eben nicht darum zu klären was es eigentlich bringt und ob der Zweck dem Aufwand gerecht würde. Das ist auch bei dir der Fall. Du glaubst daran, dass mehr Daten mehr Erkenntnis bringen und das ist aus meiner Sicht keineswegs so.

Es ist immer auch Aufgabe eines Test eine Auswahl zu treffen, was man an Daten präsentiert. Das macht nicht zufällig jeder Test im weltweiten Netz. Es ist kontraproduktiv, so viel Daten wie nur irgendwie möglich reinzupressen, nur weil es diese Daten gibt. Deine Frage, ob ich glaube, dass du nicht die Daten interpretieren könntest, muss ich mit einer Gegenfrage antworten: Hast du eine Vorstellung davon, wie aufwändig es ist, die Daten aufzubereiten und in einer sinnvollen Form zu präsentieren?

Dich mag ein bloßes Hinwerfen auch nicht stören, weil du es selber zu interpretieren vermagst, anderseits hast du gerade eben noch gefordert, dass es erheblich interpretiert und angereichert wird mit weiteren Daten. Von daher ist das doch genau mein Punkt: Für einen minimal größeren Erkenntnisgewinn gegenüber der jetzigen Informationen, müsste man einen unverhältnismäßigen höheren Aufwand treiben. Auch wenn du das für vernachlässigbar hältst, so liegt das denke ich mal dann doch im Ermessen des Testers.

Die Standardabweichung zu nennen bringt wie gesagt nicht viel, weil gerade Framerateeinbrüche sehr stark vom Rest des System abhängen. Jetzt zu sagen, das reicht aber gerade noch in der Testsequenz ist im Grunde genommen falsch. Denn unter anderen Bedingungen reicht es eben gerade nicht mehr. Dann wird im Forum der Thread aufgemacht, warum denn der Test behauptet, Spiel X laufe mit den Einstellungen auch noch in extremen Situationen flüssig, während es sich daheim irgendwie rucklig anfühlt. Und mehr als fühlen ist es nicht, wenn es für eine Sekunde einbricht wie in den Framverläufen teilweise.

Bei Frameeinbrüchen reicht es auch schon aus, wenn die Frames nur kurzzeitig ein bestimmtes Niveau unterschreiten.

Wenn es aber nur in einer Ausnahmesituation kurzfristig eintritt, werden die meisten damit leben können. Und widerspricht nicht deine Aussage der Forderung nach Angabe der Standardabweichung? Wenn schon eine Sekunde entscheidend ist, aber einfach nur 25 Sekunden Sequenz gemessen werden, wie viel sagt die Standardabweichung aus? Oder aber du widersprichst fundamental der Behauptung dass sich das ganze mit den gleichen Mittel wie jetzt sehr einfach umsetzen lassen. Wenn du mit Standardabweichung im normalen mathematischen Sinne kommst, dann muss man auch die Stichprobe angemessen ausweiten (man beachte dazu aber den nächsten Absatz) und zudem eine ausführliche Erläuterung abgeben, wie das überhaupt zu interpretieren wäre.

Es ist doch viel mehr so, dass die Frameverläufe und die Benchmarkwerte eine Vergleichbarkeit untereinander ermöglichen, aber eben nicht unbedingt eine absolute Aussagen zu realen Spielsituationen treffen können. Die Sequenzen sind trotz allem künstlich herbeigeführt und auf Wiederholbarkeit ausgelegt. Eine für die meisten Spiele untypische Situation und außerdem ist diese noch von anderen Einflüssen abhängig. Man bekommt also nur einen groben Eindruck darüber, wie die Karte im Spiel unter diesen oder jenen Einstellungen auf den Karten läuft.

Die Frameverläufe suggerieren dagegen eine sehr exakte Vermessung des Spiels und eine Aussage über die allgemeine Spielbarkeit. Da die Situationen künstlich herbei geführt wurden, ist das aber gar nicht so der Fall. Die Angabe der Standardabweichung würde sogar noch sehr viel mehr Genauigkeit suggerieren, während es aber eigentlich nur für die Testumgebung gültig wäre. Die Genauigkeit und die Menge der Daten verleitet dazu zu glauben, dass eine absolute Aussage zum Spiel selbst getroffen würde.

Was so ein Test will ist doch aber die Karten untereinander vergleichen. Karte A ist leistungsfähiger als Karte B. Da auch in deinen genannten Beispielen die Kurvenverläufe eben sehr wohl gleich sind, nur eben je nach Stärke der Karte auf einem anderen Level, lässt sich immer eine direkte Beziehung herstellen zwischen den detaillierten Messwerten und der Durchschnittsangabe. Was anderes wäre es, wenn in den 25 Sekunden Karte 1 mal sehr weit vor und mal sehr weit hinter Karte 2 liegen würde und am Ende dennoch ein ähnlicher Schnitt rauskommt. Wenn aber die Abstände in jedem Frame relativ gleich bleiben (ob nun inhomogen im Verlauf oder nicht), dann ist die schnellste Karte definitiv auch die beste. Ob nun im Schnitt oder im Verlauf.

Es wird auch nirgends im Test gesagt, ab diesem Durchschnittswert ist es spielbar. Das ist nicht die Zielsetzung des Hardwaretest, dort geht es nur darum, welche Karte stärker ist. Das wäre bei einem Spieletest etwas anderes, wo konkret gesagt wird, diese Hardware braucht man, um es flüssig in Auflösung X und Qualität Y zu spielen. Oder mit dieser Hardware kannst du alles auf "Hoch" stellen. Das ist aber einfach eine sehr spezifische Angabe pro Spiel und Hardware, wo auch nicht das eine Spiel Rückschlüsse auf das andere liefern kann.

Über die Angabe der minimalen Frames kann man sich natürlich streiten. Warum das nicht unbedingt so sinnvoll ist, dazu wurde hier einiges geschrieben und warum es auch irreführend wäre, habe ich hoffentlich auch einiges gesagt. Wie gesagt, die Zielsetzung des Test ist nicht die Angabe der Spielbarkeit, sondern eine Übersicht, welche Karte schneller ist (im jeweiligen Spiel). Das macht Frameverläufe und Aussagen zur Spielbarkeit nicht uninteressant, aber dafür braucht es eine andere Herangehensweise und eine andere Zielsetzung. Da müsste man z.b. sehr viel mehr auf die Auswirkungen verschiedener Konfigurationen eingehen.

Die Behauptung, man müsse nur die vorhandenen Daten aufführen und neu interpretieren, kann ich insofern nicht teilen. Da bedarf es aus meiner Sicht schon mehr, was dann aber wieder zu dem Punkt führt, dass der Aufwand nicht im Einklang mit dem Erkenntnisgewinn steht.
 
Zuletzt bearbeitet:
Ich finde es hervorragend, so wie es jetzt ist. Die Frameverläufe sind excellent.
 
Zurück
Oben