Fehlerangabe bei Tests (FPS, Sekunden, ...)

[heno]

Hi Leute!

Ich las grad wieder einen Test:

https://www.computerbase.de/artikel/storage/crucial-m500-480gb-ssd-test.2081/seite-6

und fragte mich, ob die unterschiedlichen Bootzeiten nicht einfach im Fehlerbereich von bspw. 1 sec. liegen? Schließlich ist nicht jeder Bootvorgang der gleiche.

Das selbe bemerke ich auch immer wieder bei Grafikkarten. Hier stehen zb. 165,3 FPS zu 164,9 FPS. Tchja, wenn ich dann die schnellere Graka kaufe weil bei der langsameren Graka Windows mal nachn update gefragt hat und deswegen langsamer war...

Wie weit streuen die Ergebnisse denn? Macht CB dazu einen Angabe?

LG

hen0

 

[Nilson]

Die Testergebnisse sind jeweils die Mittelwerte aus mindestens drei Messungen

https://www.computerbase.de/artikel/storage/crucial-m500-480gb-ssd-test.2081/seite-2

Da werden solche Fehlerquelle eliminiert.

 

[wahli]

Lies mal hier --> klick

Die gemessenen Zeiten sind nur eine Momentaufnahme, d. h. mit neueren Treibern, Windows-Updates, Firmware-Update, usw. sind die Ergebnisse evtl. wieder anders.

Manchmal werden auch Vergleichtests für Grafikkartentreiber gemacht. Allerdings werden da nicht alle Treiber mit allen Grafikkarten getestet. Bei so vielen Grafikkarten und ständig neuen Treibern ist das einfach unmöglich.

Und einen Spielraum kannst du dir ja selbst ausdenken.

Ein paar Prozent Unterschied wirst du in der Realität nicht merken. Erst bei ca. 20-40% merkst du für gewöhnlich einen Unterschied. Ausnahmen im Grenzbereich gibt es natürlich immer.

 

[Txxxxs]

Da werden solche Fehlerquelle eliminiert.

Ich bin kein Experte der Stochastik, aber "eliminiert" ist meines Erachtens nicht der richtige Ausdruck - was, wenn alle drei Messungen mehr oder weniger Aussetzer zeigen? Ich würde eher von "reduziert" sprechen, da die Wahrscheinlichkeit von vergleichbaren Ergebnissen mit der Zahl der Messungen steigen dürfte.

 

[heno]

Fehler werden nie elemeniert

Ich baue ein System und mache 5 Bootvorgänge: 40s 23s 23,5s 22s 10s.

Daraus errechnet sich ein Mittelwert und eine Streuung. Nur so ist eine Messung wirklich aussagekräftig. Wenn Computerbase nur einmal Bootet, ist die Fesplatte mit 40s sehr langsam. Und der Hersteller heult rum und enlässt alle Mitarbeiter ...

Der wahre Wert liegt um einen Mitelwert von 23,7 s mit einer Standardabweichung von +- 10,7s. das heisst das die Festplatte zu 68,3 % der Fälle in 13s, maximal jedoch in 34,4s bootet. Für ausreißer wie die 40 s und 10 s verwendet man oft auch den Median.