Realitätsnahe Geschwindigkeitsmessung

[habichtfreak]

hallo forum,

schon oft ist mir aufgefallen, dass festplatten (oder allgemein massenspeicher), in benchmarks erfreuliche werte liefern, in der praxis kann die zu kopierende datei 10 gb groß sein, die werte die sequenzell ermittelt werden erreicht man nie.

da mache datenträger ja schon bei mp3s nur noch einen bruchteil ihrer geschwindigkeit liefern (von dateien unter 1mb will ich gar nicht erst reden), hatte ich irgendwann mal die idee, 3 "scenarienordner" anzulegen (wenig große dateien,viele mp3s und ganz viele bilder). problem dabei: das laufwerk müsste verdammt schnell sein um selbst kein flaschenhals zu sein und jeder pc müsste die passende schnittstelle haben. mal abgesehen davon, dass ich dafür keine ssd kaufen würde, spätestens bei notebooks ohne usb3 könnte man es gar nicht nutzen.

also wäre ja ein kleines schlankes programm ganz praktisch, womit ich wieder bei benchmarks gelandet bin, atto, hd tune, pc mark und wie sie alle heißen, aussagekräftig sind die für mich nicht. doch heute fiel mir der as ssd benchmark ein. der hat doch diesen kopier-benchmark (iso,programm,spiel). nun nahm ich in meiner unendlich naivität an, der konstruiert ein scenario, nennen wir es iso, das klingt nach einer großen datei die geschrieben wird. gemessen hat er 20 mb/s auf einer hdd (sata über usb3). einigermaßen realitätsfern. aus jucks hab ich dann einfach noch h2testw probiert, und siehe da, der ermittelt mit 41 (schreiben) und 46 mb/s (lesen) ziemlich genau die werte, die der realität entsprechen.

jetzt hätte ich unheimlich gerne ein programm, was wie h2testw tatsächlich daten auf die platte schreibt, sagen wir 100x 10mb (als mp3 scenario) und 1000x 1mb (fotos) und einfach nur die nackte wahrheit als ergebnis ausgibt. die anzahl der geschriebenen dateien muss nicht genau 100/1000 sein, aber etwa in der größenordnung.

kennt jemand so ein tool?

non+ultra wäre ein weiteres scenario, bei dem quelle=ziel ist, also ein vorgang den man bei packen/entpacken antrifft.

mfg hb

 

[benneq]

Schreib dir doch ein Skript für die Shell. Sollte keine 10 Minuten dauern. Oder du legst dir selbst 'nen Ordner mit 100 10mb files an und kopierst ihn von hand

 

[Gorby]

Das bringt dich auch nicht weiter, denn je nach dem ob die Festplatte eher voll oder leer ist bekommst du wieder teils sehr unterschiedliche Ergebnisse und weist letztlich nie, wo genau das Laufwerk die Daten auf den Platter geschrieben/gelesen hat. Außen ist sie halt in vielen Szenarien schneller als innen.

 

[Kartenlehrling]

Ich würde die Zeit messen wie lange dein Vierenprogram eine immer gleich grosser Ordner mit verschieden Programen durchprüft.
Da kannst du feststellen welche Festplatte die beste ist.

 

[Voyager10]

Festplatten mit mechanischen Scheiben werden konstruktionsbedingt bei kleinen Dateien immer in der Kopierperformance sehr schwach ausfallen , egal wie oft du Szenarien testest.
Das merkt man auch deutlich beim Booten das Windows was schon länger in Benutzung ist und viele Dinge installiert sind, also kein nacktes Windows mehr.
Deshalb ist das heutzutage auch wesentlich besser auf Hybridlaufwerke oder SSD zu setzen, die sind hier bei kleinen Dateien deutlich im Vorteil.

 

[seebear]

Mich würde interessieren, wie habichfreak den Begriff "Realität" definiert.

 

[h00bi]

nimm file creator und erstell dir musterdateien. Dann kopierst du mit nem gescheiten copy handler der dir MB/s und/oder Zeit anzeigt.
Wobei ich die Diskussion um HDD Performance heutzutage fast schon absurd finde. Wenns schnell gehen soll nimmt man ne SSD.

 

[Madnex]

doch heute fiel mir der as ssd benchmark ein. der hat doch diesen kopier-benchmark (iso,programm,spiel). nun nahm ich in meiner unendlich naivität an, der konstruiert ein scenario, nennen wir es iso, das klingt nach einer großen datei die geschrieben wird. gemessen hat er 20 mb/s auf einer hdd (sata über usb3). einigermaßen realitätsfern. aus jucks hab ich dann einfach noch h2testw probiert, und siehe da, der ermittelt mit 41 (schreiben) und 46 mb/s (lesen) ziemlich genau die werte, die der realität entsprechen.

Du übersiehst hierbei, dass der AS SSD-Benchmark beim Kopiertest die Daten gleichzeitig liest und auf denselben Datenträger schreibt, die effektive Transferrate also maximal der Hälfte der maximal möglichen Lese-/Schreibrate entsprechen kann. H2testw arbeitet anders. Es schreibt zuerst die Daten und liest sie danach wieder ein. Das sind zwei ganz unterschiedliche Szenarien.

Nebenbei bemerkt, die c't selbst, bzw. der Autor des Programms, hat geschrieben, dass h2testw nicht als Bechmarktool taugt.

kennt jemand so ein tool?

Der FileCopy-Test von xbitlabs wäre ein möglicher Kandidat.

 

[habichtfreak]

Schreib dir doch ein Skript für die Shell. Sollte keine 10 Minuten dauern

mach ich auf dich den eindruck als könnte ich das, oder kann das heute jeder (nur ich nicht? )

Das bringt dich auch nicht weiter, denn je nach dem ob die Festplatte eher voll oder leer ist bekommst du wieder teils sehr unterschiedliche Ergebnisse und weist letztlich nie, wo genau das Laufwerk die Daten auf den Platter geschrieben/gelesen hat. Außen ist sie halt in vielen Szenarien schneller als innen.

keine frage, wenn das quelllaufwerk stark fragmentiert ist (hdd), das ziellaufwerk fast voll ist etc, dann weichen die werte ab. ist mir bekannt, kann ich nicht ändern. gpu oder cpu sind auch viel langsamer wenn sie zu heiß werden. hindert das jemanden unzählige benchmarks in einer kontrollierte umgebung durchzuführen?

Ich würde die Zeit messen wie lange dein Vierenprogram eine immer gleich grosser Ordner mit verschieden Programen durchprüft.
Da kannst du feststellen welche Festplatte die beste ist.

es geht auch um datenträger die nicht mein eigentum sind oder sticks, die ich nicht erst vollschreiben will.

Deshalb ist das heutzutage auch wesentlich besser auf Hybridlaufwerke oder SSD zu setzen, die sind hier bei kleinen Dateien deutlich im Vorteil.

dass ne ssd schnell ist, keine frage. ist sie es nicht, läuft irgendwas nicht rund. aber isos, mp3s oder bilder sind keine daten die ich auf einer ssd lagere, sondern auf hdds.

Du übersiehst hierbei, dass der AS SSD-Benchmark beim Kopiertest die Daten gleichzeitig liest und auf denselben Datenträger schreibt, die effektive Transferrate also maximal der Hälfte der maximal möglichen Lese-/Schreibrate entsprechen kann.

das wusste ich nicht, dass erklärt immerhin das ergebnis.

Nebenbei bemerkt, die c't selbst, bzw. der Autor des Programms, hat geschrieben, dass h2testw nicht als Bechmarktool taugt.

dafür liefert es noch die besten ergebnisse

Der FileCopy-Test von xbitlabs wäre ein möglicher Kandidat.

danke, wenigstens einer der die frage beantwortet.

 

[Madnex]

Nebenbei bemerkt, die c't selbst, bzw. der Autor des Programms, hat geschrieben, dass h2testw nicht als Bechmarktool taugt.

dafür liefert es noch die besten ergebnisse

Nein, es liefert die Ergebnisse, die dir am realistischsten vorkommen. Das bedeutet aber nicht, dass sie auch wirklich realistisch sind. Schließlich ist nicht alles, was nicht deiner Vorstellung entspricht, unrealistisch. Wenn Ergebnisse nicht den Erwartungen entsprechen, stimmt entweder was mit dem Testaufbau nicht, oder man hat Zusammenhänge nicht richtig verstanden.

 

[Holt]

Du übersiehst hierbei, dass der AS SSD-Benchmark beim Kopiertest die Daten gleichzeitig liest und auf denselben Datenträger schreibt, die effektive Transferrate also maximal der Hälfte der maximal möglichen Lese-/Schreibrate entsprechen kann.

Und Du übersiehst dabei, das Windows unbelegtes RAM als Diskcache verwendet, also bei den heute üblichen RAM Kapazitäten und der geringen Datenmenge die AS-SSD verwendet, die Daten gar nicht lesen muss, die werden ja geschrieben und dann gleich kopiert, sehen also noch im RAM von Windows, zumindest wenn man sein Windows nicht verkonfiguriert hat, z.B. mit irgendwelchen SSDTweaker oder "OS Optimierungen".

Das kann man leicht selbst prüfen indem man eine USB2 Platte oder ein USB2 Stick verwendet und eine größere Datei, ein paar Hundert MB bis wenige GB, auf eine schnelle interne HDD oder besser SSD kopiert. Die Datei darf man vorher nicht öffnen und sie sollte deutlich kleiner sein als was an RAM gerade frei ist. Dann wiederholt man das indem man sie in ein anderes Verzeichnis auf der gleichen internen Platte kopiert. Beim ersten mal kommt man dann maximal auf ca. 30MB/s, was das Limit von USB2 ist, beim zweiten mal geht es dann aber viel schneller und nur die Schreibgeschwindigkeit der internen Platte bestimmt die Geschwindigkeit. Wie geht das? Nur indem die Daten gar nicht mehr von USB Datenträger gelesen werden. Das gleiche passiert auch bei den meisten synthetischen Benchmarks wie AS-SSD, die die Daten erst schreiben und dann gleich wieder lesen oder kopieren. Gerade wenn die Datenvolumen gering sind.

H2testw arbeitet anders. Es schreibt zuerst die Daten und liest sie danach wieder ein. Das sind zwei ganz unterschiedliche Szenarien.

Nicht wirklich, es unterscheidet sich vor allem das Datenvolumen, denn man testet ja meinst mehr als nur ein paar Hundert MB. Wenn h2testw nicht gerade Low-Level Funktionen verwendet, was natürlich für den Zweck sinnvoll wäre und daher hoffentlich auch gemacht wird, dann könnte es da genauso passieren.

 

[habichtfreak]

Mich würde interessieren, wie habichfreak den Begriff "Realität" definiert.

ich hab gestern auf die externe etwa 100gb kopiert. anfangs wurde mir eine übertragungsgeschwindigkeit von rund 100mb/s angezeigt. gegen ende waren es nur noch 42 mb/s. damit ist das ergebnis von h2testw realistisch (+-10%).

das scenario "programm" vom fc-test habe ich mal probiert. 9006 dateien, 1060 mb, in 23 sek auf einer ssd. löschen hat jedoch minuten gedauert und den rechner dezent aus der bahn geworfen. also im grunde macht das programm was es soll, bedienkomfort ist aber eher spartanisch und die übertragungsgeschwindigekeit muss mal selber ausrechnen. kennt jemand ein etwas moderneres tool?

 

[Madnex]

Und Du übersiehst dabei, das Windows unbelegtes RAM als Diskcache verwendet, also bei den heute üblichen RAM Kapazitäten und der geringen Datenmenge die AS-SSD verwendet, die Daten gar nicht lesen muss, die werden ja geschrieben und dann gleich kopiert, sehen also noch im RAM von Windows, zumindest wenn man sein Windows nicht verkonfiguriert hat, z.B. mit irgendwelchen SSDTweaker oder "OS Optimierungen".

Dass an deiner Theorie nicht allzu viel dran sein kann, belegen die Ergebnisse des Kopiertests vom AS-SSD-Benchmark. Würde irgendein Cache übermäßig in Gebrauch sein (bzw. zum Zug kommen), würden die Ergebnisse wesentlich höher ausfallen. Oder wie erklärst du dir, dass das Ergebnis des AS-SSD-Benchmarks beim ISO-Test in etwa der Hälfte der Lese- bzw. Schreibrate entspricht, die h2testw angezeigt hat?

Sollte der Cache allgemein bei h2testw nicht deaktiviert sein, wäre das Programm eine krasse Fehlkonstruktion. Schließlich soll es die Korrektheit der geschriebenen Daten kontrollieren. Wenn die aber aus dem Cache und nicht von dem Datenträger gelesen werden, würde das den Zweck kilometerweit verfehlen. Abgesehen davon arbeitet h2testw meines Wissens mit Zufallsdaten. Die Daten, die geschrieben werden, sind also ständig andere.

Das ändert aber nichts an der Tatsache, dass h2testw beim Schreiben sowie beim Lesen rein sequenziell arbeitet und beide zwei in sich abgeschlossene Vorgänge sind, im Gegensatz zu dem Lese-/Schreibtest des Kopiertests vom AS-SSD-Benchmark. Um genau diesen Unterschied ging es mir.

 

[Holt]

Das h2testw die Caches übergeht, hoffe ich doch mal sehr, sonst wäre der Nutzen zumindest bei kleinen Sticks fraglich.

Bei realen Schreib- und Lesevorgängen darf man übrigens das Filesystem nicht vergessen und dessen Verwaltungsaufwand, der zu einigen kleinen Randomzugriffen für jede Datei führt. Deshalb ist die reale Performance umso schlechter, je kleiner die Dateien sind, aber das ist im Grund schon an den Ergebnisse der synthetischen Benchmarks ablesbar, an der seq. Transferrate ebenso wie an den Zugriffszeiten bzw. Randomwerten.

 

[habichtfreak]

gestern bin ich über ein tool gestolpert. dort konnte man größe und anzahl der geschriebenen dateien angeben. ich dachte schon, genau das was ich suche. leider stellte sich heraus, egal bei welcher dateigröße (1-1000mb), mit systemcache misst es die seq. geschwindigkeit. ohne systemcache war die gemessene übertragungsgeschwindkeit, ebenfalls egal bei welcher größe, immer um die 5-7 mb/s (schreiben) und 25-40mb/s (schreiben). irgendwo dazwischen liegt die wahrheit ...