Geschwindigkeit zwischen 2 HDD

[tollertyp]

Eine grosse Datei kann durchgehend übertragen werden (konstante Leistung). Bei mehreren ist das aber eigentlich ein Start/Stop.

bei 4 GB und aufwärts spielt das "Start/Stop" keine signifikante Rolle.
Fragmentierung spielt aber bei den Größen eine Rolle, sowohl für das Lese- als auch das Schreiblaufwerk.

Ergänzung (7. Juli 2025)

Schneller wird es nicht, da der SATA Chip quasi ausgelastet ist wenn von einen lokalen Laufwerk auf das andere lokale kopiert wird.

Hast du dafür einen Beleg, dass der SATA-Chip hier limitiert?

 

[Mosed]

Der Chip dürfte nicht limitieren, sonst könnte man mit SATA SSDs ja nicht mit an die 500 MB/s schreiben. Die sind ja definitiv schneller als eine HDD.
Aber lasse mich gerne korrigieren, wenn es dazu Tests gibt.

Mit einer HDD erreicht man halt selten die Maximal beworbenen Schreibraten.

 

[Banned]

Da bringt der Cache auch nix bei der Größe

Ein größerer Cache bringt generell hier nichts, auch wenn er 10GB groß wäre. Wenn von einer HDD mechanisch gelesen wird und auf der anderen mechanisch geschrieben wird, dann bestimmt dies eben maßgeblich die Dauer des Gesamtprozesses.

 

[Sebbi]

Der Chip dürfte nicht limitieren, sonst könnte man mit SATA SSDs ja nicht mit an die 500 MB/s schreiben. Die sind ja definitiv schneller als eine HDD.

Hast du mal von einer auf eine andere SSD am gleichen SATA Chip kopiert ? da ist erreichst du nicht die normalen Datenraten.

Hast du dafür einen Beleg, dass der SATA-Chip hier limitiert?

wie gerade geschrieben, einfach mal am gleichen Chip so große Datenmengen kopieren, das du länger als 1 Minute zum kopieren benötigst, damit die realen Datenraten ohne Cache angezeigt werden.

Wenn ich von SSD auf SSD am gleichen Chip kopiere, komme ich auf ~ 220 MB/s
Wenn ich von SSD auf SSD an meiner SATA Erweiterungskarte kopiere, kann ich mit rund 500 MB/s kopieren.

 

[linuxnutzer]

Eine grosse Datei kann durchgehend übertragen werden (konstante Leistung). Bei mehreren ist das aber eigentlich ein Start/Stop.

Da gibt es vielleicht ein Missverständnis. Rsync überträgt die Dateien nicht gleichzeitig, sondern hintereinander.

time rsync -ruvLt --size-only --modify-window=2 --stats --delete --progress --chmod=u=rwX /bak_tmp/bla /bak_intern/

Jedenfalls wird das Tage dauern, bis alles von 1 Platte auf die andere übertragen wird und dann noch weiter auf NVME.

Das ist eine 12TB-Sicherungsplatte, die auf den neuen PC aufgeteilt wird. Wenn die 12 TB-HDD übertragen ist, wird sie partitioniert.

 

[Langi1]

Rsync überträgt die Dateien nicht gleichzeitig, sondern hintereinander.

Kein Missverständnis. Genau das war mit Start/Stopp gemeint. Während der Übertragung bleibt die Geschwindigkeit konstant. Umso grosser die Datei umso länger.
Bei vielen kleinen Dateien geht es quasi runter auf null, überträgt die Datei mit voller Geschwindigkeit bis zum Ende und startet dann bei Null mit der nächsten Datei.

 

[linuxnutzer]

Eine grosse Datei kann durchgehend übertragen werden (konstante Leistung). Bei mehreren ist das aber eigentlich ein Start/Stop

Ich hatte doch eingangs ganz klar geschrieben:

Wenn ich da größere (4-40 GB) Dateien mit rsync lokal kopiere,

Was ist da nicht klar?

Bei den Einbrüchen frage ich mich, ob da das RAM dafür verantwortlich ist.

top - 15:17:56 up 15:05,  3 users,  load average: 1.90, 1.95, 1.99
Tasks: 506 gesamt,   1 laufend, 505 schlafend,   0 gestoppt,   0 Zombie
%CPU(s):  0.1 us,  0.2 sy,  0.0 ni, 92.7 id,  7.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Spch :  61829.8 total,   4168.6 free,   3274.1 used,  55083.9 buff/cache   
MiB Swap:   8192.0 total,   8191.5 free,      0.5 used.  58555.7 avail Spch

Also:

MiB Spch : 61829.8 total
55083.9 buff/cache

Eine 4GB Datei passt da locker rein, 40GB auch.

 

[tollertyp]

@Langi1: Um Missverständnisse zu vermeiden: Kannst du definieren, was du unter "kleinere" Dateien verstehst?

 

[Langi1]

Um Missverständnisse zu vermeiden: Kannst du definieren, was du unter "kleinere" Dateien verstehst?

Welche in einer Grösse von KB oder MB. Textdateien, Bilder oder ähnliches. Nichts im GB Bereich.

 

[linuxnutzer]

Bei vielen kleinen Dateien geht es quasi runter auf null

Das war nicht meine Frage, aber gerade übertrage ich mit einem neuen Befehl kleine Dateien, so ca. 4-10MB, da bin ich bei ca. 500kB/s

 

[Langi1]

Ich hatte doch eingangs ganz klar geschrieben:

Und ich hatte klar geantwortet.

gerade übertrage ich mit einem neuen Befehl kleine Dateien, so ca. 4-10MB, da bin ich bei ca. 500kB/s

Das ist das Ergebnis meiner Antwort.

 

[CountSero]

Also, es sind ca. 250 MB/s möglich, wenn die Daten am äußeren Rand der Festplatte liegen, und nur etwa 120 MB/s, wenn sie sich am inneren Rand befinden.

Geschwindigkeiten von rund 180 MB/s sind daher ein realistischer Durchschnittswert.

Was hier zusätzlich eine Rolle spielt, neben der Dateigröße ist, von wo du die Daten kopierst. Wenn du z. B. von einer anderen klassischen HDD überträgst, auf der die Daten bereits mehrfach geschrieben, gelöscht und neu geschrieben wurden, kommt noch das Thema Fragmentierung ins Spiel.

Fragmentierung kann die Übertragungsgeschwindigkeit deutlich beeinträchtigen, da der Lesekopf ständig zwischen verschiedenen Positionen hin- und herspringen muss.

Besonders kleine, fragmentierte Dateien sind dabei regelrecht Gift für die Datenrate, da sie viele einzelne Lesezugriffe verursachen und die Festplatte stark ausbremsen. Thema Seektime ^^

Bei einer SSD ist das hingegen egal, dort spielt es keine Rolle, wo die Daten im Speicherchip liegen.

Deshalb hatten früher viele Gamer mit HDDs zwei Festplatten im RAID 0 laufen, um die Performance zu steigern. Seit dem Aufkommen von SATA-SSDs war das dann allerdings weitgehend hinfällig.

Somit ist das Verhalten der beiden HDDs für mich absolut normal ^^

 

[tollertyp]

Das war nicht meine Frage

und das war bereits mit dem Eröffnungspost ersichtlich.

 

[Mosed]

Hast du mal von einer auf eine andere SSD am gleichen SATA Chip kopiert ? da ist erreichst du nicht die normalen Datenraten.

Bestimmt, aber erinnere mich daran nicht mehr.
Aber wenn ein SATA-Chip mehrere SATA-Anschlüsse bietet, würde ich erwarten, dass ich an allen Anschlüssen gleichzeitig die volle Geschwindigkeit nutzen kann. Ist ja irgendwie sinnfrei, wenn nicht mal zwei Anschlüsse parallel bedient werden können (ohne Einschränkungen).

Aber Erwartung und Realität können unterschiedlich sein. Vielleicht hängt es auch vom Chip ab?

 

[Sebbi]

Der Chip kann es vielleicht, aber auch die Anbindung des Chips zum restlichen System?
Denn DMA geht ja immernoch über den RAM z.B.
Aber ja, es muss halt alles mitspielen und dafür ausgelegt sein. Das ist es aber nicht mehr da man sich immer mehr auf M.2 konzentiert, was sich in den immer weniger werdenden SATA Anschlüssen auf den Boards wiederspiegelt.

 

[Azghul0815]

ausgelastet ist wenn von einen lokalen Laufwerk auf das andere lokale kopiert wird.

Danke. Hab wieder was gelernt.

 

[Ja_Ge]

Was hier zusätzlich eine Rolle spielt, neben der Dateigröße ist, von wo du die Daten kopierst. Wenn du z. B. von einer anderen klassischen HDD überträgst, auf der die Daten bereits mehrfach geschrieben, gelöscht und neu geschrieben wurden, kommt noch das Thema Fragmentierung ins Spiel.

Unter Win10/11 aber nur bei wirklich extremer Nutzung, da Defrag regelmäßig über die Laufwerks-Optimierung im Taskplaner läuft.

180 MB/s ist für die Platten ein normaler Wert. Theoretisch könntest du sie zum RAID zusammenschließen für mehr Speed falls es eine Sicherung ist.

 

[lazsniper]

Das kommt mir sehr langsam vor. Stimmt da was nicht?

das sind HDD's , das wird nicht schneller... ssd rein und dann geht die post ab

 

[Langi1]

@lazsniper Voll am Thema vorbei.

 

[CountSero]

Unter Win10/11 aber nur bei wirklich extremer Nutzung, da Defrag regelmäßig über die Laufwerks-Optimierung im Taskplaner läuft.

180 MB/s ist für die Platten ein normaler Wert. Theoretisch könntest du sie zum RAID zusammenschließen für mehr Speed falls es eine Sicherung ist.

Das ist mir bewusst – aber wenn man den Namen des Thread-Erstellers mit einbezieht, vermute ich einfach mal, dass es sich hier nicht um ein Windows-System handelt.

Wenn beim Verschieben vieler kleiner Dateien die Transferrate stark einbricht, spielt neben dem Overhead durch rsync auch Fragmentierung eine Rolle – besonders dann, wenn die Quellplatte bereits ziemlich voll ist. Denn je voller die Platte, desto schwieriger wird eine effektive Defragmentierung.

Bei großen Datenbeständen auf aktiv genutzten HDDs ist eine hundertprozentige Vermeidung von Fragmentierung schlicht nicht möglich und das wird sich bei einem vollständigen Backup zwangsläufig bemerkbar machen. Besonders, wenn wir hier über eine 12TB Platte sprechen.