Mehrfach-Backup ohne RAID

[parafux]

Hallo,

ich bin relativ neu hier und weiss nicht mal ob ich mit meiner Frage hier richtig bin, deswegen habe ich einfach "Hotline" gewählt.
Ich besitze eine relativ große mp3-Sammlung. Diese möchte ich mindestens auf 3 Festplatten sichern. Ich möchte kein RAID-system verwenden, da ich jeweils eine 1:1 Kopie haben möchte, d.h. ich kann jede der Festplatten als eigenständiges Orginal betrachten und damit auch arbeiten.
Wenn ich jetzt ein backup machen möchte muss ich immer 2x den Kopiervorgang durchführen, das dauert 2x so lange.
Gibt es eine Möglichkeit den Kopiervorgang folgendermaßen durchzuführen:
1x Lesen vom Orginal
gleichzeitiges Schreiben auf die Backup-Festplatten

Danke und Grüße
parafux

 

[Jaghbar]

Hi also das was du beschreibst ist das kopieren auf ein Raid 1 System da wird die Festplatte quasi gespiegelt so kopierst du auf eine Festplatte und die andere wird automatisch synchronisiert.

Wenn du kein Raid haben willst gibt es noch die Möglichkeit das über ein Script zu lösen musst halt jedes mal aufrufen oder per Hand 2 mal kopieren.

 

[r0ck3r]

Also, ein RAID ist kein Backup und wird dir in dem Fall wohl auch nichts bringen.

Könntest vielleicht ein Programm wie Teracopy verwenden, bei dem du eine Warteschlange hast und somit die Kopiervorgänge direkt hintereinander laufen lassen könntest

 

[CD]

Raid ist aber auch kein Backup. Wenn da auf Platte 1 aus versehen die Daten gelöscht werden, dann wird dieses Löschen sofort auf Platte 2 gespiegelt. Außerdem: Platten aus einem Raid1 *können* je nach Controller zwar einzel verwendet werden (kommt auf das Dateisystem an, das der Controller verwendet), trotzdem würde ich das eher nicht machen, denn sobald man die Platten wieder zusammenführt muss das Raid erneut aufgebaut werden (was zeit kostet). Schlimmstenfalls nimmt ein Client dann noch unabsichtlich Veränderungen an einer der Raid-Platten vor während sie "stand alone" verwendet werden (zB weil dir iOS überall gern irgendwelche .DS_Store Dateien hinklatscht), und zack wars dann mit dem Rückbau das Raid-Arrays weil Controller verwirrt.

Andererseits ist die einzige mir bekannte Lösung für wirklich paralleles Schreiben wie du es willst ein Raid1. Besorg dir doch eine gescheite Sync-Software, die nur Änderungen zwischen den Platten kopiert und alles andere nicht anrührt. Das spart auch schon ordentlich Zeit.

 

[pintness]

Gleichzeitiges kopieren auf mehrere Platten geht meines Wissens nach nicht, aber du könntest ein Tool wie DirSync oder AllwaySync benutzen um beide Kopiervorgänge hintereinander auszuführen. Die Tools synchronisieren Verzeichnisse, d.h. nach dem ersten ("großen") Kopiervorgang werden nur die neuen und geänderten Dateien kopiert, das sollte dann auch ziemlich schnell gehen.

 

[FireW]

Ich benutze dazu einen Imager (Acronis, Paragon, Aomei usw.) und sichere das Voll-Backup auf die 1. Backup Platte.
Dieses Image kopiere ich anschließend auf die 2. save Backup Platte, diese stelle ich anschließen in den Schrank.
Kann man so machen muss man aber nicht!

 

[parafux]

wenn RAID 1 ein backupsystem ist das genau mein Vorhaben beschreibt, dann würde ich genau so etwas aufbauen wollen.
Kann ich bei diesem System dann jede der 3 Festplatten als Orginal verwenden und mit diesem weiterarbeiten?
Wenn ich mit den Updates fertig bin, dann starte ich einfach nochmal einen RAID1-Sync-Lauf, oder?

Wie baue ich so ein RAID1 System auf?

Kann ich auf meine bereits vorhandenen Daten auf den 3 Festplatten aufsetzen, ohne dass alles überschrieben wird? Ich frage, weil der Kopiervorgang der ca. 550 GB dauert ca. 4 Stunden, und ich will die Festplatten nicht unnötig belasten. Eine meiner Backup-Platten gibt wohl gerade den Geist auf, auf jedenfall dauert das aktuelle GB schon mehr als ne Stunde.

----------------------------------

Wenn es kein Backupsystem ist wie ich es haben möchte:
Gibt es tatsächlich keine Software, die gleichzeitig auf 2 Ziele schreiben kann und nur einmal von der Quelle lesen muss?

Das wäre schade, denn ich könnte mir vorstellen, dass so etwas theoretisch bestimmt zu programmieren ist.

Lesen in den Arbeitspeicher
Schreiben auf zwei Stellen gleichzeitig, oder von mir aus auch hintereinander, hauptsache von der Quelle wird nur einmal gelesen.


ps: Allwaysync habe ich vor einigen Jahren gekauft genau für diesen Zweck, aber da kann ich auch immer nur auf ein Ziel schreiben. Deswegen die Frage hier.

Ich bin dann aber auf SyncBack umgestiegen, weil der auch erkennt, dass das Datum nur wegen der Sommerzeitumstellung sich geändert hat und dann eben nicht kopiert. Windows ändert da tatsächlich die Zeit um eine Stunde.

 

[FireW]

Vielleicht hilft Dir das weiter:
WHS 2011 Serverbackup auf mehrere Festplatten verteilen
http://www.zistolo.de/whs-2011-serverbackup-auf-mehrere-festplatten-verteilen/528/

 

[conf_t]

Da kann man bestimmt was mit robocopy /MIR basteln.
Das kopiert nur die neuesten/eränderte Dateien, alte unveränderte bleiben bestehen, das reduziert die Menge an zu kopierenden Daten. Muss aber jedes mal neu einlesen. Ist aber sehr performant. Ich nutze es als Teil meiner Backupstrategie.

PS: Was machst du wenn dir deine Bude abfackelt? Da helfen auch 10 Festplatten nix, wenn sie alle mit verkohlen.... Denk mal drüber nach.

RAID xyz ist kein Backup, man kann das nicht oft genug betonen.
Bei 3 HDDs kann man zwar folgendes machen aber:

1 RAID1 + 1 Backupplatte -> Daten bei Ausfall einer Platte noch immer verfügbar, aber man hat nicht wie gewünscht 2 Backups, sondern eben nur 1

1 RAID 5 -> Ups man hat garkein Backup

3 einzelne Plattten gegenseitig synchornisieren, so das alle als Backup dienen -> 3 Kopienen der gleichen Datei, wer's mag, warum nicht.

 

[CD]

Ich würd halt echt kein Raid1 nehmen wenn du die Platten anschließend individuell verwenden willst. Sobald du den Verbund aufbrichst indem du eine oder beide Platten entfernst ist beim nächsten Betrieb als Raid1 wahrscheinlich ein Rebuild nötig (je nach dem wie clever der Controller ist), und das kann richtig lange dauern, weil stupide Platte 1 auf Platte 2 gespiegelt wird.

Bei den kleinen MP3s ist es wahrscheinlich echt möglich, da zuerst ein paar Dateien in den RAM zu lesen und dann erst zu schreiben. Aber - und es ist ein großes aber - wie groß ist denn die Änderung zwischen den jeweiligen Backups? OK ein halbes TB an Daten ist natürlich ein Wort, aber du wirst ja nicht jedes mal deine komplette Sammlung umkrempeln, oder? Selbst sowas billiges wie MS Synctoy kriegt es hin, Änderungen, Umbennenungen etc zu tracken und wirklich nur die Dateien zu kopieren/zu löschen, die auch wirklich neu sind bzw. gegenüber dem Backup gelöscht wurden.

Wegen der doppelten Anzahl Lesevorgänge würde ich mir auch keinen Kopf machen - das schlimme für HDDs ist eigentlich eher der Ein/Ausschaltvorgang und das Parken der Köpfe. Alles zwischendrin ist... naja dafür wurden die Dinger schließlich gebaut und im Gegensatz zu SSDs kann man sie auch nicht wirklich kaputtschreiben.

Und wie schon mehrfach gesagt wurde - Raid ist kein Backup, es ist lediglich eine Ausfallsicherheit wenn Daten selbst nach einem Plattendefekt noch 100 % live verfügbar sein sollen. Sobald es auch ok ist dass Daten mal offline sind würde ich immer eine normale Backup-Platte einem Raid vorziehen. Und von einem Raid natürlich auch immernoch ein Backup machen.

 

[r0ck3r]

(je nach dem wie clever der Controller ist)

Vermutlich wird es sich auch nur um den billigen Mist auf dem Mainboard handeln

 

[parafux]

@Bude abfackeln: eine der festplatten ist natürlich in einer feuerfesten Box mit allen anderen wichtigen Dokumenten verstaut. Und ab und an wird auch eine Sicherheitskopie bei Freunden hinterlegt. Deswegen ja auch kein Raid, sondern ein echtes Backup (1:1)

Naja, ich warte einfach mal, vielleicht hat ja irgendjemand eine Idee.
ich glaube nicht, dass ich mir die Mühe mit robocopy mache, das kann alles syncback auch. Und dafür hab ich ja schon Geld ausgegeben.

Also Raid scheidet aus, bleibt nur noch die Hoffnung auf jemanden der das gleiche Problem hat und gut programmieren kann.

 

[r0ck3r]

Ich verstehe aber nach wie vor das Problem nicht

Du musst also nun 2x deine Daten auf eine andere Platte kopieren. Mach es doch einfach..... die Zeit, die du hier mit Suchen verbringst, hättest du auch schon dafür nutzen können

 

[CD]

Vermutlich wird es sich auch nur um den billigen Mist auf dem Mainboard handeln

Vermutlich ja

(...)
Also Raid scheidet aus, bleibt nur noch die Hoffnung auf jemanden der das gleiche Problem hat und gut programmieren kann.

Meine C-Skills sind leider beschränkt, aber in Matlab könnte ich es programmieren (hilft dir dann halt wenig, weil naja Matlab = teuer). 1x Lesen -> Daten in den RAM, und dann vom RAM 2x Schreiben (je nach dem sogar parallel) ist bei kleinen Dateien jetzt nicht soooo schwierig, notfalls nimmt halt für jede Platte nen eigenen Thread von der CPU und am Ende jedes Schreibvorgangs synchronisieren sich die Threads für den nächsten Lesevorgang (sprich die schnellere Platte muss auf die Langsamere warten).

 

[parafux]

matlab hätte ich schon und kenn' mich sogar einigermaßen aus, obwohl ich bevorzugt lieber octave verwende.

das problem ist nicht dass es mir zu lange dauert das 2x wegschreiben, sondern ich möchte die festplatte (auch lesen) so wenig wie möglich belasten, also warum 2x lesen wenn es 1x auch tut. Ich hoffe jetzt ist mein Anliegen klar geworden.

 

[r0ck3r]

ich möchte die festplatte (auch lesen) so wenig wie möglich belasten, also warum 2x lesen wenn es 1x auch tut.

Tipp des Tages: Bau die Festplatte aus, verpacke sie wieder in die antistatische Folie und lege sie in deinen Schrank.



Glaubst du wirklich, dass es einen große Unterschied macht, ob du nun ein oder zweimal die Daten davon liest?
Bisher kannte ich so eine Paranoia nur von Leuten, die sich gegen eine SSD wehren, weil man die ja "totschreibt", aber dass es sowas auch bei HDD-Besitzern gibt, ist mir neu


Nun spinne ich das mal für dich zu Ende:
Wenn du die Daten von dem Ursprungsdatenträger auf Backup-HDD1 kopiert hast und beim zweiten Backupdurchlauf geht der Ursprungsdatenträger kaputt, dann hast du doch sowieso noch ein Backup auf Backup-HDD1.

Wenn du nichtmal einen Lesevorgang durchbekommst, dann hast du sowieso ein ganz anderes Problem, als "wie man mit einem Lesevorgang zwei Platten beschreibt".



Warum sind manche Leute in ihren Vorhaben immer so unglaublich kompliziert?!

 

[CD]

Ähm ok wenn du Matlab hast... wie weit reichen dort deine Kenntnisse?

Im Prinzip brauchst du fread mit dem du eine Datei einliest, dann eine parfor-loop (vorher irgendwo ganz am Anfang zwei Worker erstellen) in der du jeweils ein neues file pro Zielplatte öffnest und dann jeweils fwrite in die dateihandles mit den Daten die du zuvor aus fread bekommen hast. Wenn du willst kann ich das auch morgen mal probieren sauber aufzuschreiben. Das wäre dann allerdings nur der "Gleichzeitig auf zwei Platten schreiben"-Part, da ist keinerlei Synchronisation oder skippen von unveränderten bzw. bereits vorhandenen Dateien dabei.

 

[Helibob]

Du solltest bedenken, dass du mit deinem gewünschten Backup-Verfahren, alle 3 Festplatten zur gleichen Zeit an dem gleichen System hängen hast. Erhöht mMn das Risiko mehr als "ein zweiter" Lesezugriff.

 

[CD]

Wenn es wirklich nur um Lesevorgänge und das (meiner Meinung nach unnötige) Schonen der primären Platte geht, wie wäre denn folgendes:

Platte 1 -> Platte 2
Platte 2 -> Platte 3 (Im Gegensatz zu Platte 1 -> Platte 3)

Damit werden Platte 1 und Platte 2 gleich belastet was Lesezugriffe angeht.

 

[parafux]

Ähm ok wenn du Matlab hast... wie weit reichen dort deine Kenntnisse?

Im Prinzip brauchst du fread mit dem du eine Datei einliest, dann eine parfor-loop (vorher irgendwo ganz am Anfang zwei Worker erstellen) in der du jeweils ein neues file pro Zielplatte öffnest und dann jeweils fwrite in die dateihandles mit den Daten die du zuvor aus fread bekommen hast. Wenn du willst kann ich das auch morgen mal probieren sauber aufzuschreiben. Das wäre dann allerdings nur der "Gleichzeitig auf zwei Platten schreiben"-Part, da ist keinerlei Synchronisation oder skippen von unveränderten bzw. bereits vorhandenen Dateien dabei.

Danke für das Angebot, das hört sich sehr gut an.

Ergänzung (16. September 2014)

Du solltest bedenken, dass du mit deinem gewünschten Backup-Verfahren, alle 3 Festplatten zur gleichen Zeit an dem gleichen System hängen hast. Erhöht mMn das Risiko mehr als "ein zweiter" Lesezugriff.

Das stimmt, aber ich denke nicht, dass alle 3 Festplatten gleichzeitig kaputt gehen, ich möchte nur die 5 Stunden Kopierzeit einmal für eine festplatte sparen. Das ist meine einzige Absicht, keine Paranoia, keine Sicherheitsangst, nur Schonen der Festplatte wenn es geht.

Ich komme deswegen drauf, weil durch das viele Kopieren offenbar bereits mehrere Platten darunter gelitten haben. Es gibt ja Programme wo man den Zustand der Platten auslesen kann und da sind einfach einige dabei, die nicht mehr so toll sind.

Ergänzung (16. September 2014)

Wenn es wirklich nur um Lesevorgänge und das (meiner Meinung nach unnötige) Schonen der primären Platte geht, wie wäre denn folgendes:

Platte 1 -> Platte 2
Platte 2 -> Platte 3 (Im Gegensatz zu Platte 1 -> Platte 3)

Damit werden Platte 1 und Platte 2 gleich belastet was Lesezugriffe angeht.

Nein das stimmt nichte, Platte 1 und Platte 3 wären 1x in Verwendung, Platte 2 aber 2x also doppelte Belastung (1x Lesen, 2x Schreiben).
Bei meiner Variante wären alle Platten nur 1x in Verwendung.

Ich nehme jetzt der Einfachheit halber mal an, dass das Lesen und Schreiben die Platten gleichermaßen belastet.