Langfristiges Backup großer Datenmengen

[cookie_dent]

Für mich ist hauptsächlich die Frage der Benutzungsfreundlichkeit Ausschlag gebend gewesen, die ich mir bei ähnlichem Problem, gestellt habe. Ich selbst habe auch mehrere tausend Fotos/Videos mit ca. 10-12 TB.
Die ältesten siehst Du Dir vermutlich nie/äußerst selten an, willst sie aber dennoch nicht löschen.
Aber wenn Du aber auf die fixe Idee kommst schnell mal ein Foto von 2003 anzuschauen, zu bearbeiten und es jemandem zu geben, dann viel Spaß mit einem Bandlaufwerk. Aus meiner Erfahrung heraus geht das nicht mal eben so, den Umgang damit habe ich noch als recht sperrig in Erinnerung.
Ich arbeite schon seit Jahren mit einem Selbstbau RAID 1 Server auf dem ich auch meine Musik und Filmsammlung gespeichert habe und den ich als HTPC nutze.
Die wirklich wichtigen Daten (Benutzerdaten, Fotos, Backups) sichere ich zusätzlich einmal im Monat auf ein RAID 5 NAS.
Vorteil: Ich habe sämtliche Fotos/Videos sofort verfügbar und die Geschwindigkeit ist sehr hoch.
Nachteil: Du musst halt dran denken einmal im Monat das NAS zum Datenabgleich anzuschmeißen
Die Kosten halte ich im Vergleich zum Bandlaufwerk für vergleichbar.

 

[pattex]

Vielen Dank für die zahlreichen Antworten. Von der Datenmenge wäre wohl eine 8TB-Platte immer noch locker ausreichend, aber halt x2 falls eine Platte defekt wird. Ich müsste die Dateien zwar ohnehin noch ausmisten, aber mit 4K-Videos und 40MP+ Fotos steigt die Datenmenge nun auch schneller als vor 20 Jahren. Vermutlich wäre HDD noch immer die erste Wahl. Mehrere tausend Euro wäre mir die Datensicherung auch nicht wert,

Das beste System nützt nichts, wenn man es nicht verwendet, weil es kompliziert ist. Es gibt ja schon Backup-Lösungen, die mit Knopfdruck auf mehrere Festplatten sichern. So etwas wäre mir eigentlich am liebsten. Welche Geräte wären da empfehlenswert?

 

[xexex]

Die Laufwerke entsprechen ja den Standards wie z.B. LTO-x. Wenn ich mir heute einen DVD-Brenner kaufe, kann ich damit die CDs, die ich vor 20 Jahren gebrannt habe (mal angenommen, das Medium selbst ist noch intakt), auch lesen, weil der Standard gleichgeblieben ist.

Dann versuche heute mal ein Laufwerk für DDS oder AIT Bänder aufzutreiben, das war auch mal ein "Standard". Wenn man was langfristig sichern möchte, beschränkt man sich nicht auf ein Medium was man in 20 Jahren bestenfalls im Museum vorfinden wird, sondern nutzt gängige Datenspeicher wie sie gerade im Gebrauch sind.

Im vorliegendem Fall würde man schlichtweg die Datenmengen auf ein NAS auslagern und ein zweites NAS an einem anderen Standort oder die Cloud zur Sicherung nutzen, wobei letzteres bei hohen Datenmengen aktuell noch recht teuer ist.

 

[Looniversity]

Es gibt ja schon Backup-Lösungen, die mit Knopfdruck auf mehrere Festplatten sichern

Damit das klappt muss das Gerät am Strom und Netzwerk hängen (logisch). Für eine langfristige Sicherung ist das zwar nutzerfreundlich, aber kontraproduktiv - wenn dir der Blitz ins Haus schlägt oder du Schadsoftware im Netz hast, sind damit die Sicherung und die Originaldaten auf einmal weg. Und wenn du versehentlich Dateien löscht, wird die fälschliche Löschung womöglich als Änderung ins Backup geschieben (lies: rausgelöscht) - bevor du ein Jahr später überhaupt bemerkst, dass da eine Datei fehlt, ist sie unwiederbringlich weg.

Wenn du mit etwas mehr "Handarbeit" leben kannst, sind zumindest diese Risiken weg. Festplatten in einem anderen Schrank können immernoch mit den Originaldateien abbrennen oder geklaut werden, aber Überspannung, Blitz, Verschlüsselungstrojaner und versehentliche Löschung dürften (vermutlich) deutlich häufiger sein als diese Risiken. Und sie sind günstiger ("lediglich mit Handarbeit") abzusichern als die katastrophalen Dinge.

 

[Blende Up]

Als zentrale Ablage der Arbeitskopien/originale würde ich ein NAS Empfehlen. 2Bay oder sogar 1Bay NAS. Raid würde ich als unnötig ansehen.
Am besten mit mindestens einem 2.5Gbs Anschluß.
Das gleiche nochmal als Automatisches - Backupsystem. Wenn man mehrere Backupgenerationen halten möchte, tatsächlich mit mehr Platz als das ArbeitsNAS
Dazu sollte das SicherungsNAS automatisch hochfahren, und wieder runterfahren können:

Je nach Gusto dann noch 2 NAS oder nackte Platten + USB-Dock für eine nichtautomatische Sicherung. Die liegen dann einmal im Schrank, und einmal bei
Familie oder Bank oder, auf jeden Fall nicht zu Hause.

Ich weiß nicht, was da bei Dir schon vorhanden ist, aber das wäre so mein minimal-Ansatz.

 

[Don_2020]

LTO ist eine schöne Sache. Leider Kosten die Laufwerke > 2.000 €. Nach 2 Generationen ist schluss mit dem Lesen der alten Bänder.
Ein LTO-4 Laufwerk etwa kann sowohl LTO-4 als auch LTO-3 Bänder lesen und schreiben, die LTO-2 Bänder aber nur mehr lesen. (siehe Wikipedia).
Neben dem Laufwerk wird auch ein schneller Server mit SAS-Schnittstelle und entsprechende Festplatten/SSDs benötigt. Tape-Streamer mögen es gar nicht wenn die Daten zu langsam ankommen.

Das ganze führt für Privatanwender zu exobitant hohen Kosten.

Besser ist es in ein/zwei NAS Systeme zu investieren.
NAS 1 mit RAID 5 für die kurzfristige (tägliche) Sicherung
NAS 2 mit RAID 6 für langfristige Sicherung.

Empfohlende Software: Urbackup oder Backuppc
NAS 2 kann auch als Cloudspeicher (Kosten beachten) ausgeführt werden.

 

[Blende Up]

NAS 1 mit RAID 5 für die kurzfristige (tägliche) Sicherung
NAS 2 mit RAID 6 für langfristige Sicherung.

Warum ein Backup Raid gesichert werden sollte, musst Du mir bitte mal erklären, das versteh ich nicht.

 

[00Julius]

Warum ein Backup Raid gesichert werden sollte, musst Du mir bitte mal erklären

Weil die NAS-Geräte idealerweise nicht am selben Standort stehen.
Wenn dir z.B. die Wohnung abbrennt, sind die Daten weg, auch wenn ein Backup besteht.

 

[wahli]

@00Julius
Lies mal nach, was Raid bedeutet

 

[Mycomser]

Sehe für reines Datenbackup keine Notwendigkeit für ein NAS, dann eher sowas, ist deutlich billiger..
https://www.alternate.de/html/produ...MIpICs-8mghAMVDZmDBx1_VgmeEAQYBCABEgLNpfD_BwE
Alle Daten dann auf mindest 2 Platten speichern, dann braucht’s auch kein RAID
Und noch ein einfaches USB HDD Gehäuse mit großer HDD, das extern gelagert wird und alle paar Monate mal upgedated wird.
USB ist auch deutlich schneller als übers Netzwerk, es sei denn man hat 10 Gbit und das geht dann auch wieder unnötig ins Geld..
Ich nutze meine NAS‘s nur noch für Medien sharen, aber nicht für Backup..

Bin Backup Freak ( gebranntes Kind…) und habe mein ca 15 TB an wichtigen Daten auf mehr als 150 TB HDD Kapazitäten verteilt…

 

[00Julius]

@wahli : wie meinst du das?

Mir ist die Bedeutung von RAID (auch in den verschiedenen Varianten) durchaus geläufig.
Ich habe den Beitrag von @Don_2020 aber vielleicht auch anders verstanden als du.
MMn war hier das RAID 5 als Backup und Ausfallsicherheit gedacht. Da aber alle Platten in der Regel in einem Gehäuse sind, sind alle Daten weg, wenn dem NAS etwas passiert.
Daher nahm ich an, dass das 2. NAS für ein offline-Backup gedacht ist (gemäß der 3-2-1 Regel).

 

[Banned]

Warum ein Backup Raid gesichert werden sollte, musst Du mir bitte mal erklären, das versteh ich nicht.

Es ist auf jeden Fall vorteilhaft - aber mMn auch nicht zwingend notwendig. Durch das RAID hat man einen gewissen Schutz vor Silent Data Corruption - dann auch beim Backup.
Du kannst etliche Backups haben und die rotten still und leise vor sich hin. Man hat durch die Anzahl zwar eine gewisse statistische Sicherheit, dass die Daten irgendwo noch alle korrekt sind - aber eine Garantie gibt es nicht und ohne Prüfsummen kann man es auch nicht überprüfen.
Seine Daten für viele Jahre auf HDDs verstauen und davon ausgehen, dass sie nach diesem Zeitraum noch so sind, wie sie mal darauf geschrieben wurden, ist naiv und Glücksspiel (bei einer Dauer von 5+Jahren würde ich absolut davon abraten).

Bei einem RAID5 oder 6 kann man Scrubs durchführen und so zur Integrität der Daten beitragen: Entweder RAID-Scrub oder Data-Scrub (vorausgesetzt es wird ZFS oder BTRFS als Dateisystem verwendet): So werden fehlerhafte Daten aus der Redundanz automatisch korrigiert und geloggt.

Aber wie gesagt: Das Backup auch noch als RAID ist schon Luxus.

@pattex

Ich würde dir ein NAS empfehlen mit RAID5 oder besser noch RAID6 - also drei oder vier HDDs à 6TB oder 8TB (so hast du etwas Puffer für die Zukunft).
Du hättest dann 12 bzw. 16TB nutzbaren Speicher.
Als Dateisystem würde ich bei Selbstbau ZFS und bei Fertig-NAS BTRFS empfehlen (unterstützen viele Modelle von Asus und Synology).
Wenn möglich, würde ich auch ECC-RAM anraten für noch etwas mehr Sicherheit.
Auch das RAID6 bzw. RAIDZ2 hat neben mehr Ausfallsicherheit im Verbund primär den Zweck, bei einem Rebuild einen unkorrigierbaren Lesefehler auszugleichen (der statistisch nach gewisser Zeit auftritt).
Das sind aber nur Absicherungen für eher seltene/unwahrscheinliche Szenarien.

Falls du dich also finanziell nicht verausgaben möchtest, wäre dies mMn die zu empfehlende Minimallösung, um die Daten über langen Zeitraum relativ sicher zu verstauen:

https://geizhals.de/asustor-drivestor-2-as1104t-80-as1104t00-ma-0-a2570045.html?hloc=at&hloc=de

Hier wird dann eine HDD als Parität für das RAID5 verwendet; du hast also drei Slots für Speicherplatz, wie gewünscht (du kannst zwei oder drei zusätzlich zur HDD für die Parität verwenden, aber alle
HDDs müssen die gleiche Größe haben). Seagate Exos oder Toshiba Enterprise Capacity haben ein gutes PLV.
Als Betriebssystem wählst du BTRFS - das sollte von dem Modell unterstützt werden, weil es bei Asus m.W. alle unterstützen (guck zur Sicherheit noch mal mach).
Dann führst du in gewissem Intervall einen Scrub durch: Dabei werden die Daten mit den Prüfsummen abgeglichen und ggf. korrigiert. So hast du einen guten Schutz vor Silent Data Corruption.

Zusätzlich machst du dann auch noch ein zusätzliches Backup auf eine externe HDD (am besten auch mit Btrfs-Dateisystem, damit man prüfen kann). Diese könnte/sollte man als zusätzliche Sicherheit an einem anderen Ort verwahren.

Falls du noch Fragen hast, melde dich gerne hier.

 

[Evil E-Lex]

Von der Datenmenge wäre wohl eine 8TB-Platte immer noch locker ausreichend, aber halt x2 falls eine Platte defekt wird.

So wenig? OK, dann bleib bei deinen Platten. Tausche die regelmäßig gegen größere. Günstiger wird es nicht gehen.

 

[Mickey Mouse]

Es ist auf jeden Fall vorteilhaft

"auf jeden Fall" auf keinen Fall
ich würde sagen, falsch ausgedrückt, besser wäre: "es kann nicht schaden", außer dem Geldbeutel und dann stellt sich schon wieder die Frage, ob das Geld für die zusätzliche Platte nicht an anderer Stelle besser investiert wäre und somit indirekt doch wieder geschadet hat.

Seine Daten für viele Jahre auf HDDs verstauen und davon ausgehen, dass sie nach diesem Zeitraum noch so sind, wie sie mal darauf geschrieben wurden, ist naiv und Glücksspiel (bei einer Dauer von 5+Jahren würde ich absolut davon abraten).

ganz ehrlich? Das halte ich für unnötige Panikmache.
es gibt Leute, die aus welchem Grund auch immer, anderen Leuten so etwas einreden wollen.
die HDDs haben intern ja schon ECC und Prüfsummen.
auch stellt sich Klein Fritzchen immer vor, dass ein "Eins-Bit" als "Magnet-Kleks" auf die Scheibe geschrieben wird und da wo "nix ist", ist es eben Null. Dabei werden die Daten ganz anders kodiert auf die Magnetscheiben geschrieben (ich habe auf die Schnelle hier einen ganz guten Grundlagen Artikel gefunden)

in der Praxis (meine erste HDD war eine 5MB (kein Tippfehler fünf Mega-Byte) 5,25" Full-Height Platte mit Shugart Bus, die nichtmal buffered step konnte, was ich mir mit einer externen Schaltung nachgebaut habe) habe ich schon mehrfach erlebt, dass HDDs nicht mehr anliefen, weil die Lager mechanisch fest waren. Einige davon konnte man noch durch "ruckartiges Drehen im Handgelenk" während des Einschaltend zum Laufen bekommen.
natürlich hatte ich auch Platten mit Head-Crash. Aber welche die noch liefen, nicht schon vorher SMART Fehler aufwiesen und dann "falsche"Daten geliefert haben, hatte ich noch nicht.

ich behaupte auch, dass das nicht möglich ist! Wenn "ein Bit gekippt ist" (im übertragenen Sinne zu NRZ/NRZI, s.o.), dann findet das auch die ECC der Platte selber und meldet einen Fehler statt falscher Daten. Dabei versucht sie vorher aber "nahezu unendlich" (außer man kauft sich extra dumme NAS Platten, die genau das NICHT tun) die Daten doch noch korrekt zu lesen und schafft es i.d.R. auch noch. Wenn es sich um eine intelligente Platte handelt, schreibt sie den Sektor neu und/oder remappt ihn auf einen Reserve Sektor.

 

[Banned]

ganz ehrlich? Das halte ich für unnötige Panikmache.

Ich nicht.
Sowas sagen meistens die Leute, die noch nie betroffen waren; und wenn, dann dann sagen sie es nicht mehr. (Ich hatte auch noch nie einen Autounfall. Habe ich mich jetzt die vielen Jahre unnötig angeschnallt?)
Alleine schon der Fakt, dass die Magnetisierung der HDD mit der Zeit abnimmt (und nicht wie bei SSDs automatisch refresht wird irgendwann) begünstigt Silent Data Corruption. Auch gewisse u.U. vorhandene Vorschäden der Oberfläche der Platterns oder die Lagerungsbedingungen können hier Einfluss haben.

es gibt Leute, die aus welchem Grund auch immer, anderen Leuten so etwas einreden wollen.

Den Spieß würde ich umdrehen wollen.
Ich versuche hier nur einen Weg aufzuzeigen, der relativ viel Sicherheit bietet und dabei preislich erschwinglich ist.
Viele andere Leute praktizieren die Strategie, möglichst viele Backups zu haben, die sie nie kontrollieren. Das halte ich für naiv.

die HDDs haben intern ja schon ECC und Prüfsummen.

Für die Sektoren auf Hardware-Ebene, ja. Bring dir nur auch nichts, wenn die Anzahl der Fehler zu hoch ist, um über den ECC korrigiert zu werden oder die Prüfsumme auch korrumpiert ist (und Silent Data Corruption bei HDDs ist auch nicht mit Bitflips im RAM zu vergleichen, wo eben idR nur ein Bit betroffen ist). Aber klar gibt es hier schon eine gewisse Sicherheit. Bei einem normalen RAID-Scrub werden diese Prüfsummen ja auch verwendet (wobei dann aber eben aus der Redundanz der anderen Platten korrigiert wird). Nur wenn man eben nie prüft, erhöht sich die Wahrscheinlichkeit, dass irgendwann nicht mehr korrigiert werden kann: Fehler kumulieren sich schließlich mit der Zeit - anders als beim RAM (außer dieser hält sehr lange die gleiche Daten).
Ne HDD über ganz viele Jahre irgendwo hinlegen, ist deshalb m.E. einfach eine ganz schlechte Idee.

auch stellt sich Klein Fritzchen immer vor, dass ein "Eins-Bit" als "Magnet-Kleks" auf die Scheibe geschrieben wird und da wo "nix ist", ist es eben Null. Dabei werden die Daten ganz anders kodiert auf die Magnetscheiben geschrieben (ich habe auf die Schnelle hier einen ganz guten Grundlagen Artikel gefunden)

Spielt hier keine Rolle. Schon ein fehlerhaftes Bit kann im Worst Case sichtbare Artefakte in einem Bildformat entstehen lassen oder die Datei komplett unlesbar machen.

und meldet einen Fehler statt falscher Daten.

Womit die Daten dann trotzdem korrumpiert und nicht mehr korrekt auslesbar sind. In diesem Fall muss man dann hoffen, dass das Backup okay ist - ohne Prüfsummen kann man es jedoch nie sicher wissen.

Wenn dann sollte man mindestens in gewissem Abstand chkdsk /r ausführen.

PS: Es können auf der HDD auch Daten korrumpiert werden, ohne dass es der ECC merkt. Auch dieser kann m.W. nur bis zu einer gewissen Anzahl an Fehlern diese überhaupt erkennen.
Ich hatte schon Dateien, bei denen die Prüfsumme falsch war, ohne dass die Smart-Werte einen Fehler gezeigt haben.

Die Prüfsummen von ZFS/Btrfs bieten hier eine höhere Sicherheit als im Vergleich dazu relativ einfachem der Sektoren der Festplatte.

 

[Blende Up]

Es ist auf jeden Fall vorteilhaft

Nich auf "jeden" Fall. Das Brutto / Netto Verhältnis ist bei wenigen Platten schlecht, bei vielen Platten besser, aber da ist dann das NAS wegen der vielen notwendigen Bays wieder deutlich teurer.

Silent Data Corruption -

Aus meiner Sicht unerheblich, sollte das Backup gebraucht werden, und eine Datei korrupt sein, dann such ich die auf dem nächsten Backupmedium.
deutlich überzogener Aufwand aus meiner Sicht.

Kann man alles machen, notwendig ist das nicht, und kostet nur immens mehr, sowohl in der Anschaffung als auch im Betrieb.

 

[Banned]

Aus meiner Sicht unerheblich, sollte das Backup gebraucht werden, und eine Datei korrupt sein, dann such ich die auf dem nächsten Backupmedium.

Und weißt trotzdem nicht sicher, ob sie noch vollständig korrekt ist, wenn du für sie keine Prüfsumme hast.

deutlich überzogener Aufwand aus meiner Sicht.

Klar, knapp 300€ für das NAS und der Preis für eine zusätzliche HDD für die Parität sind natürlich komplett überzogen dafür, dass man die nächsten 10+ Jahre die Integrität seiner Daten prüfen und bei Fehlern idR automatisch korrigieren lassen kann.
In meinen Augen ne bessere Investition, also sich alle zwei Jahre ne neue Grafikkarte zu kaufen. Aber hey, so sind die Prioritäten eben verschieden.

Kann man alles machen, notwendig ist das nicht,

Das kannst du nicht beurteilen. Falls der Fall der Fälle eintritt, wäre es eben doch notwendig gewesen.
Ich sage nicht, dass die Wahrscheinlichkeit hoch ist, trotzdem existiert sie aber.

Wenn du nicht mit Prüfsummen (bzw. prufsummenbasiertem Dateisystem) arbeitest, wirst du einfach nie wissen, wie weit deine Daten schon in irgendeiner Form korrumpiert sind oder nicht.

und kostet nur immens mehr, sowohl in der Anschaffung als auch im Betrieb.

Ja, 300€ plus eine HDD - echt voll teuer. Davon, dass hier ein NAS permanent laufen soll, habe ich nichts gelesen.

 

[Evil E-Lex]

Ich sage nicht, dass die Wahrscheinlichkeit hoch ist, trotzdem existiert sie aber.

Korrekt. @Blende Up halt sich halt entschieden das Risiko zu akzeptieren. Du siehts das anders. Fertig. Hier jetzt einen heiligen Krieg zu beginnen, dass man das aber immer so machen müsste, vor allem im privaten Umfeld, ist unnötig.

 

[pattex]

Danke für die Zahlreichen Antworten, ich werde mir die Empfehlungen einmal genauer ansehen.

 

[Blende Up]

und der Preis für eine zusätzliche HDD für die Parität sind natürlich komplett überzogen

Aus meiner Sicht schon, da sie keinen wirklichen Zweck erfüllt. Schmuck am Nachthemd. Kann man machen....

Das kannst du nicht beurteilen. Falls der Fall der Fälle eintritt, wäre es eben doch notwendig gewesen.

Doch kann ich, da ich pers. mehr als ein Backup habe, und auch vorgeschlagen habe.