Langfristiges Backup großer Datenmengen

[pattex]

Als Hobby-Fotograf mit sehr großen Bildern und 4K-Videos habe ich bisher - leider nicht regelmäßig - meine Daten auf externe Festplatten (8TB - 16 TB) gesichert. In mittlerweile fast 20 Jahren digitaler Fotografie haben sich da solche Datenmengen angesammelt, dass ich mir überlege, ob es sinnvolle Alternativen zu den HDDs gibt. Mit Bandlaufwerken habe ich bisher keine Erfahrung, aber die scheinen ja abgesehen von der geringen Geschwindigkeit Vorteile in der Haltbarkeit gegenüber Festplaten zu haben.

Was würden die Backup-Profis empfehlen, wenn man sehr große Datenmengen zu einem vernünftigen Preis-/Leistungsverhältnis langfristig sichern möchte?

 

[honky-tonk]

meine Daten auf externe Festplatten (8TB - 16 TB) gesichert

die frage ist wie groß die daten sind. Waren die 8TB die größe der Platten oder die der Daten?

Grundsätzlich sind bandlaufwerke groß und langsam und teuer. Dazu kommt oft der SAS anschluss und ich meine man brauchte spezielle bibliotheken um drauf zuzugreifen...ist also nicht so einfach wie nen USB stick anzuschließen.

Ich würde externe Festplatten/NAS mit mehreren Laufwerken nutzen, alternativ cloud storage oder amazon s3.

Ein Backup sollte ja aber nicht nur 1x sondern mehrfach vorhanden sein, also alles doppelt kaufen oder auf verschiedene medien verteilen.

Die alternative wäre natürlich auch, sich von ein paar RAWs zu trennen um die Datenmenge überschaubar zu machen.

 

[computerbase107]

Mein allgemeiner Tip dazu:

Großes Nas (8 Laufwerke mit z.B. à 20TB) und für das Backup vom Nas ein 2.Nas oder die externen Festplatten weiter als Backup nutzen.

 

[schneup]

Was würden die Backup-Profis empfehlen, wenn man sehr große Datenmengen zu einem vernünftigen Preis-/Leistungsverhältnis langfristig sichern möchte?

Was ist fuer Dich ein vernuenftiges Preis-/Leistungsverhaeltnis? Professionelle Bandlaufwerke duerften die niedrigsten TB Kosten bei Medien haben, ein LTO 8 Tape mit 12 TB ist um 60 Euro erhaeltlich. Allerdings sind passende Laufwerke eher fuer Servereinsatz und nicht Privatanwender ausgelegt. Rechne mal mit ein paar tausend Euro Anschaffungskosten. Dafuer ist es damit recht einfach und guenstig mehrere Generationen der Daten vorzuhalten und das Format duerfte auch in Jahrzehnten noch unterstuetzt werden. Damit es aber reibungslos funktioniert wirst Du Dich intensiv mit der Materie befassen muessen.
Ansonsten wie von @honky-tonk vorgeschlagen mit einem externen NAS Datensicherung betreiben. Allerdings sollte das NAS nur als Backup verwendet werden und bietet bei passendem RAID Level eine zusaetzliche Sicherheit gegen HDD Defekte. Selbst bei Ausfall der NAS HW selber ist es normalerweise kein Problem die HDD ohne Datenverlust in ein neuese Gehaeuse des gleichen Modelltyps einzubauen. Aber trotzdem ist auch hier Redundanz ebenfalls noetig.
Ueberschlagsmaessig lohnt sich eine LTO8 Tapeloesung erst wenn Du um 200 TB oder mehr Daten sichern moechtest. Darunter wird eine Loesung mit NAS und HDDs billiger sein.

 

[TorenAltair]

Bei den Datenmengen ("20 Jahre" Photographie) wäre ein Blick zu Bandlaufwerken wohl sinnvoll. Für den direkten Zugriff ein NAS und dann noch wenigstens 2 Backups auf Bändern. Bandlaufwerke gibt es gebraucht für bezahlbare Beträge (ausgemusterte, abgeschriebene Firmengeräte), Bänder selbst sind sehr günstig im Vergleich zu anderen Speichermedien.

 

[wahli]

Um welche Datenmenge geht es?

Ich bin selbst auch gerade auf der Suche nach einer ext. Backupplatte, aber die Preise sind ziemlich hoch.

 

[Giggity]

Wieviel TB sind es denn aktuell und wieviel Daten kommen hinzu?

 

[Rickmer]

Um welches Volumen an Daten geht es denn? Das Problem mit LTO ist primär, dass das Tape Drive an sich eine extrem teure Investition ist. Außerdem ist es beim schreiben sehr laut falls du im selben Raum bist.

Ansonsten hat es eigentlich nur Vorteile

• extrem lange Haltbarkeit bei richtiger Lagerung, keine Wartung notwendig*
• robuster gegen physische Beeinträchtigung als HDDs
• Tapes sind deutlich günstiger pro TB als HDDs
• Keine laufenden Kosten (im Vergleich Archive in der Cloud, welches zwischen 1,5~4€/TB/Monat liegt für sowas wie AWS deep glacier - was auch signifikante Kosten verursacht )

Kostenpunkt Tape Drive: Mit z.B. dem Quantum LTO-8 HH Tabletop, SAS und einem SAS Adapter bist du halt schon nahe an 4000€.
Kurze Hochrechnung: Bei 5€/TB für LTO-8 Tapes und 15€/TB für HDDs bist du erst bei 400TB Bruttokapazität bei preislicher Parität.
(Angenommen du hast bereits ein HDD Dock und beschreibst die damit individuell. Ein großes NAS kostet natürlich auch einiges und bei Verwendung von RAID ist das Netto kleiner als das Brutto. Lässt sich aber alles ziemlich einfach mit 'ner Excel-Tabelle überblicken.)

Ein älteres Tape Drive bringt's übrigens auch nicht - deutlich günstiger sind erst gebrauchte LTO-6 Laufwerke. Dann haben die Tapes aber auch nur 2,5TB Kapazität, was bei großen Datenmengen extrem unpraktisch ist. Außerdem ist bei älteren Tapes der Preis pro TB deutlich schlechter im Vergleich zu LTO-8.

*Bei HDDs verfallen die Daten nach einigen Jahren und es ist mit Bitrot zu rechnen. Um dir sicher zu sein, dass dies nicht ein langfristiges Problem wird, müsstest du alle X Jahre deine gesamten Archive neu schreiben auf die HDDs.


Programme um auf Tape zu schreiben gibt es einige. Veeam Backup&Replication kann es z.B., wäre aber in diesem Fall nicht geeignet weil es bei File to Tape jede Datei in der internen SQL Datenbank vermerkt. Bei Millionen von Fotos wird die Datenbank riesig.

 

[schneup]

Bandlaufwerke gibt es gebraucht für bezahlbare Beträge (ausgemusterte, abgeschriebene Firmengeräte),

Irgendwie passen Backups mit hoher Wiederherstellbarkeitserwartung ueber Jahrzehnte und ausgemusterte Bandlaufwerke fuer mich nicht zusammen (auch wenn Firmen wahrscheinlich eher konservativ tauschen).

 

[Looniversity]

aber die scheinen ja abgesehen von der geringen Geschwindigkeit Vorteile in der Haltbarkeit gegenüber Festplaten zu haben

Haltbar ja, wenn die vernünftig gelagert werden. Heißt "normal warm" und "normal trocken", und vor allem möglichst wenig Staub. Auf Besuch von Mäusen oder Wespen im Karton oder der Garage können die auch ganz gut verzichten, aber das ist bei HDDs ja nicht anders.

Je nach dem, was für ein System du dir zulegst, ist im Zweifel das Laufwerk in der Zukunft das größere Problem als die Tapes. Setze da also am besten auf etwas möglichst verbreitetes und falls deins in 20 Jahren verrecken sollte kannst du auch dann noch ein anderes auftreiben um deine Tapes auszulesen.

Zu den Laufwerken gehört auch das Interface und die Treiber/Software. Das beste Laufwerk nützt nicht viel, wenn das auf Windows 16 nicht mehr will und du keinen Rechner mehr finden kannst, der deine vorbildlich archivierte, aber für Windows 98 geschriebene und mit Pfusch zuletzt auf Windows 10 laufende Software mehr auftreiben kannst. Das gibt es alles (da sind viele Firmen drauf angewiesen), aber als Privat hat man da nicht immer Zugriff drauf.

Wobei man die Technik im Zweifel auch mieten bzw. das Lesen/Schreiben als Auftrag vergeben kann. Dann bezahlt man jemanden dafür, dass er sich diese Sorgen für dich gemacht hat - kann billiger sein als ein neues Laufwerk wenn man es braucht, aber hat auch seinen Preis (wenn die Person weiß was sie tut).

 

[TorenAltair]

Die Laufwerke entsprechen ja den Standards wie z.B. LTO-x. Wenn ich mir heute einen DVD-Brenner kaufe, kann ich damit die CDs, die ich vor 20 Jahren gebrannt habe (mal angenommen, das Medium selbst ist noch intakt), auch lesen, weil der Standard gleichgeblieben ist.

 

[foofoobar]

Programme um auf Tape zu schreiben gibt es einige. Veeam Backup&Replication kann es z.B., wäre aber in diesem Fall nicht geeignet weil es bei File to Tape jede Datei in der internen SQL Datenbank vermerkt. Bei Millionen von Fotos wird die Datenbank riesig.

Und diese Software sollte auch in der Zukunft noch existieren.
Und da bleibt wahrscheinlich nur tar übrig.

 

[KnolleJupp]

Die Frage ist erstmal von welcher Datenmenge wir sprechen.
Dann kann man schauen ob sich ein NAS mit mehreren Festplatten in einem RAID-Verbund (RAID 5 oder höher) lohnt
oder ob man wirklich auf ein Bandlaufwerk zurückgreifen sollte, weil die Datenmengen einfach zu groß sind.
Dabei auch zukünftig hinzukommende Datenmengen berücksichtigen.

 

[Blende Up]

sich von ein paar RAWs zu trennen

Blasphemie! ;-)
Nein, ehrlich, das macht keinen Sinn, eher von allem anderen...

Aber Du verrätst leider auch nicht über wieviel TB wir hier letztendlich reden, und wieviel TB pro Jahr so hinzu kommen. So bleiben eigentlich nur reine Vermutungen und stochern im Nebel

Was Zugriff und Handling angeht, würde ich an Deiner Stelle weiter auf Festplatten setzen, so es denn größenmäßig noch Sinn macht. Du machst viel Video oder? Wir, ich und Frau, waren auch mal recht aktiv (photo), und unser LR Ordner ist jetzt nach 20 Jahren noch knapp unter 4TB, + 1TB Video Material. Dazu nochmal 2 TB direkte RAW Sicherungen aus LR, + Kleinkram wie die Cataloge. Alles in allem unter 10TB.

Bei viel Viedo kommt natürlich schnell sehr viel zusammen.


Wenn ich mal annehme das Du unter 20TB (derzeit bestes TB/Preis Verhältnis) zu sichern hast, also mit 3 x 20TB Festplatten noch auskommen würdest, dann wärste ja bei 3x300€
Dazu ein gutes USB Sata Dock, in dass Du die nackten Sicherungsplatten zum lesen / schreiben schieben kannst.
Keine Ahnung was entsprechnde Band/Bandlaufwerke kosten. Pro TB irgendwann sicherlich billiger, aber vom Handling auch nicht besser, auch Bänder wollen nach einigen Jahren neu beschrieben, bzw. ersetzt werden.

 

[h3@d1355_h0r53]

Es fehlen wichtige Angaben: Wie viel TB Daten sind zu sichern und was ist dein Budget? Und: Wie viel Zeit hast du?
Anzahl Dateien JPG und RAW?
Willst du auf die Daten regelmäßig schnell zugreifen um damit zu arbeiten?

Im Hobbybereich behaupte ich mal, dass sich niemand für 2000 RAWs von vor 10 Jahren interessiert wenn da am Ende nur 50 fertige Bilder rausgekommen sind. Insofern Dinge abschließen und Dateien löschen - kann schon mal Speicher reduzieren.
Bei Videos ggf. dasselbe: Rohmaterial, das nicht genutzt wurde, ggf. löschen. Und alte große Videos in platzsparende neue Formate speichern. Gerade bei Videos macht es einen Unterschied ob du hunderte Gigabyte unkomprimiertes Rohmaterial speicherst oder halt ein 1 GB großers finales Video.

Gerade bei den Fotos wäre auch noch gut zu wissen ob die getaggt sind, ob die in einer speziellen Ordnerstruktur vorliegen und ob du da etwas Bilderkennung drüber laufen lassen willst. Ein mittelmäßiges Einsteiger NAS kann das nämlich ohne die Ordnerstruktur oder Dateien zu verändern. Ich hab von eingescannten Fotos meiner Ururgroßeltern bis hin zu den neuesten Handyfotos alles auf dem NAS und per App verfügbar, nochmals auf einem anderen NAS gesichert. Sonst bringen mir die vielen Fotos ja auch gar nichts.

 

[lazsniper]

leider nicht regelmäßig - meine Daten auf externe Festplatten (8TB - 16 TB

das sind mittlerweile keine sooo großen datenmengen mehr. ich würde in dem fall bei nas und hdd bleiben.

 

[KnolleJupp]

Mal ein Beispiel:
5 x https://geizhals.de/seagate-ironwolf-pro-nas-hdd-rescue-20tb-st20000nt001-a2808534.html 400€ 2.000€
1 x https://geizhals.de/qnap-quts-hero-turbo-station-ts-873a-16g-a2929752.html 1.355€

5 x 20TB als RAID5 Verbund: 80TB nutzbar, eine Festplatte darf ausfallen.
5 x 20TB als RAID6 Verbund: 60TB nutzbar, zwei Festplatten dürfen ausfallen.
Platz für weitere 3 Festplatten vorhanden.

Dann kostet der Spaß 3.355€.

Bandlaufwerke sind deutlich komplizierter, haben in der Regel einen SAS-Anschluss, brauchen spezielle Bibliotheken, um überhaupt drauf zugreifen zu können, sind grottenlahm, dafür passt sehr viel drauf.

 

[Mickey Mouse]

alles hat Vor- und Nachteile, viel wurden schon angesprochen, einige auch nicht (direkt)

ich hatte vor über 30 Jahren den ersten Kontakt zu Bandlaufwerken bzw. "Tape-Librarys" mit zig bis hunderten Tapes in vielen cartriges und mehreren Laufwerken.

die Vorteile von so einem Band System:
- die Medien sind relativ Transport sicher, d.h. es ist recht einfach, die Backup Sätze an verschiedenen Orten bzw. "off-site" zu lagern. Da gibt es extra Koffer (wasserdicht aber mit "Ventilen", damit man die bei Temperatur Änderungen auch auf bekommt usw.).
Wasser, Schmutz und hohe Temperaturen mögen die nicht, Erschütterungen machen Ihnen aber recht wenig aus, das ist der Punkt.

• bei großen Datenmengen und Backup Genrationen am günstigsten
• DU bist Herr der Daten und kannst entscheiden, ob du einen Satz noch in einem Bank Safe deponierst und/oder bei Verwandten, einen im Dachstuhl einen im Keller usw. usf.

Nachteile:

• Erst Anschaffungskosten
• Software / Handling

es ist recht einfach "alles" zu sichern oder alles zurück zu spielen. Bei einzelnen Dateien, wohlmöglich "verschieden alt/geändert", wird es dann schon aufwändiger...

am Ende sind alle Firmen die ich kenne, inzwischen weg von den Tapes und machen ein Disk2Disk Backup über mehrere Standorte und/oder lagern in Cloud aus.

streng genommen müssen wir auch zwischen (Desaster Recovery) Backup und Archive reden!
das ist verwandt aber nicht das Gleiche...

es ist ein Unterschied, ob du die "statischen" Kinderbilder von vor 20 Jahren sicher irgendwo "weglegen" möchtest oder seit ein paar Tagen an einem Film schneidest und die letzten Tage Arbeitszeit nicht verlieren möchtest, wenn du aus Versehen deine Platte formatierst.

aktuell machen wir in der Firma D2D Backups und die alten Daten Halden, von denen sich aber niemand wirklich trennen kann, werden in BLOB Container in der Azure Cloud geschoben. Da ist der Speicherplatz selber relativ günstig aber man (wir mit unserem Vertrag) zahlt beim Bewegen/Lesen der Daten!

 

[wahli]

Ich persönlich würde Bandlaufwerke meiden. Das wäre mir viel zu umständlich.

Bei Neuanschaffung von ext. Platten: nimm immer möglichst große ext. Festplatten, dann kannst du sie lange nutzen und brauchst keine 10 Stück, die irgendwo rumliegen. Die kleineren kannst du verkaufen.
Bei MM gibt es gerade die WD Elements 18TB für 276 Euro <-- schon weg

 

[Looniversity]

Bis @pattex meldet um welche Volumen es geht stochern wir nur noch im Trüben. 🤷‍♂️

Ich hoffe, dass die Festplatten ab und zu mal in Betrieb genommen wurden. Falls die ersten von vor 15 Jahren seither im Schrank gelegen haben sollten, wären sie dadurch jedenfalls nicht besser geworden. Selbst wenn sie in der Zeit 2-3x gelaufen sind ist wäre das arg wenig.