Sicherungsgeschwindigkeit mit SSD erhöhen - LTO Bandlaufwerk

Wir haben ein Archiv welches wir einmal die Woche komplett sichern müssen. Dieses Archiv ist 1.57 TByte groß und beinhaltet 45 Mio Dateien, die Daten liegen auf einem Raid 6 Laufwerk mit einem Perc H710 Raid Controller. Sequenziell lesen kann der Raid 6 Verbund mit 540 Mbyte/sek und schreiben 460 MByte/sek. Wenn wir aber die 45 Mio Dateien kopieren bricht diese Geschwindigkeit rapide ein und wir schaffen so um die 12-16 MByte/sek welches 10% der Schreibgeschwindigkeit von LTO 6 entspricht.

Unser neuer ITler hat ein LTO-6 Laufwerk angeschafft und die Sicherung dauert sage und schreibe knapp 25 Stunden.das LTO Laufwerk macht nach der Sicherung eine Überprüfung der Daten, hierbei ist die Geschwindigkeit 6890 Mbyte/min was 114 Mbyte/sek entspricht.

Meine Frage ist nun können wir die Daten auf zwei 1 TByte SSDs kopieren und somit die LTO Schreib geschwindigkeit erhöhen? Da beim Lesen des LTO Bandlaufwerks welches die 45 Mio Dateien überprüft keine beeinflussung durch die vielen kleinen Dateien besteht.


Hat jemand mit sowas schon erfahrung gemacht?

Lege die daten doch erstmal auf SSD, bei der Menge ist es ja nicht so teuer und es steigert die Performance beim Arbeiten. Dann mach die Sicherung aufs RAID mit HDD's und dann sicher von da gemütlich auf LTO.

Wieso 2 1TB SSDs ? Damit erhöhst du nur die Ausfallwahrscheinlichlichkeit gegenüber einer 2TB SSD.

@mkossmann: Keine Sorge ich nutze kein Raid 0. Ich habe zwar vorgeschlagen, alle Daten einmal im Jahr auf LTO Band zu Archivieren aber leider reicht unserem Projektleiter das nicht aus. Er will lieber alles jede Woche sichern lassen. Tagessicherung gibt es natürlich auch noch!

Viele kleine Dateien sind wirklich ein Problem. Wir haben bei einem RAID 6 über 10x 7200Umin HDDs eine Schreibrate von 60 MB/s (bei 1,7 TB und "nur" 180K Dateien), dagegen wenn ich eine VM sichere (eine große Datei) kommt er auf Schreibraten von 200 MB/s (LTO7). ( ich denke hier ist das RAID am Anschlag)..

Eine SSD sollte hier wirklich Abhilfe bringen. Alternativ haben auch die Sicherungsprogramme oft einen "Agenten" als Option (zukaufbar), der die Dateien vor Sicherung vorbereitet und mit Puffern arbeitet, so dass die kleinen Dateien nicht ganz so brutal die Geschwindigkeit herunterziehen. Ideal wäre als Datenablage ein intelligentes NAS - wir ziehen unsere 5 Mio Dateien (9 TB) von unserer Netapp (Raid 4 DP mit 24 HDDs 7200 UMin) über ein spezielles Streamprotokoll (NDMP) mit nahezu Gigabitgeschwindigkeit (knapp 100 MB/s) übers Netz aufs Band..

Ihr habt noch ein weiteres Problem: Wenn ein LTO-Laufwerk mit weniger als 40% (ca.) der nativen Geschwindigkeit betrieben wird, dann stoppt es ständig zwischendrin hundertemale, weil mit so niedriger Geschwindigkeit kein permanenter Schreibdatenstrom möglich ist, was natürich massiv die Hardware verschleißt.. (LTO 6: 160 MB, also alles unter 60 MB /s wird kritisch).

Dann holt euch doch für die wöchentlichen Sicherungen einfach externe SSD's?

SSDs sind auf Dauer zu teuer und für die Archivierung nicht geeignet. Wir machen auch Tagessicherungen (Robocopy auf Platte), Wochensicherungen (auf Band) und legen jeden Monat eine Wochensicherung als Monatssicherung in den Schrank. Ca. 4-5 Jahre zurück heben wir die Bänder auf.. (also bis zu 60 Monatssicherungen..) Mit SSDs geht das nicht (Die Bänder sind bei sachgerechter Lagerung auch noch nach 30 Jahren lesbar, wenn nötig..)

Das ist schon klar, er redet aber von wöchentlichen Sicherungen. Wenn da vier SSD's rotieren und eine für die monatliche wäre das völlig im Rahmen mMn. Die jährliche kann er dann ja wieder auf LTO ziehen.
Ist halt ne Frage wie das Konzept aussieht und ob die Firma was mit nem 3 Jahre alten Backup anfangen kann. Als Alternative würde ich es, gerade für die wöchentlichen schon heranziehen.

Benzer schrieb:

Dann holt euch doch für die wöchentlichen Sicherungen einfach externe SSD's?

Zum Vergrößern anklicken....

Das würde nichts bringen, der Flaschenhals ist ja das Lesen der kleinen Dateien vom RAID, was bei HDDs ja auch kein Wundoer ist. Ich würde das RAID 6 durch ein RAID 1 mit zwei Enterprise SSDs ersetzen, dann werden die viele kleinen Dateien auch viel schneller gelesen und darauf aus Band gesichert werden können. Gerade bei viele kleinen Dateien sind SSDs gegenüber HDDs viel schneller, weit mehr als bei den seq. Transferraten.

Das hätte auch einen gewaltigen Vorteil wenn man das RAID wirklich braucht und zurückspielen muss, denn wenn schon die Sicherung so lange dauert, wird das Restore noch viel länger dauern und damit dauert es sehr lange bis man wieder Zugriff auf die Daten hat.

Den Vorschlag habe ich ja schon weiter oben gemacht, darauf aufgebaut dann das erste Backup für den schnellen Zugriff dann auch auf SSD und die Backups für den Tresor dann von mir aus auf LTO.

Sehe ich auch wie die Kollegen: Die SSDs brauchst du nicht als Backup-Ziel, sondern als Backup-Quelle. Der Flaschenhals ist ganz klar das Raid; was beim LTO-Laufwerk beim Backup schreiben ankommt ist ein kontinuierlicher Datenstrom der in voller Geschwindigkeit des Laufwerks geschrieben werden kann egal wie fragmentiert die Ausgangsdateien waren.

Das Backup erst lokal auf HDD schreiben und von dort auf LTO kann auch hilfreich sein. Da kann man dann auch überlegen, reverse incremential statt incremential einzusetzen - das ist allerdings nur relevant wenn man immer wieder tatsächlich auf das Backup zugreifen muss, sonst ist das verschwendete Computing-Ressourcen.

Übrings hat dein Teamleiter völlig recht: Nur einmal im Jahr Bandsicherung ist unzureichend. Dir ist schon klar, dass an mangelnder Datensicherung schon so manches Unternehmen bankrott gegangen ist?
Es braucht nur ein 'oops' und plötzlich sind Monate Arbeit weg ohne externe offline-Sicherung. Pixar kann dir ein Lied davon singen, es wurde Toy Story 2 beinahe komplett gelöscht.