Langzeitarchiv (zip, 7z) spliten oder ganz lassen?

[LaserDiscDude]

Hallo,

ich möchte Produktionsdaten langzeitarchivieren. Die Projekte haben teilweise tausende kleiner und großer Dateien und belaufen sich alle so um die 40 - 80 gb pro Projekt.

Ich möchte sie gerne zur besseren Handhabung in ein Archiv (Zip/7Zip) pro Projekt packen.

Macht es etwas aus, wenn ich die Archive ganz lasse, oder sollte ich Splitten? Hat jemand schon Erfahrung in dem Gebiet gemacht?

 

[BlubbsDE]

Was genau soll das eine oder andere für einen Vorteil haben? Es gibt keinen Vorteil auf der einen oder anderen Seite. Splitten tut man immer dann, wenn man mit großen Archiven nicht arbeiten kann. zB sie passen nicht auf den Datenträger, man will sie per Mail versenden, oder, oder oder.

 

[Lumiel]

All zu viele Erfahrungen habe ich damit noch nicht gemacht, außer dass ich gelegentlich auch 7zip-Archive anlege, um abgeschlossene Projekte besser handzuhaben. Ich pack die in der Regel immer in ein Archiv pro Projekt. Früher, als Datenspeicher noch knapp war, hab ich das, um sie auf mehrere Datenträger zu verteilen, auch schon gern mal in mehrere Teile gepackt, aber einen anderen positiven Effekt, außer dass ich es damals auf mehrere Datenträger verteilen konnte, hatte ich nie bemerkt.

VG

 

[wern001]

Ich würde das mit rar machen. Rar hat eine Option mit drin wo man einstellen kann dass das Archiv vor beschädigung geschützt werden kann.
bei zip ist dann das halbe archiv defekt
das wichtigste ist nach dem packen einen archiv test machen. Defekte CPU/Ram können beschädigte Archive erzeugen
Das aufsplitten bringt nur was wenn man die Archive Brennen oder uploaden will. Manche Clouddinger haben eine grenze von 100 MB pro Datei.

 

[LaserDiscDude]

Was genau soll das eine oder andere für einen Vorteil haben? Es gibt keinen Vorteil auf der einen oder anderen Seite. Splitten tut man immer dann, wenn man mit großen Archiven nicht arbeiten kann. zB sie passen nicht auf den Datenträger, man will sie per Mail versenden, oder, oder oder.

Es hätte ja sein können, dass bei ab einer gewissen Datengröße das Splitten sinnvoll wäre, zum Beispiel Performance oder halt eher negativ das ein byte sich in einem Splitarchiv eher umdreht.

Ich hab da keine Ahnung, darum frage ich vorab ^^

Edit
@wern001 Rar ist halt leider Shareware, da ist mir 7zip oder einfach zip lieber.

 

[BlubbsDE]

oder halt eher negativ das ein byte sich in einem Splitarchiv eher umdreht.

Ja, das ist wichtig, dass es nicht passiert. Hat aber nichts mit splitten oder nicht splitten zu tun.

Und der Performance ist es auch egal. Der Packer packt und schreibt. Ob er in eine oder X Dateien schreibt spielt da keine Rolle.

 

[Kasjo]

bei zip ist dann das halbe archiv defekt

Winrar hat die Option das Archiv vor veränderung zu schützen oder Wiederherstellungsdaten Hinzuzufügen. "Schutz vor Beschädigung" finde ich keinen.

 

[LaserDiscDude]

@Kasjo Hab grad selbst geschaut und WinRAR hat scheinbar da eine Möglichkeit, was zip oder 7 zip nicht hat.

Aber wie es funktionieren soll, keine Ahnung.

WinRAR ist halt Shareware und wenn die Firma irgendwann pleite geht, wars das. Wobei 7zip als OpenSource geforkt werden kann etc.

Und ich glaub in 10 Jahren können die Projektdaten mit den Programmen eh nicht mehr geöffnet werden, wenn überhaupt man dazu mal kommt.

 

[Pete11]

Splitten kommt aus einer Zeit, als Datenträger noch eine sehr eingeschränkte Speicherkapazität hatten (Floppys mit 360 KiloByte und so). Zu Zeiten von Terabyte großen Festplatten macht Splitten nur wenig Sinn.

 

[firexs]

Gesplittet wurde auch gern, wenn es größer als ne CD oder DVD war.
Auch in der warez Szene wurde es viel genutzt.
Und es gibt heute auch noch grosse Software, die in mehreren Blöcken zum Download angeboten wird.

 

[Phrasendreher]

WinRAR ist halt Shareware und wenn die Firma irgendwann pleite geht, wars das. Wobei 7zip als OpenSource geforkt werden kann etc.

Für die Software WinRAR und die Company dahinter trifft das zu, aber das Dateiformat kann und darf lizenzkostenfrei gelesen werden.
Daher bist Du frei, RAR-Dateien beliebig mit Deiner Lizenz zu erstellen, und selbst falls WinRAR einmal nicht mehr sein sollte, wird Du die Archive auch in ferner Zukunft noch lesen können (davon mal abgesehen gilt das Dateiformat inoffiziell als reverse engineered, so dass auch im o.g. fiktiven Fall das Format wohl noch Bestand hätte).

Auch wenn die Argumente immer wieder für Open Source Software sprechen, bräuchte Dich das hier von nichts abhalten.

Ich würde das Pro und Contra Splitten von der Backup-Frage abhängig machen, also ob Du die Archive gesichert bekommst oder nicht.

 

[whats4]

sehr große archive zu splitten mach es dem dateisystem einfacher, bzw dem defragmentierer.
ich nehm 100mb für archive, wenn sie auf großen festplatten liegen, eben weil es für den defragmentierer sehr viel einfacher wird.

rar, wiederherstellungsinfo speichern, die 3% ist standardeinstellung und ok.
unter "erweitert", da wo man auch die 3% verändern könnte, findet sich auch eine einstellung für "wiederherstellungs-volume", das sind überzählinge in einem split archiv.
deren anzahl definiert, wieviele komplett verloren werden können, und das archiv trotzdem fehlerfrei entpackbar bleibt. macht also eine einstellbare redundanz bei den split teilen.

gegen das kippen eines bits schützt schon die wiederherstellungs-info recht gut, mit überzähligen split archiven sollte man so sicher sein, wie geht. auf einem datenträger.

ja, kostet ein bissl platz, aber für wichtige dinge eine gute option.
sollte alles inkl mittlere katastrophen abdecken.

die beste option ist natürlich die redundanz der gesichterten daten als ganzes.
das deckt dann auch richtig große katastrophen wie den totalausfall oder physische vernichtung des datenträgers ab.

 

[Hardkorn]

Wer Wiederherstellungsdaten nutzen möchte aber WinRar nicht benutzen will oder kann, für den gibt es Multipar was externe Wiederherstellungsdaten erzeugt.

https://github.com/Yutaka-Sawada/MultiPar
https://hp.vector.co.jp/authors/VA021385/

Multipar ist der Nachfolger von Quickpar.
https://www.computerbase.de/forum/threads/quickpar-multipar-was-fuer-ein-fortschritt.1911550/

 

[LaserDiscDude]

Hab jetzt bissle recherchiert zum Thema 7z oder WinRAR und werden mich wohl für WinRAR entscheiden.

 

[Fusionator]

Multipar wurde doch schon genannt Und ja, sowas in der Art ist die einzig vernünftige Möglichkeit, sich gegen korrupte Dateien zu schützen (abgesehen von fehlerfreiem RAM und Datenträgern).
Ansonsten kann man durchaus 7Zip und Winrar parallel nutzen.
Bei 7Zip habe ich z.B. keine Option gefunden bei verschlüsselten Archiven die Dateinamen ebenfalls zu verschlüsseln 🤷‍♂️

 

[Joe58]

Hab jetzt bissle recherchiert zum Thema 7z oder WinRAR und werden mich wohl für WinRAR entscheiden.

Schau dir vorher eventuell noch den Power Archiver 2022 an



Auch da mal Geschenk 50% anklicken

 

[Leranis]

Ich habe viel beruflich mit Langzeitarchiven (städtische Archive bzw. historisches Archiv) und mir stellt sich erst einmal die Frage: was ist bei dir Langzeitarchiv? Mehr als 10 Jahre? Was sind das für Daten (Formate)?

Wenn weniger als 10 Jahre: egal - Technik wird sich in den nächsten Jahren nicht massiv verändern und die Programme sind noch lauffähig. Kleiner Tipp: Wenn du wirklich ein Programm nutzen möchtest, dann archiviere das Programm ebenfalls (Setup-Datei), damit du zukünftig jederzeit das Programm installieren kannst. Logischerweise nicht in dem erstellten Container

Mehr als 10 Jahre: Konvertieren in langzeitstabile Formate (PDF/A, mp3, Wav, ...) und KEINE Container, da das Entpacken in 20 Jahren nicht mehr funktioniert. Und ob du 10.000 Dateien hast oder nur eine macht erst einmal nur wenig Unterschied -außer du kopierst die Dateien regelmäßig hin und her

 

[LaserDiscDude]

@Leranis

Der Anspruch ist das die Daten so lange verfügbar sind, wie lange ich lebe. Aber eigentlich sollte sie schon max 10-15 Jahre halten. Hatte einmal den Fall das ich nochmal eine Datei öffnen musste um etwas zu exportieren, und die Datei war glaub 8 Jahre alt, plus die ganzen Abhängigkeiten die die Datei auch noch hatte.

Formate, das sind alle möglichen, caches, obj, maya, texturen, excel, jpeg etc etc. Teilweise wie gesagte tausende. Bspw. nParticels cache, 1 Datei pro Frame mal 300 Frames und dann für verschiedene shots und auch in verschiedenen Versionen, Hatte auch schon mal knapp 10.000 Dateien in einem folder mit einem Simulationsdurchlauf generiert.

Die Daten werden auf 2 externe HDDs gespeichert und dann aufbewahrt. Wenn die voll sind, dann die nächsten zwei usw. Immer mal wieder schließe ich die an und lasse sie kurz prüfen.

Warum sollte das mit dem Container nicht funktionieren? Für mich ist es einfach, Pro Container ein abgeschlossenes Projekt. Wenn ich darauf zugreifen muss, ist der Kopiervorgang des Containers von der HDD auf die SSD wesentlich schneller.

 

[Fusionator]

Warum sollte das mit dem Container nicht funktionieren?

Natürlich wird das funktionieren. Wie lange gibt es zip schon? Und Rar?
Diese Dateien lassen sich ja sowohl unter Window/Linux/MacOS öffnen.
Da wird sich auch die nächsten zwanzig Jahre nichts ändern.
Durch welches bahnbrechende Format soll den ZIP oder Rar ersetzt werden?
Im äußersten Notfall wird das Archiv rechtzeitig umgepackt.

Da würde ich mir schon eher Gedanken um das Lesen von optischen Datenträgern in 20 Jahren machen, denn da wird man ein Problem haben

 

[Leranis]

Wie ich schon schrieb ist es bei ca. 10 Jahren schon fast egal - erst danach wird es interessant beim Öffnen von speziellen Formaten.

Container sind eine zusätzliche Fehlerquelle, die durch Fehler des Datenträgers unlesbar werden, gerade bei externen Festplatten. Hast du ganz viele kleine Dateien ist ein Verlust von wenigen Dateien verschmerzbar, bei einem großen Container kann es zu großen Problemen führen.

Im äußersten Notfall wird das Archiv rechtzeitig umgepackt.

Ja, das nimmt man sich gerne vor, aber wird meist nicht umgesetzt.

Die Daten werden auf 2 externe HDDs gespeichert und dann aufbewahrt. Wenn die voll sind, dann die nächsten zwei usw. Immer mal wieder schließe ich die an und lasse sie kurz prüfen.

Ich hoffe die beiden Festplatten sind georedundant aufbewahrt und gegen Feuer und Wasser (wenigstens rudimentär) geschützt...


Du musst selbst entscheiden, wie du deine Daten sicherst. In meiner täglichen Arbeit habe ich oft mit Daten zu tun, die sehr lange aufbewahrt werden müssen (z.B. Baupläne von Hochhäusern oder Fabriken inkl. statische Berechnungen, ....). Daher bin ich auch, was mit Archivierung und Backups zu tun hat, sehr sensibel - vielleicht sogar übersensibilisiert
Nur mein Bitte: achtet auf eine optimale (mit vertretbaren Aufwand und Kosten!) Archivierung und Backup-Lösung! Ich kann dir Geschichten erzählen ...