Deduplizierung auf Backupplatte?

[>|Sh4d0w|<]

Hallo,
ich spiele eigentlich mit dem Gedanken, mir zwei größere Backup-HDDs zu holen.Auf meinem Server 2008 R2 lasse ich mittels Aufgabenplanung zahlreiche Batches zur Sicherung gezielter Ordnerstrukturen laufen und unterschiedlicher Versionen (Vollsicherungen, Inkrementielle) und das sind nicht wenige. Die Backup-Platte ist intern separat und dort wird nichts anderes abgelegt. Sie beträgt 3TB und dann habe ich noch eine identische "offline" und vom PC getrennt, welche ich immer mal zeitlich versetzt ranhänge und dort eine 1:1 Spiegelung der Backup-Platte durchführe, für den Fall eines Hardwaredefektes oder Blitzeinschlags usw. Ich werde per Mail informiert, wenn sich SMART-Werte verändern oder es zum Ausfall einer Platte kommt.

Da 2x 4 TB bzw. nach zwei Jahren dann möglicherweise 2x 5TB nicht so billig sind, ist mir die Überlegung der Deduplizierung eingefallen, welches es seit Server 2012 gibt. Da meine Hardwarekomponenten recht alt sind, spiele ich mit dem Gedanken noch zu warten und gleich auf 2016 umzusteigen. Ich würde sicherlich noch gerade so bis 2016 auskommen. Wieviel Sinn macht eine Deduplizierung auf einer als Backup geplanten Platte? Ich habe recht viele Dateien, welche bedingt durch Vollsicherungen sich eher wenig ändern und somit doppelt soviel Platz einnehmen.

Mein "Server-Konzept" Zuhause ist sicherlich kein professioneller Einsatz, aber mit vielen Kniffen habe ich das Teil so für mich bereits individuell ausgestattet.

 

[Black2007]

Eine deduplizierung wurde in diesem Fall nur wenig bringen.

Gleichbleibende Daten hat man jedoch am meisten beim sichern mehrerer VMs (Windows-Files). Dort erreicht man den größten deduplizierung Anteil. Bei Dokumenten und Daten bringt dies leider weniger. Headerinformationen von Daten, die das gleiche Format besitzen sind nicht allzugroß, sodass der Speichergewinn durch die deduplizierung kaum auffallen wird.

 

[striker2011]

Also bei inkrementellen Sicherungen bringt DeDup garnichts, da ja per Definition nur die Änderungen gespeichert werden, also nichts dupliziert sein kann. Bei mehreren Vollsicherungen auf der selben Ziel-Partition ist es natürlich ideal, aber eben auch nur dann. Es kommt also ganz individuell darauf an. Wenn du mehrere Vollsicherungen vorhalten willst lohnt es sich, ansonsten eher nicht. Aber der Vorteil der Redundanz in der Sicherung geht natürlich verloren. (Beispiel: Ein Sektor der Backup-Festplatte ist nicht mehr lesbar, genau die Datei die du wiederherstellen möchtest liegt darauf. Bei DeDup gibt es die Datei nur 1x und daher Pech gehabt. Bei mehreren Vollsicherungen ohne DeDup liegt die Datei unter Umständen ein weiteres Mal auf einem anderen noch lesbaren Sektor). Kommt auf deine Anforderungen an Datensicherheit, Redundanz und Wiederherstellungszeit an.

 

[gbene]

Wenn du bspw. nen ESXi hättest, auf dem 5 Instanzen von 2k8R2 laufen würden, dann würde DeDup was bringen und du könntest massig Speicherplatz sparen. Wenn du normale Files speicherst bringt das im Vergleich relativ wenig. Bei JPEGs zum Beispiel kannst du das komplett vergessen, da werden nur die Header der Files nicht doppelt gespeichert, weil die Informationen im Bild selber einfach so individuell sind, dass das nichts bringt.

 

[>|Sh4d0w|<]

Ja die inkrementiellen bringen mir nur wenig. Ich habe aber auch unterschiedliche Vollsicherungen, also einmal wöchentlich und dann nochmal einen vierteljaehrlichen Versatz. Ich lasse gerade ddpeval laufen um zu checken, wie hoch die Ersparnis wäre.

In meinem "Eigenen Dateien" Ordner habe ich auch ca. 250 GB an Bildern von der Spiegelreflex inkl. RAWs usw. Microsoft gibt bei Bildern eine Ersparnis von 60-65% an. Und soweit ich da gelesen habe wird bei der Dedup Byte für Byte verglichen, sodass es evtl. bei Bildern viele gleichen Bytes mit den identischen Bildinformationen geben könnte?

Mir ging es eher um die Sache, ob die Dedup als Einsatzszenario für Backup-Geschichten sinnvoll ist. Bei Datencrash oder kaputter Platte werden somit in dem Quellblock ja alle weitere wegdeduplizierten Daten "zerstört".

 

[gbene]

"6: Media files don't deduplicate very well
Deduplication products can't deduplicate unique data. This means that certain types of files don't deduplicate well because much of the redundancy has already been removed from the file. Media files are a prime example. File formats such as MP3, MP4, and JPEG are compressed media formats and therefore tend not to deduplicate."

http://www.techrepublic.com/blog/10-things/10-things-you-should-know-about-data-deduplication/

Die Header Infos sind glaube ich nicht allzu groß
Wie das ganze bei RAW Bildern aussieht kann ich dir nicht sagen. Jedenfalls ist Deduplication relativ CPU intensiv.

Bei Veeam ist es mit DD-Boost für die Sicherung von VMs auf ne EMC DataDomain jedenfalls so, dass auf dem Quellsystem das DD-Boost läuft und dort schon verschieden große Bitblöcke miteinander vergleicht. Jetzt frag mich aber bloß nicht, wie das genau funktioniert.


Teste es doch einmal aus. Und wenn du den 2k16 hast kannst du das ja nochmal testen. Wie gesagt, ich denke nicht, dass das allzu viel bringt, bzw du dir allzu große Hoffnungen machen solltest. ABER: Probieren geht über Studieren

 

[>|Sh4d0w|<]

Also ich komme auf fast 600GB Einsparung

Verarbeitete Dateien: 89938
Größe der verarbeiteten Dateien: 2,70 TB
Größe der optimierten Dateien: 2,12 TB
Speicherplatzeinsparungen: 589,25 GB
Prozentsatz der Speicherplatzeinsparungen: 21

Größe der optimierten Dateien (keine Komprimierung): 2,13 TB
Speicherplatzeinsparungen (keine Komprimierung): 581,71 GB
Prozentsatz der Speicherplatzeinsparungen (keine Komprimierung): 21

Wie wäre das wenn ich diese Platte dann auf eine externe mit Robocopy spiegeln möchte. Die externe soll ja dann auch Deduplizierbar sein und nicht die tatsächliche Größe > HDD kopieren