Gemeinsames Fotoarchiv und Backup von 2. Standorten

Eq4liz3R

Lt. Junior Grade
Registriert
Sep. 2013
Beiträge
266
Liebe Leute,

mein Anwendungsfall ist folgender:
Ich bin Hobbyfotograf und hab ein paar TB RAW Dateien auf einer Synology, die regelmäßig mit Hyber Backup verschlüsselt zu Hetzner S3 sichert. Das gleiche (Hobby - nicht Setup) gilt für meinen Vater (anderer Haushalt), der aber zudem auch noch sämtliche Familienbilder hat, alles irgendwie verteilt auf externe HDDs.

Was ich nun gerne machen würde ist: Im Elternhaus auch ein NAS platzieren und ermöglichen, dass man sich auch mal Ordner hin und herschiebt von Familienevents. Das sollte mit VPN recht easy gehen. Außerdem soll dann aber auch das NAS im Elternhaus in meinen S3 Bucket gesichert werden. Dabei würde ich aber gerne dafür sorgen, dass jede Datei dort nur einmal gesichert wird und ein Ordner, der sowohl auf meinem NAS, als auch dem Eltern NAS liegt nicht doppelt im S3 liegt (und doppelt bezahlt wird). Eigentlich müsste sowas mit hash Überprüfungen recht einfach machbar sein. Meinen bisherigen Recherchen nach, gibt es dafür aber nur ein Tool: Restic (und evlt. noch Borg?).

Oder übersehe ich eine einfachere Lösung? Und funktioniert restic problemlos auf einem Synology (zB als Docker Container?)? Auf meiner eigenen DS414 kann ich es leider nicht testen. Alternativ hab ich noch einen Proxmox Server bei mir, auf dem ich es installieren könnte, aber dann Dateien zum Upload erstmal per VPN aus dem Elternhaus ziehen scheint mir ein unnötiger Zwischenschritt. Ein weiteren Server über das NAS hinaus möchte ich nicht bei den Eltern administrieren. Andere kommerzielle Systeme von Asustor oder Terramaster kämen auch in Frage, falls die eine solche Lösung bieten; es werden sowieso beide NAS neu angeschafft.
 
Warum denn nicht beide NAS zum Teil des 3-2-1-Backups machen, d.h. alles auf beiden spiegeln plus das Online-Backup bei Hetzner? Zur Ersteinrichtung beide ins selbe LAN hängen, damit es schneller geht.
 
Ja das geht natürlich (und ist auch sinnvoll). Meinst du mit Spiegeln eine der Synology Sync Apps? Mit gegenseitigen Backups hätte ich ja wieder eine Dopplung von Dateien, die dann in die Cloud geladen werden.

Was ich noch nicht ganz gecheckt habe ist, was ich mit dem Snapshot Replicator genau machen kann, aber das ist vielleicht ein anderer Thread...^^
 
In dem Fall kannst Du beide Fritzboxen via IPSec oder Wireguard zu einem Netzverbund zusammen schalten.


So könnt ihr relativ leicht - mit dem Internet als Flaschenhals - Daten kopieren, verschieben, austauschen.
 
Ja das ist mir bewusst. Das Problem liegt hauptsächlich beim Backup beider Standort ohne Duplikate.
 
"Backup" und "Duplikate" sind zwei verschiedene paar Schuhe.

Um Duplikate zu finden, würde ich am Liebsten "DoublePics" von DotNetFabrik empfehlen - nur wurde Verkauf und Entwicklung eingestellt - obschon das Programm noch sehr effizient funktioniert. (Wurde z. B. auch von Behörden zum Auffinden von KiPo eingesetzt!)

Eine Alternative ist der Duplicate Cleaner Pro von DigitalVolcano.

Bei Backups solltest Du eh nicht überlegen, welche Daten Du wirklich brauchst sondern generell alles sichern.
Alles andere schluckt unnötig Zeit.
 
mchawk777 schrieb:
Bei Backups solltest Du eh nicht überlegen, welche Daten Du wirklich brauchst sondern generell alles sichern.
Alles andere schluckt unnötig Zeit.
Beim TE geht es aber darum dass er eben auch pro GB/TB bezahlt, bei Hetzner sind das glaube ich rd. 10€/TB/Monat. Da kann es sich schon lohnen dafür ein Wochenende zu verwenden wenn man TB-weise Doppelung vermeiden kann.

@Eq4liz3R : wie viel TB an Daten habt ihr denn insgesamt? Wenn sowieso ein NAS bei den Eltern angeschafft werden soll (mit frischen HDDs) und wir hier nicht von hunderten TB reden würde ich wie bereits empfohlen beide NAS spiegeln/ in einem Datensatz vereinen (dann habt ihr beide erhöhte Sicherheit) und zB mittels restic die Duplikate beim erstmaligen Einspielen vor Ort rausfiltern. Denkfehler: entpackt man den Snapshot dann ist das Duplikat natürlich wieder da. Wie man hier am besten Duplikate finden und entfernen kann weiß ich leider auch nicht. Wenn anschließend jede Partei nur ihre selbst erstellten Fotos auf ihrem jeweiligen NAS aufspielt dann vermeidet ihr in der Zukunft die Duplikate, ggf. ist es aber auch egal wenn ihr nicht immer noch massenweise neue Duplikate erstellt.

Zur Vermeidung von höheren Kosten für Cloud-Storage kann ein NAS als "Source of Truth" agieren und vollen Zugriff auf alle Daten haben die dann per Restic das reguläre Backup zu Hetzner machen, der dadurch entstehende Snapshot ist dedupliziert. Per se kann Restic per Docker auf dem Synology installiert werden, ob es dann ordentlich läuft wird auch davon abhängen wv freie CPU und Ram dein Synology hat, Deduplizierung braucht halt Leistung. Ggf. würde sich als Source of Truth das neue NAS besser eignen, bei einem Eigenbau kann man ja relativ günstig Leistung reinstopfen (bspw. Sockel 1151v2 Xeon ohne iGPU mit 32GB Ram ist als alte Workstation für unter 300€ möglich, ohne Anspruch auf ECC nochmal etwas günstiger mit normalen Desktops).

Problematisch ist es, wenn ihr beide voneinander getrennte Ordnerstrukturen haben wollt und von zwei Quellen neue Dateien aufspielt, dann ist "einfache" Deduplizierung wie sie Restic & ähnliche Programme verwenden nicht möglich (das Restic-Backup deines Vaters kann eine Datei die dein Restic aufgespielt hat nicht für die eigene Deduplizierung verwenden außer ihr backt beide in den selben Pool/ Ordner auf die der jeweils andere Rechner/ NAS vollen Zugriff hat). Eines der NAS muss also immer vollen Zugriff auf beide Datensets haben.
 
Zuletzt bearbeitet:
Prof.Theorie schrieb:
Beim TE geht es aber darum dass er eben auch pro GB/TB bezahlt, bei Hetzner sind das glaube ich rd. 10€/TB/Monat. Da kann es sich schon lohnen dafür ein Wochenende zu verwenden wenn man TB-weise Doppelung vermeiden kann.
Ja und? Jedes gute Backup-Programm beherrscht Techniken keine doppelten Daten zu übertragen. 🤷‍♂️
Abgesehen davon geht es um eine NAS-Lösung, was Du wüsstest, wenn Du den zweiten Abschnitt des Eingangspostings gelesen hättest. 🤷‍♂️
 
Alternate 4
Zurück
Oben