Datenspeicherlösungen bei drei Standorten

[aargau]

Hallo zusammen

Ich weis, die nachfolgende Frage ist wohl im Privatbareich eher selten, aber dennoch kommt es scheinbar vor ^^

Wie es aussieht werde ich demnächst drei verschiedene Standorte haben an welchen ich auf meine Daten zugreifen will.
Generell natürlich kein Problem, man nehme ein Server mit VPN und connecte einfach darauf, greift wie SMB auf die Shares zu und fertig. Aber da das ganze Privat ist habe ich natürlich keine Symmetrischen Gigabit Links zwischen den Standorten...

Zu den Standorten:

- Aktuell bei meinen Eltern steht mein Windows Server welcher momentan noch als Webserver für mehrere Websites (Apache, MySQL) genutzt wird, zugleich hängen daran zwei LianLi Raidbox mit 5x 2TB Speicher.
Momentan Wohne ich zuhause und kann also ohne Probleme von hier auf die Daten zugreifen (Gigabit Netzwerk, vermiss ich jetzt schon :-() Der Standort hat aktuell eine Internetanbindung von 300/25Mbit/s. wird aber wohl später auf 250/15 oder gar 125/10 gedowngraded, da für meine Eltern und Bruder mehr als ausreichend.

- Mein Hobbyraum, in welchem ich Künftig meinen "HauptPC" mit Leistungsstarker HW stehen haben werde und auch Videos sowie Fotos bearbeiten möchte. Allerdings verfügt dieser Standort nur über eine 2/0.2Mbit/s. Internetanbindung - mehr wäre zwar ohne wenn und aber möglich, aber einfach zu teuer und im Endeffekt im Bezug auf Videoediting mit dem Upload der gegenstelle eh nicht ausreichend.

- Meine WG in welche ich in kürze ziehen werde. Hier werde ich wohl vor allem "Wohnen" und am PC Surfen, meine Bilder ansehen, ev. auch mal bearbeiten etc. Je nach dem werden wir da entweder einen 40/7Mbit/s. Internetanschluss haben oder aber 125/10Mbit/s. abhängig von der Verfügbarkeit von DSL oder Cable...
An diesen Standort werde ich entsprechend wohl auch mein ganzer Datenberg zügeln, also wohl eine der Raidboxen dahin verschieben und über einen kleinen Linux Server (welcher wohl auch Router spielen wird) ans Netzwerk anbinden.

Der Standort 1, also das Haus meiner Eltern möchte ich dann wohl als externes Backup nutzen -> Soweit relativ simple realisierbar und dank Inkrementellen Backups wohl auch über die 7 oder 10Mbit/s. in absehbarer Zeit abzuwickeln. Webserver wird auch weiterhin am alten Standort bleiben.

Mein Problem Kind ist aber mein Hobbyraum in welchem ich voraussichtlich die grösste Zeit meiner Freizeit verbringen werde. Leider habe ich genau da keine brauchbare Internetanbindung und genau da sehe ich mein Problem...

Ziel ist es auf jeden Fall das alle Daten jeweils auf dem Storage in der WG liegen und nicht zerstreut auf 10PCs..
Da ich aber genau im Hobbyraum Videobearbeitung machen möchte könnte das ein grösseres Chaos werden.
Meine Idee wäre es die Daten halt auf einer Externen HD zwischen den Orten zu Transportieren, ggf. wäre ein gesyncter Ordner zum Linux Server auch noch eine Option um Daten nicht jedes mal per ExternerHD kopieren zu müssen.
Zurück auf den Server wird aber wohl mit den 0.2Mbit/s. Upload nie gehen.

Leider liegen die Standorte zuweit auseinander, dass auch ein Wlan Link per Richtfunk über den AC Standard oder ev. Ubiquiti "airFiber" nicht möglich ist...

Ich würde mich deshalb über Tips, ideen, Vorschläge wie ihr das lösen würdet sehr freuen.
Mir ist es wie man sicher merkt relativ wichtig die Daten "immer und überall" Verfügbar zu haben und vor allem auch gesichert.

 

[tnoay]

es gibt auch externe festplatte und robocopy

 

[HominiLupus]

es gibt auch externe festplatte und robocopy

Externe Festplatten sind das Mittel der Wahl, die Software ist allerdings Quark. Für so was gibt es rsync bzw. rsync Frontends. Rsync funktioniert Lokal oder Remote, beides.

 

[aargau]

Das heisst ihr würdet auch eine externe (USB3.0) Platte nehmen die ihr ab und an an zuhause Syncen würdet?
Denke da würde ich dann einfach ein Script schreiben welches beim anstecken der HDD an den Linux Server die Daten abgleicht. Geht das ggf. auch in beide Richtungen? Also das ich z.B. neue Daten auch auf die externe HDD kopiere und nicht nur von der extHDD richtig Server?
Somit könnte man das ganze wenigstens Automatisieren.

 

[xammu]

Für kleineres Dateien (Dokumente oder Ähnlichen), Bittorent sync, seafile server oder arxshare. Filme und Co machste besser per Festplatte.

 

[aargau]

Ja ich denke Dokumente, Bilder, PHP Scripte etc. geht auch via VPN über die 2Mbit/s. Leitung ganz gut. Mach ich auch via 3G unterwegs am Laptop oft.
Für Videos werde ich mir wohl eine externe 4TB Disk zulegen und dann halt eben gewisse Ordner auf dem Share zuhause Synchronisieren. Das müsste dann aber in beide Seiten gehen, Sprich neue/geänderte Daten auf der extHDD müssten auf den Share kopiert werden, aber genau so auch neue /geänderte Daten vom Share auf die extHDD, so das ich halt diese Daten jeweils auf dieser Platte habe.

Wichtig dabei sind mir nun aber noch zwei Dinge und da wird es wohl auch wieder etwas schwieriger...

- Sowohl die LianLi Box in der WG möchte ich zu meinem eigenen Schutz Verschlüsselt haben, wie auch die externe HDD.
Bei der LianLi Box sehe ich keine Probleme. Wenn diese an dem Linux Server (Wird wohl n kleine Intel Celeron oder Atom...) hängen kann ich die Platten mit Linux Dateisystem Formatieren und mit LUKS verschlüsseln. Damit kann niemand was anfangen wen er mal auf die Idee kommen solte die LianLi Box an sein eigenen PC zu hängen ;-)

Auf der extHDD sehe ich da aber ein Problem. Zwar scheint man mit FreeOTFE die LUKS Container auch unter Windows verwenden können, jedoch wird Windows mit einem Linux Dateisystem wenig anfangen können und das ganze als NTFS Partition zu machen wäre zwar Performancemässig auf der Windows Kiste sicher nicht schlecht, jedoch dürfte es auf dem Linux Server gleich doppelt Performance brauchen, da die Daten zum einen ja mit LUKS de/encryptet werden müssen, die "Partition" selber müsste dann aber nochmals mit Ntfs-3g Linux tauglich gemountet werden....
Klapt zwar sicher auch aber irgend wann ist so ein kleines System dann auch an der Leistungsgrenze.
Da ich wie gesagt den auch als Router für die WG brauchen möchte ggf. etwas eng oder denkt ihr die aktuellen Festplatten sind eh zu lahm um ein aktuellen Atom / Celeron auszulasten?
Seht ihr da ev. noch bessere Lösungen?
Als Linux wird ziemlich sicher Alpine Linux zum Einsatz kommen, da sehr klein, stabil -> perfekt als Router mit Shorewall.

 

[ronnyp]

Für eine Firma hab ich sowas ähnliches gemacht. Dort haben wir auch drei Standorte mit max 16Mbit Internetanbindung.

1. Hauptsitz
2. Zweigstelle
3. Wohnhaus des Chefs (Backup)

Ich verwendete dazu 2 Windows Server 2008 und einen Windows Server 2003. Die Zweigstelle und das Wohnhaus sind per VPN mit dem Hauptsitz verbunden. Die Datensynchronisation erfolgt per DFS Replikationsdienst.

Ein großer Vorteil ist das man bestimmen kann welche Daten wann gesynct werden sollen z.B.: wichtige Daten wie Rechnungen, Angebote werden sofort gesynct andere Wie Bilder, Videos erst in der Nacht. Man kann auch die Bandbreite von der Uhrzeit abhängig beschränken.

Es werden immer auch nur die Unterschiede übertragen (Remote Differential Compression) was natürlich auch wieder Bandbreite spart. Ein Beispiel: Werden bei einem JPEG nur die EXIF Daten geändert, werden auch nur diese geänderten Daten übertragen und nicht die ganze Datei

Für deinen Einsatzzweck wahrscheinlich übertrieben, aber ich wollte nur sagen das es diese Möglichkeit gibt.

lg

ronnyp

 

[aargau]

Hört sich interessant an, wusste gar nicht das Windows Server auch beherrscht nur die teile zu Syncen die wirklich geändert wurden.
GGf. gäbe es da ev. soga die Möglichkeit, dass der lokale "mirror" vor dem öffnen Prüft ob die Datei zwischenzeitlich auf dem Hauptsitz geändert wurde und wenn ja diese Teile direkt abholt? Denke sowas wäre wie du schon sagst mehr als übertrieben aber dennoch eventuell mal interessant.

Aktuell stell ich mir jetzt sowas vor:

WG mit den Daten -> Wird Täglich, ev. Wöchentlich mit dem Server abgeglichen -> als aktuell sollen nur die Daten in der WG gelten.
Auf dem Linux Server in der WG wird ein VPN Server installiert, so kann ich weiterhin von aussen auf die Daten zugreifen wenn man mal was anpassen muss etc.
Im Hobbyraum verwende ich eine 4 oder 6TB (bei den Preisen wohl eher eine 4TB) externeHDD die ich so ca. 1x pro Woche oder bei bedarf halt mehr nach hause nehme und via USB3.0 an den Linux Server Anschliesse welcher dann die Daten mit dem Lokalen Speicher abgleicht.

Raucht die extHDD ab gibt es zwar Datenverlust, der dürfte sich aber im Rahmen halten. Aktuelle Videoediting Projekte werden eh zusätzlich auf dem PC zwecks besserer Performance zwischengespeichert.
Der Speicher in der WG wird als RAID5 mit 5x 2TB betrieben, so das im Ausnahmefall nur eine Disk ersetzt werden muss.

Stellt sich für mich halt die Frage wie man die Synchronisation am besten und effizientisten Umsetzt. Mit zwei Linux Servern geht das wohl mit rsync auch so, dass nur die effektiv geänderten Datenteile gesynct werden. Kommt aber zusätzlich Windows zum Einsatz dürfte das nicht mehr gehen nehm ich mal an?

Danach besteht eben noch das Problem bezüglich Verschlüsslung der extHDD ebenfalls das Problem wegen der Linux/Windows Umgebung.