Dezentrale, private Cloud

[larrynator]

Hi Leute,

mir ist da eine alte Idee hochgekommen, nachdem ich die heutige News "Google Fotos: Ohne Pixel kein unbegrenzter Speicherplatz mehr" und die Kommentare dazu gelesen habe.
Ich nutze selber Google Drive um Fotos und sonstige Dinge zu sichern und zahle auch für ein 200GB-Kontingent. Das mache ich, weil ich die üblichen Vorteile der Cloud schätze und nutze (Zugriff von überall, Teilen der Daten mit Familie, Daten sind sicher, gehen also nicht verloren, etc.).
Was mich wie viele andere nervt, ist natürlich das Thema Datenschutz und der mickrige Speicherplatz. Bisher war ich nur zu bequem um da was zu ändern.

Nun zu der Idee:

• Ich hätte gerne ein NAS, auf das ich aus dem Internet Zugriff habe --> gibt's schon
• In einem weiteren Haushalt der Familie steht ein weiteres NAS, das mit dem ersten verknüpft ist. Dabei sollen sowohl Speicherplatz als auch Datensicherheit (zusätzliche Parität ähnlich Snapraid) steigen. Wenn es geht, auch die Bandbreite, da ich ja Daten von zwei Standorten gleichzeitig abrufe.
• Jeder befreundete/verwandte Haushalt, der teilnehmen will, stellt sein NAS bereit und verknüpft es mit dem bereits vorhandenen Netzwerk. Dabei steigen der Gesamtspeicherplatz und die Sicherheit mit jedem NAS.

• Wenn ein NAS im Netzwerk ausfällt (kaputt, offline, whatever) soll der Rest natürlich weiterlaufen...
• Verschlüsselung, User-Management, Netzwerk-Management, etc... sollte natürlich auch verfügbar sein.

Damit hätte man ein System, bei dem die eigenen Daten (hoffentlich?) so sicher und verfügbar wie in der kommerziellen Cloud sind, jedoch nur bei Freunden und Familie liegen.

Ich bin nicht so richtig im Thema drin und habe noch keinen guten, bereits existierenden Ansatz gefunden. Also frage ich:
Gibt es das bereits? Wenn ja, kann man das kaufen oder selber einrichten? Gibt es Anleitungen dazu?

Wenn es Anregungen, Ideen oder Kritik an dem Konzept gibt, bin ich auch dafür dankbar.

 

[diamdomi]

Du möchtest quasi auf jedem NAS das selbe haben?

Problem an der Sache: Du müsstest bei einem Datenupload auf jeden NAS uploaden. Die NAS's müssten dann auch alle genügend Speicher für alle Nutzer besitzen.
Sicherheit (im Sinne von unbefugten Zugriff) nimmt nicht zu, sondern ab.

 

[Conqi]

Ich hätte gerne ein NAS, auf das ich aus dem Internet Zugriff habe

Um was für ein NAS handelt es sich dabei? Ist das zweite NAS das gleiche Modell?

Wenn es geht, auch die Bandbreite, da ich ja Daten von zwei Standorten gleichzeitig abrufe.

Das wird ohne viel Aufwand nicht funktionieren. Ohne ein vorgeschaltetes Gerät, das den Job als Load Balancer übernimmt, wird der Zugriff immer auf das gleiche Gerät gehen und gleichzeitig von zwei Geräten downloaden ist nochmal eine Stufe komplizierter.

Realisieren könnte man sowas sicherlich mit Nextcloud und Syncthing. Das wäre dann aber 1:1 Spiegelung auf beiden NAS. Wenn man später noch mehr einbinden würde, müsste jeder immer alle Daten vorhalten. Eine Art "Online Raid 5" wird vermutlich nicht umsetzbar. Ich wüsste zumindest nicht wie.

 

[carnival55]

Also bei Synology gibt es Hyperbackup fürs Backup.
Und Hyperbackup Vault als Backup Ziel.

Jedes NAS könnte also ein Hyperbackup Vault für die jeweils anderen NAS zur Verfügung stellen.
Erfordert aber zumindest bei der Einrichtung Hirnschmalz und manuelle Konfiguration. ...und reduziert natürlich erheblich die eigene nutzbare Kapazität

 

[Teralios]

OwnCloud/NextCloud bieten entsprechende Möglichkeiten sich über mehre »Server« aufspannen zu lassen und man kann hier auch Backup-Server einrichten. Benötigt in dem Fall dann aber Unix/Linux-Kenntnisse.

Ansonsten muss man aber sagen, dass deine Anforderungen als GANZES so nicht zu erfüllen sind. @Conqi spricht bereits an, dass man für das Laden von Zweistandorten einen Proxy braucht, der die Abfrage des Nutzers an die entsprechenden Instanzen der Cloud aufteilt. Man könnte sicher auch etwas auf der »Softwareebene« machen beim Client, nur das wird sehr komplex in der Programmierung.

Auch der Punkt Datensicherheit + Mehrspeicher wird in der Form nicht funktionieren. Klar, man könnte etwas wie »RAID-5« nachbilden, nur dann müsste im Zweifel ein »Rebuild« erfolgen und ein RAID-5 ersetzt keine Spiegelung der Daten, auch an verschiedenen Orten. Bei einer Spiegelung steht aber nicht mehr Speicherplatz zur Verfügung.

Je mehr Menschen hier also mit machen, um so mehr Speicherplatz müsste man auf jedem NAS schaffen, wenn jeder die gleiche »Menge« haben sollte, oder es wird halt pro Person immer weniger.

Wenn du Datenschutz Bedenken hast, jedoch unkompliziert deine Daten sichern willst, ist der wesentlich einfachere Ansatz für dich: BoxCryptor oder Cryptomator für sensible Daten, sowie ein Anbieter wie Strato - nun Ionos? - mit HiDrive oder andere Anbieter, die dir ein entsprechenden Online-Speicher bieten.

Auch eine Alternative ist es, bei zwei Hostern ein VServer mit einer gespiegelten OwnCloud/NextCloud.

 

[larrynator]

So wie Conqi es schon vermutet hat, schiele ich auf sowas wie ein Raid5 (oder halt Snapraid). Ich will, dass jeder Haushalt seine Kiste ans Netzwerk anschließt und damit den gesamten Speicherplatz erhöht. Das Netzwerk stellt die Sicherheit in Form von Parität zur Verfügung.

...
Sicherheit (im Sinne von unbefugten Zugriff) nimmt nicht zu, sondern ab.

Damit hast du natürlich recht. Schön wäre es, wenn jeder User Zugriff auf seinen eigenen Anteil am Pool hätte (so wie bei kommerziellen Anbietern ja auch) und nicht von selbst an die ggf. verschlüsselten Daten der anderen rankommt. Ansonsten habe ich die Einstellung, dass ich den Leuten vertraue, die ich ins NAS-Netzwerk reinlasse.

 

[DieRenteEnte]

Warum deine Daten den USA für offensichtliche Auswertung geben die von einem Unternehmen verwaltet werden, welches nachweislich deine Daten für ihren eigenen Vorteil auswertet oder verkauft?

Du könntest auch deine Daten in der Schweiz lagern, wo die Gesetze nicht vorschreiben Zugang zu gewähren:
https://www.pcloud.com/de/cloud-storage-pricing-plans.html
Da kannst du 2 TB Cloud günstiger als 2 TB SSD kaufen und gegen Aufpreis verschlüsseln lassen. (oder du machst es kostenlos selbst) Günstiger natürlich nur, wenn du 2x 2 TB SSDs kauft, weil eine einzige SSD für eine Datensicherung einfach nur dumm wäre.

Außerdem:
Im Gegensatz zu Google, kannst du bei Amazon, wenn du ein Prime Konto bezahlst, unendlich viele Fotos mit maximaler Qualität speichern:
https://www.amazon.com/clouddrive

 

[TheBeastMaster]

Wieso sollte das nicht möglich sein? Bittorrent und DC machen das seit endlichen Jahren ähnlich...

 

[larrynator]

Puhh, ganz schön aktiv hier^^

@Teralios :
wie gesagt, bin ich nicht so ganz im Thema drin. Aber von sowas wie Snapraid verspreche ich mir, mein System erweitern zu können und trotzdem die Sicherheit vor Datenverlust gewährleisten zu können. Hier mal ein Zitat aus einem anderen Forum:

"SnapRaid:

• Datenkorruption wird erkannt und kann korrigiert werden
• Zugriff auf die Dateien auch ohne Zusatz Software und auf fremden Dateisystemen möglich
• Das array kann jederzeit erweitert werden selbst mit bereits gefüllten HDDs
• Die HDDs dürfen unterschiedlich groß sein, wichtig ist nur dass die Paritätsplatte mindestens so groß wie die größte Datenplatte sein muss
• Die Dateien werden im normalen Dateisystem abgelegt sodass man zum Aufrufen einer Datei immer nur zugriff auf eine einzelne Festplatte benötigt
• Gewählte Redundanz erlaubt das wiederherstellen von 1 bis 6 HDDs, bei Ausfall von mehr als den Rundanz HDDs können jedoch die Daten der unbeschädigten HDDs weiterhin ausgelesen werden.

• Moderater Ram-Bedarf, 1 GB pro 10TB wird während des Syncen und Scrubben empfohlen
• Gelöschte Daten können bis zum nächsten Sync wiederhergestellt werden

• Die Performance ist immer genau so gut wie die jeweilige HDD auf die zugegriffen wird
• keine sofortige Redundanz, erst ein Sync schafft Sicherheit vor Hardware Versagen
• Verändern der gleichen Blöcke auf unterschiedlichen HDDs zwischen dem Syncen kann bei Hardware Schäden zu unwiederherstellbaren Dateien führen"

Was ich mir natürlich vorstellen kann, ist, dass ein Sync über das Internet einfach nicht praktikabel, weil zu langsam ist.

@alle: Danke für die weiteren Vorschläge. Die meisten Cloud-Anbieter wollen ja monatliche Zahlungen sehen, wovon ich nicht so der Fan bin. Außerdem ist es für mich schwierig zu sagen, wer in 10 Jahren noch existiert und wer plötzlich einfach die Server abschaltet. Mein Tipp: Google, Microsoft, Amazon. Aber die mögen wir ja nicht.

Ich gehe die bisher genannten Alternativen mal durch, würde mich aber trotzdem freuen, wenn noch ein entscheidender Hinweis zur Realisierung dieser Idee auftaucht

 

[Bruzla]

Ich kann dir jetzt auf die schnelle nicht detailliert erklären, wie genau das funktioniert aber sowas Ähnliches hab ich vor ein paar Jahren mal für einen Kunden eingerichtet.

Allerdings nur als Sync in eine Richtung.

Das Synology NAS aus dem Betrieb sollte über das Internet auf das Synology NAS im Privathaus gesynct werden.

Das lässt sich mit Synology Boardmitteln einrichten.

Dann kannst du natürlich beide NAS mit nem "RAID5" oder "RAID1" konfigurieren, das schütz vor Plattenausfall.

Dann kannst du natürlich noch nen externen Datenträger anstecken und da drauf auch nochmal sichern.

Ich versteh dein Anliegen so:

Du willst eine eigene Cloud, die in sich redundant ist und aus mehreren dezentralen NAS-Systemen besteht?

Das klingt für mich so, als wäre das für eine Privatperson nicht umsetzbar.

 

[larrynator]

...

Ich versteh dein Anliegen so:

Du willst eine eigene Cloud, die in sich redundant ist und aus mehreren dezentralen NAS-Systemen besteht?

Das klingt für mich so, als wäre das für eine Privatperson nicht umsetzbar.

Das klingt für mich so, als wäre es für Unternehmen umsetzbar, also umsetzbar Wo wären denn die Hürden?

PS: Um auf deine Frage zu Antworten: Redundanz heißt für mich: mehrere Nasssysteme sind gespiegelt. So wie bereits @Teralios geschrieben hat, hätte das ja keinen Mehrwert für die einzelne Partei, die dem Netzwerk beitritt. Das muss also mit Parität funktionieren. Vielleicht gibt es aber auch einen gesunde Mittellweg, sodass der einzelne Teilnehmer 8TB stellt und 4TB nutzen kann (nur als Beispiel). Wäre immer noch vergleichsweise billig.

 

[cgs]

SnapRaid

Snapraid, ist für lokalen "Write Once Read Many" Speicher sehr gut geeignet, aber nicht für das was Du vor hast.

Ich würde erstmal alle NAS mit Wireguard verbinden. Dann kann man schon mal Dateien austauschen und syncen.

Dann könnte man sich überlegen ein verteiltes Dateisystem drauf laufen zu lassen sowas wie Tahoe-LAFS ...

 

[TheRealX]

Schau dir vielleicht mal RESILIO-Sync an.

Dein Vorhaben würde am ehesten noch mit irgendwas in Richtung Bittorrent-Protokoll funktionieren, nur eben nicht nur in der Download sondern auch in der Upload Richtung.

 

[Teralios]

@larrynator
lese dir mal die Beschreibung zu Snapraid sehr genau durch, du wirst dann erkennen, warum SnapRaid nicht ganz deiner Anforderung entspricht: » Gewählte Redundanz erlaubt das wiederherstellen von 1 bis 6 HDDs, bei Ausfall von mehr als den Rundanz HDDs können jedoch die Daten der unbeschädigten HDDs weiterhin ausgelesen werden.«

Zudem bitte bedenke: Ein Raid, egal ob nun Raid1, Raid 5 oder hier eine »Raid-5« ähnliche Technik, bieten keine wirkliche »zuverlässige« Datensicherheit! Ich habe mich im Studium für Dokumenten-Server sowie der damit hohen Verfügbarkeit als auch Datensicherheit und Langzeitarchivierung befasst und es gibt da ein ganze einfaches Prinzip: LOCKSS - Lots of Copies Keeps Stuff Save.

Willst du deine Daten wirklich hochverfügbar haben, als auch Sicher, dann gibt auch heute nur eine wirkliche Technik: Der Server, wo die Daten liegen, wird als ganzes an mindesten einen weiteren Standort gespielt. Sprich - auch wie es @Bruzla beschreibt: Du spiegelst dein NAS 1:1 auf das NAS an einem anderen Ort. Du hast dann aber nicht mehr Speicher, sondern weiterhin nur soviel, wie dein NAS bietet! Und ja, die Spiegelung erfolgt per Synchronisation.

Man sollte einen RAID, egal wie viel Parität er bietet, egal wie viele Festplatten angeblich ohne Datenverlust ausfallen können, NIEMALS zur Strategie der Datensicherheit machen, denn RAIDs haben die sehr unangenehme Eigenschaft, dass sich bei einem Rebuild gerne dann die Datenträger verabschieden, auf den wichtige Teilinformationen liegen und am Ende man doch auf die Daten des Spiegelservers zurück greifen muss, damit man den Server wiederherstellen kann.

Und genau diese »Sicherheit« steht halt deinem Wunsch entgegen, dass mit jeder »NAS«-Instanz der Speicherplatz für alle Nutzer steigt.

 

[larrynator]

@Teralios : Da hast du wohl recht. Wie viele andere (obwohl ich es eigentlich wissen sollte) sitze ich immer wieder dem Irrglauben auf, dass ein Raid eine Sicherheit garantiert. Beim Aufbau eines einzelnen NAS hätte ich das gewusst, jetzt, bei meiner Forderung nach einem "Cloud-NAS" habe ich das schon wieder vergessen... Der Weg bringt mich also nicht weiter. Ein (kompletter) Sync über das Internet ist sowieso ausgeschlossen.

@cgs : Ich schaue mir Tahoe-LAFS mal näher an. Sieht schonmal so aus, als würde es im Prinzip das tun, was ich will. Jedoch sieht auch das wieder ganz schön "RAID-ähnlich" aus

 

[Iwwazwersch]

Ein (kompletter) Sync über das Internet ist sowieso ausgeschlossen.

Kommt auf deine Daten an. Je nachdem was du auf dem NAS speicherst. Und in der 1. Einrichtung könnte man ja schonmal beide NAS in LAN syncen und danach übers Internet in der Nacht.

 

[cc_aero]

Was du also quasi willst, ist ein einziges verteiltes (replizierentes) Dateiensystem über mehrere physische Server?

Ich denke mit einem herkömmlichen fertig-NAS wird das wohl eher nichts, ABER mit eigenbau-Linux-Boxen kann das schon funktionieren und wäre machbar. Für Datensynronisierung kann man dann zB das verteile Dateisystem GlusterFS einsetzen -> Das hat auch einen speziellen Standortübergreifenden Modus und macht zwischen den Nodes quasi P2P.

Um extern immer auf den besten "Node" zu kommen, müsste man dann einen kleinen vServer betreiben auf der das Loadbalancing macht (zB via DNS oder bei Verwendung von HTTP-Applikationen via Reverse-Proxy).
Intern könnte man in jedem einzelnen Netz einen DNS-Server einrichten, welche die relevante Domain immer auf die jeweilige lokale Linux-Box leitet.

Die Sache ist natürlich nicht ganz billig und auch nicht unbedingt trivial zu konfigurieren... (möglicherweise gibt's natürlich auch noch bessere Lösungen)

Ergänzung (12. November 2020)

... beide NAS in LAN syncen und danach übers Internet in der Nacht ...

Wenn man herkömmliche Methoden zum syncen benutzt (rsync) geht das oft aber nur oneway und selbst bei bi-directionalen syncs auf Datei-Basis wirst du aber "Konflikte" haben, wenn auf beiden NASe am gleichen Tag die selbe Datei verändert wird -> jeweils aber mit anderen Inhalten ...

 

[larrynator]

Okay, ich habe jetzt schon mehrmals "verteiltes Dateisystem" gelesen. Nach meiner kurzen Recherche zu Tahoe LAFS scheint das ja in die richtige Richtung zu gehen. Ich werde da mal weiter recherchieren.
@cc_aero :
Fertig-NAS muss ja nicht sein, ich würde auch nicht davor zurückschrecken, das selbst zu bauen und einzurichten.
Ganz allgemein fängt das Thema aber an, über meinen Horizont hinauszuwachsen. Ihr müsst jetzt nicht aufhören, eure Inputs reinzuwerfen, aber von mir wird da nicht mehr viel Substantielles zurückkommen^^
Trotzdem noch zwei kleine Fragen, aus Interesse:

• Hätte der vServer viel Traffic (weil alle Daten durch ihn gehen) oder weist er einfach nur dem jeweiligen Client die richtige Richtung zum schnellsten Server?
• Was macht die Sache teuer?

 

[maxik]

Geht das denn überhaupt ohne einen zentralen "Router" der die Anfragen an das NAS schickt?

Nehmen wir mal an du hast 5 NAS als Cloud.
Falls nun 1 NAS ausfällt, wie soll denn ein Upload von einem Endgerät erfolgen wenn nicht gleichmäßiger Zugriff zu allen NAS besteht sondern nur zu dem das zufällig offline ist?

 

[cc_aero]

• Hätte der vServer viel Traffic (weil alle Daten durch ihn gehen) oder weist er einfach nur dem jeweiligen Client die richtige Richtung zum schnellsten Server?
• Was macht die Sache teuer?

zu 1)
kommt auf die Umsetzung an: Wenn der Load-Balancer einfach dynamisch den DNS-Eintrag der Hauptdomain je nach Last "verbiegt" kommt auf dem vServer kaum Traffic an. Wenn man einen Reverse-Proxy einsetzt (der aber wiederum einfach zu konfigurieren sein sollte) kommt der gesamte Traffic am vServer an, bzw. wird eigentlich sogar verdoppelt (einmal Inbound und einmal Outbound).
Gibt aber auch hier natürlich noch weitere Möglichkeiten ...

zu 2)
Die Anschaffung der Hardware an jedem Standort, laufende Kosten für den vServer (auch wenns nur unter 5€ sein werden) -> für maximale Verfügbarkeit sollte aber auch wohl der vServer redundant ausgeführt sein - kann man aber natürlich auch weglassen.
Und nicht zu vergessen, die Lebenszeit die bei der Einrichtung des ganzen drauf geht.