Tool zum synchronisieren von Daten incl. ownership gesucht
- Ersteller NJay
- Erstellt am
Falc410
Vice Admiral
- Registriert
- Juni 2006
- Beiträge
- 6.420
Naja dein Use-Case hört sich nicht nach home-use an und das Tool war oder ist Open-Source. Früher konnte man das kostenlos einsetzen und es synct dir halt in Echtzeit eine Partition. Ganz früher war es nur einseitig also Active - Passive aber schon seit einigen Jahren sollte es in beide Richtungen möglich sein. Man braucht halt eine stabile Verbindung zwischen den beiden Systemen.NJay schrieb:
Sollte doch genau das sein was du brauchst. Weil so wie ich das verstanden habe, muss es ja mehr oder weniger in Echtzeit sein. Du kannst auch mit rsync die Attribute mit übernehmen, dann müssen halt die User die selben IDs haben auf beiden Systemen, dann sollte das kein Problem sein.
- Registriert
- Aug. 2013
- Beiträge
- 5.509
Sorry, aber es geht um Linux systeme, da komme ich mit Robocopy nicht weit.AlCiD schrieb:
Ergänzung ()
Echtzeit ist hier relativ gemeint. Es geht halt darum, dass nicht erst alle Daten z.B. Nachts gesynct werden, sondern eben halbwegs direkt. So, als wuerdest du eine neue Datei zu deiner Nextcloud hinzufuegen. Aber nicht Echtzeit im sinne einer verteilten Datenbank, etc.Falc410 schrieb:
Ich nutze aktuell ZFS auf beiden NAS und das soll auch so bleiben. Da noch einen weiteren Filesystem layer dazwischenzuschieben ist vermutlich eher kompliziert.
Des weiteren ist die Netzwerkanbindung nicht sonderlich gut. NAS 1 kann zu NAS 2 mit 30Mbit syncen, umgekehrt sind es nur 3 Mbit (!), d.h ein Echtzeitfilesystem wird vermutlich elendig langsam sein.
madmax2010
Fleet Admiral
- Registriert
- Juni 2018
- Beiträge
- 28.850
rsync -avxHAWX und vielleicht noch ein --delete sollte doch eigentlich abbilden was du suchst oder irre ich?
oder willst du den cronjob teil auf jeden fall los werden?
Sonst hat wie von @Falc410 vorgeschklagen DRDB oder ZFS Replicas, falls ZFS eine Option ist
HA. er nutzt ZFS
Ok, ich habe mit ZFS replicas noch nie gearbeitet, schaut aber recht einfach ausprobierbar aus: https://www.howtoforge.com/tutorial/how-to-use-snapshots-clones-and-replication-in-zfs-on-linux/
oder willst du den cronjob teil auf jeden fall los werden?
Sonst hat wie von @Falc410 vorgeschklagen DRDB oder ZFS Replicas, falls ZFS eine Option ist
Ergänzung ()
HA. er nutzt ZFS
Ok, ich habe mit ZFS replicas noch nie gearbeitet, schaut aber recht einfach ausprobierbar aus: https://www.howtoforge.com/tutorial/how-to-use-snapshots-clones-and-replication-in-zfs-on-linux/
Falc410
Vice Admiral
- Registriert
- Juni 2006
- Beiträge
- 6.420
Das Filesystem sollte egal sein, gut ich hab damals halt ext4 oder so benutzt, aber DRBD sollte Filesystem unabhängig sein da es ja eine Ebene weiter unten arbeitet. Aber die langsame Anbindung könnte ein Problem sein.
Mhm müsste sicher was passendes noch geben, ein 5 Minuten Cronjob mit rsync geht aber ist halt auch nicht optimal. Sinnvoller wäre irgendwas mit einem trigger / hook wenn sich eine Datei geändert hat, dann syncen.
Wie Madmax gerade schreibt, hab mir auch beim lesen gedacht, ZFS müsste doch so etwas bieten...habe es auch noch nie benutzt weil damals war ZFS nicht so weit, aber guter Hinweis.
Mhm müsste sicher was passendes noch geben, ein 5 Minuten Cronjob mit rsync geht aber ist halt auch nicht optimal. Sinnvoller wäre irgendwas mit einem trigger / hook wenn sich eine Datei geändert hat, dann syncen.
Wie Madmax gerade schreibt, hab mir auch beim lesen gedacht, ZFS müsste doch so etwas bieten...habe es auch noch nie benutzt weil damals war ZFS nicht so weit, aber guter Hinweis.
- Registriert
- Aug. 2013
- Beiträge
- 5.509
madmax2010 schrieb:
Fuer mein Verstaendnis funktionieren beide Ansaetze eher fuer ein Master-Slave Szenario. Also regelmaessig soll der Stand von NAS 1 auf NAS2 kopiert werden. ich brauche das aber bidirektional.Falc410 schrieb:
Nehmen wir folgendes Beispiel an:
Ich habe einen Ordner Dokumente mit zwei Dateien, dokument1 und dokument2. Gleichzeitig wird nun dokument1 auf NAS 1 editiert und dokument2 auf NAS2. Bei syncthing ist das kein problem. Beide NAS scannen ihre Daten und erkennen, dass eine Datei geaendert wurde und senden ihre Aenderungen an das jeweils andere System.
Doch wie macht ZFS Replikation das in dem Fall? Ich kann soweit ich es verstehe nur Datasets senden, d.h. z.B. das ganze Dokumente Dataset. Aber wenn ich das jetzt von einem an das andere System schicke, wird ja eine der beiden Aenderungen ueberschrieben.
Rsync kann zwar einzelne Dateien schicken, aber auch hier waere ein einzelner cronjob alle 5 minuten auf den Dokumente Ordner nicht ausreichend, da er dann das selbe Problem verursacht.
Habe ich hier einen Denkfehler? Wie kann ich das hier beschriebene Beispiel mit ZFS oder rsync loesen?
madmax2010
Fleet Admiral
- Registriert
- Juni 2018
- Beiträge
- 28.850
Ich wollte das gerade mit ZFS basteln und einfach mal ausprobieren.. Bin dann aber Ueber das hier gestolpert:
https://github.com/deajan/osync
Ich zitiere:
Wenn das kann was es verspricht, koennen die anderen Ansaetze weg. Liest sich perfekt
https://github.com/deajan/osync
Ich zitiere:
Wenn das kann was es verspricht, koennen die anderen Ansaetze weg. Liest sich perfekt
Falc410
Vice Admiral
- Registriert
- Juni 2006
- Beiträge
- 6.420
Uridium
Lt. Commander
- Registriert
- Juni 2005
- Beiträge
- 1.926
Wie wäre es mit GlusterFS?
https://techgoat.net/index.php?id=35
https://techgoat.net/index.php?id=35
- Registriert
- Aug. 2013
- Beiträge
- 5.509
Habe mich letztendlich für eine Variante mit sycthing entschieden. Da alle Dateien im original immer per smb erstellt werden kann ich kontrollieren, welche berechtigungen sie bekommen. Alle Dateien bekommen 660, syncthing per gruppe also auch lese und schreibrechte. Wer dann genau auf welchen share zugreifen darf wird ebenfalls per smb gecheckt. Da niemand ssh zugriff hat, funktioniert das seit Wochen wunderbar.
