napp-it cs webgui (copy and run, single/multi Server, beliebiges OS)
- Ersteller gea
- Erstellt am
- Registriert
- Dez. 2024
- Beiträge
- 140
RustFS S3 Server ist released
rustfs.com rustfs.com
Warum RustFS?
- 1:1 Ersatz für minIO, der bisherigen Hauptoption für ein inhouse/at home S3 Share (nur noch kommerziell verfügbar)
Warum überhaupt S3 shares, ich habe doch ZFS und SMB shares?
- ZFS ist ideal als gemeinsame Lan Ablage mit SMB. Man kann gemeinsam mit aktuellen Daten arbeiten und den Zugriff mit ACL regeln
Zugriff oder Freigabe der Daten im Internet ist aber ein Problem. Direktes Arbeiten über VPN + SMB ist zwar möglich, aber meist nicht sinnvoll wegen zu geringer Performance. Meist sollte man das Dokument erst herunterladen.
SMB im Internet ohne VPN ist ein nogo/ massives Sicherheitsleck, ideal ist Zugriff über authentifiziertes https so wie bei Cloud Providern wir Google. Genau das bietet S3. Da ist jede Datei eine Url im Internet, direkt herunterladbar per browser oder RustFS web-console (die auch hochladen kann). Alternativ kann man beliebige S3 Browser nehmen, als Einfachsten WinSCP im S3 Folder Modus.
Ein weiterer Aspekt ist Backup. Zwar bietet ZFS remote Replikation, das ist aber nicht realtime, benötigt ein spezielles Job Setup sowie VPN oder Tunnellösungen oder SSH als root. Mit S3 kann man einfach Backups übers Internet erstellen, entweder mit rclone (rsync for cloud) oder restic. Das verschlüsselt, dedupliziert und versioniert die Daten.
Realtime Backup
Ein weiterer Aspekt ist realtime Backup. Das bietet RustFS mit Realtime 2Wege Single Bucket Sync or Host Sync (alle Buckets). Dabei wird eventgesteuert jede Änderung auf einer oder der anderen Seite sofort auf dem Partner aktualisiert. Einmal eingerichtet, handhabt das RustrFS selber im Hontergrund
SMB +S3
Die beiden ergänzen sich ideal, SMB lokal und S3 als Share im Internet. Allerdings kennt S3 keine File ACL und kein File Locking, arbeitet immer auf Uer Basis (User hat Zugriff oder nicht. Ideale Ergänzung für SMB+S3 Shares ist eventgesteuertes bidir sync zwischen S3 und SMB. Damit erscheint jedes per SMB angelegte oder S3 hochgeladene Dokument sofort im anderen Share, https://github.com/guenther-alka/cs-sync
Setup in Napp-it
Vorab Dateisystem "pool"/s3_storage anlegen, dann
1. RustFS, rc, rclone und restic herunterladen (Menü Pool > S3 > local services)
2. Rustfs configurieren und starten
3. Cluster einrichten (mehrere RustFS) in Menü Pool > S3 > Remote Pool
Backup Jobs für rclone oder restic anlegen
Sync Service S3 <-> SMB anlegen (Menü Services)
https://www.napp-it.org/pdf/s3_storage_guide_de.pdf
Im Clustermodus werden S3 secrets und restic pw nur auf dem Frontend Management Server gespeichert, nicht auf den Cluster Members
rustfs.com rustfs.com
Warum RustFS?
- 1:1 Ersatz für minIO, der bisherigen Hauptoption für ein inhouse/at home S3 Share (nur noch kommerziell verfügbar)
Warum überhaupt S3 shares, ich habe doch ZFS und SMB shares?
- ZFS ist ideal als gemeinsame Lan Ablage mit SMB. Man kann gemeinsam mit aktuellen Daten arbeiten und den Zugriff mit ACL regeln
Zugriff oder Freigabe der Daten im Internet ist aber ein Problem. Direktes Arbeiten über VPN + SMB ist zwar möglich, aber meist nicht sinnvoll wegen zu geringer Performance. Meist sollte man das Dokument erst herunterladen.
SMB im Internet ohne VPN ist ein nogo/ massives Sicherheitsleck, ideal ist Zugriff über authentifiziertes https so wie bei Cloud Providern wir Google. Genau das bietet S3. Da ist jede Datei eine Url im Internet, direkt herunterladbar per browser oder RustFS web-console (die auch hochladen kann). Alternativ kann man beliebige S3 Browser nehmen, als Einfachsten WinSCP im S3 Folder Modus.
Ein weiterer Aspekt ist Backup. Zwar bietet ZFS remote Replikation, das ist aber nicht realtime, benötigt ein spezielles Job Setup sowie VPN oder Tunnellösungen oder SSH als root. Mit S3 kann man einfach Backups übers Internet erstellen, entweder mit rclone (rsync for cloud) oder restic. Das verschlüsselt, dedupliziert und versioniert die Daten.
Realtime Backup
Ein weiterer Aspekt ist realtime Backup. Das bietet RustFS mit Realtime 2Wege Single Bucket Sync or Host Sync (alle Buckets). Dabei wird eventgesteuert jede Änderung auf einer oder der anderen Seite sofort auf dem Partner aktualisiert. Einmal eingerichtet, handhabt das RustrFS selber im Hontergrund
SMB +S3
Die beiden ergänzen sich ideal, SMB lokal und S3 als Share im Internet. Allerdings kennt S3 keine File ACL und kein File Locking, arbeitet immer auf Uer Basis (User hat Zugriff oder nicht. Ideale Ergänzung für SMB+S3 Shares ist eventgesteuertes bidir sync zwischen S3 und SMB. Damit erscheint jedes per SMB angelegte oder S3 hochgeladene Dokument sofort im anderen Share, https://github.com/guenther-alka/cs-sync
Setup in Napp-it
Vorab Dateisystem "pool"/s3_storage anlegen, dann
1. RustFS, rc, rclone und restic herunterladen (Menü Pool > S3 > local services)
2. Rustfs configurieren und starten
3. Cluster einrichten (mehrere RustFS) in Menü Pool > S3 > Remote Pool
Backup Jobs für rclone oder restic anlegen
Sync Service S3 <-> SMB anlegen (Menü Services)
https://www.napp-it.org/pdf/s3_storage_guide_de.pdf
Im Clustermodus werden S3 secrets und restic pw nur auf dem Frontend Management Server gespeichert, nicht auf den Cluster Members