[ZFS][NAS] Fragen zu Snapshots, FreeNAS und Backup großer Datenmengen

[scooter010]

Moin!

Ich plane derzeit den Aufbau eines Selbstbau-FreeNAS inkl. Backup-Strategie. Als Dateisystem möchte ich ZFS verwenden.

Hardware (Link zum Warenkorb bei MF):
i3 8100 (4 echte Kerne, ECC, Virtualisierungsunterstützung)
16GB 2666 CL19 ECC-RAM
Fujitsu D3644-B Board (C246 Chipsatz, ECC, 1x NVMe, 6x SATA, 1x 1GBit/s Ethernet, USB 3.1Gen1 und 3.1Gen2, sehr sparsam (<10W im Idle möglich))

Speicherkonfiguartion:

Speicher	Verwendung
1x 256 GB NVMe SSD	Boot-Laufwerk. OS, OS-Plug-Ins und Konfiguration
2x 500 GB Sata SSD als Mirror (=500GB Netto)	Virtuelle Maschinen für Pi-Hole, Webserver, Gameserver, Voice-Server, Entwicklung/Projekte (Spielwiese inkl. Nutzung Remote Desktop), VPN-Server
4x 4 TB SATA-HDD als RAID-Z1 (=12TB Netto)	Datengrab, SMB-Zugriff, Ggf. Web-Zugriff via VPN

Macht also in Summe bis zu ~12,75 TB zu sichernde Daten.

So wie ich ZFS verstanden habe, kann ich jederzeit, auch skriptgesteuert nach Zeitplan Snapshots anlegen. Die verbrauchen solange keinen Speicherplatz, solange sich nichts verändert. Der Speicherplatzbedarf eines Snapshots entspricht der geänderten Datenmenge seit dessen Erstellung und ist nach oben begrenzt durch die Datenmenge, die insgesamt bei der Snapshoterstellung vorhanden war.

Meine Fragen:

1. Ist meine Aussage zur maximalen Größe eines Snapshots korrekt?
2. Wenn ich einen neuen Snapshot anlege, "speichert" der ältere Snapshot trotzdem alle Änderungen die seit eben jenem Snapshot geschehen sind? Das heißt: Snapshot vom 31.01.2019 um 12:00:00 Uhr: Spiele ich dieses Snapshot wieder ein, dann ist das System in genau diesem Zustand?
3. Reichen 16GB RAM? Bei so vielen VMs (2-3 immer online, 1-3 nur zum spielen) und Deduplizierung mache ich mir da schon etwas Sorgen. Ggf. lieber nur komprimieren (LZ4) und nicht deduplizieren? 32 GB RAM kostet halt gut Aufpreis.
4. Wie (Prozess (Manuell, Automatisiert,...), Speichermedium, Schnittstelle) sichere ich so viele Daten, ohne zuviel Handarbeit rein stecken zu müssen? Zu beachten:
   1. Wir speichern und bearbeiten unsere Daten daheim nur auf dem NAS. Es ist also davon auszugehen: Raucht das NAS ab, sind die Daten erstmal weg.
   2. Ich möchte eine doppelte Backup-Strategie fahren:
      1. Jedes Wochende ein aktuelles Snapshot auf externen Datenträger ziehen, auf der Arbeit im Spind verwahren und mit einem zweiten Datenträger austauschen der das darauffolgende Wochende bespielt wird.
      2. Sofern möglich, mein altes QNAP 559 Pro II (Zeitplangesteuertes Einschalten) als ZFS-Empfänger konfigurieren und 500km entfernt bei meinen Eltern lagern und monatlich ein aktuelles Snapshot via SSH rüber schieben. Geht das? Wenn nicht, Alternative unter Verwendung des QNAP als Speicherziel für die Snapshots?
      3. Durch diese doppelte Strategie bin ich mehrfach gegen Katastrophenereignisse geschützt und kann (wenn nicht mein NAS und das Backup-NAS gleichzeitig sterben) immer mindestens einen Monat zurück gehen, das sollte mir als Privatperson ausreichen.
   3. Welchen Datententräger kann man für so viele Daten verwenden? Derzeit würde mir von der Menge der Netto-Daten her eine 10 TB-Platte reichen, aber... puh, teuer und das Kopieren dauert auch über USB3 lange.
5. Wie müsste/sollte ich meine ZFS-Pools anlegen? Wie in der Tabelle?
6. Wie verhält es sich mit ZFS send und ZFS receive? Wenn auf dem "Empfänger" bereits Snapshots gespeichert sind, dann werden die neuen Snapshots ebenso inkrementell angelegt, also nur die notwendige Datenmenge für die Änderungen seit dem letzten Snapsht beim "Empfänger" übertragen? Ist es ein Problem, wenn beim Empfänger nicht alle Snapshots vorhanden sind sondern "zwischendrin" welche fehlen?
7. Wie sieht es bei ZFS und FreeNAS mit Verschlüsselung auf Dateisystemebene aus?
8. Wie verhält sich ZFS beim Senden/Empfangen von Snapshots von verschlüsselten Dateisystemen? Muss ich dem "Empfänger"-ZFS-Pool erst das Passwort mitteilen oder geht das auch ohne?
9. Habe ich irgendetwas relevantes vergessen? FreeBSD Doku zu ZFS lese ich derzeit.
10. Gibt es eine brauchbare Möglichkeit, beliebige Ordner vom NAS auf einen anderen PC/Laptop zu syncronisieren? Bei QNAP gibt es dafür QSync, aber auch das war mir zu umständlich, da ich die zu synchronisierenden Ordner immer umständlich konfigurieren musste. Wenn es sowas für FreeNAS auch gäbe, wäre mir aber schon geholfen.
11. Gibt es eine brauchbare Möglichkeit, auf einem Android-Handy einen Sync-Dienst einzurichten, der beispielsweise Fotos direkt auf das NAS lädt und von FreeNAS unterstützt wird?

So viele Fragen. Wer es bis hierhin geschafft hat, dem Danke ich für das Lesen und dem Rest danke ich für den Versuch. Ich freue mich über hilfreiche Antworten und konstruktive Vorschläge

 

[KurzGedacht]

Raid Z1 ist kein "Raid 1", sondern eher etwas ähnliches zu Raid 5 und außerdem mit nur 2 HDDs gar nicht möglich.
Was du meinst ist Mirroring.

2. Snapshot ist immer genau der Zustand ja.
3. Vergiss Deduplizierung, wenn du auf der Kiste irgendwas wie Remotedesktop oder so laufen lassen willst. Damit Dedup mit vernünftiger Performance läuft, brauchst du ca. 1 GB Ram pro TB Daten. Das rechnet sich erst ab einem hohen Deduplizierungsfaktor (bpsw. 20 virtuelle Maschinen, die zu 80% die gleichen Daten enthalten). Vorher sind größere Festplatten schlicht billiger als mehr Ram.
4. Die Lösung für dein Problem heißt Rsync, sollte auch auf den Qnaps gehen. Damit kannst du auf andere Dateisysteme inkrementell sichern.

 

[McClane]

Ich kann mir nicht vorstellen das die Performance von dem System gut sein wird. ZFS in der Größe, und dann noch DeDup und Kompression und noch ein paar VMs? Dürfte eine 4 Kern CPU etwas überfordern. ZFS braucht auch viel RAM, vor allem mit den Optionen.
Dann wäre da noch die Datensicherung. Wenn du 12TB sichern willst auf eine externe Festplatte, bring viel Zeit mit. Wenn du eine durchgehende hohe Datenrate auf die externe Platte hast, wird eine Vollsicherung wahrscheinlich immer noch über 24 Stunden dauern.

 

[scooter010]

@KurzGedacht Danke, da bei dem Mirror habe ich was durcheinander gebracht. Ich dachte mir schon, das Komprimierung in meinem Fall wohl sinnvoller ist. Das mit RSync ist ein guter Ansatz. Scheint es auch für Android zu geben. Mal schauen, ob sich da was machen lässt.

@KurzGedacht @McClane Hat einer von euch bereits ein ZFS am Laufen? Gemäß der FreeNAS-Seite sind 8GB RAM bis 24 TB nur für das freeNAS-OS inkl. ZFS ausreichend. Bei mir wären das also rund 10-12 GB RAM für maximal 12,75 TB Disk (derzeit eher so 6-8TB) und dann habe ich noch 4-6 GB RAM für die VMs. Ist jetzt vielleicht nicht grade großzügig, aber reichen sollte es doch schon irgendwie. Ggf. noch mit einer Swap-File auf dem NVMe-Laufwerk...?

@McClane Das die erste Sicherung so lange dauern wird habe ich auch schon befürchtet. Aber was ist die Alternative? Nicht sichern? Die anschließenden Sicherung sind dank ZFS ja inkrementel. Den ersten RSync zum QNAP werde ich auch lokal durchführen und dann nur die inkrementellen Updates über mein 10MBit/s Upload Internet schicken...

 

[McClane]

Nein, ich nutze kein ZFS beruflich. Halte mich aber auf dem Laufenden was es so an alternativen auf dem Markt gibt.

Nein, keine Sicherung ist keine Option. Viel Platz ist nur sehr günstig geworden, so viele Daten zu übertragen nicht im gleichen Maße schneller. Das macht das Sichern von vielen Daten zu einem logistischem Problem.
DIe Frage ist, wie viele Sicherungen willst du vorhalten auf unterschiedlichen Datenträgern? Oder soll alles nur auf eine Sicherungsplatte?
Wie wichtig sind die Daten die du sicherst?

 

[scooter010]

Mangels besserer Ideen würde ich mir, wie oben beschrieben, 2x 10 TB Platten holen und die im wöchentlichen Wechsel mit den täglichen Snapshots der letzten 2-4 Wochen bespielen, je nachdem, wieviele Snapshots auf dem NAS/der Sicherungsplatte platz finden. Die jeweils andere Platte liegt das auf der Arbeit im Spind.
Zusätzlich dann halt noch monatlich der rsync mit einem aktuellen snapshot zu einem entfernten NAS.

Wichtig ist relativ. Ich bin nicht selbstständig oder so. Ich möchte die Daten jedoch vernünftig sichern. Ggf. würde ich auf den RSync verzichten.

 

[snaxilian]

Egal was du machst aber die 256 GB NVMe SSD fürs OS ist mit großem Abstand die effektivste und schnellste Möglichkeit Geld sinnfrei zu verbrennen, die ich in den letzten Wochen gelesen habe. Auch ist nicht vorgesehen, die OS-Platte zu partitionieren. Auf dem Medium wo FreeNAS installiert ist kannst du nix anderes verwenden.
Das System Dataset, Plugins etc landen entweder auf dem ersten Diskpool den du anlegst oder später da, wo du es konfigurierst. Also auf dem Diskpool deiner Wahl aber auch nicht auf der OS-Disk.

Nimm irgendne günstige 60-120 GB SSD oder ne kleine HDD, alternativ geht auch ein brauchbarer guter USB-Stick mit mindestens 16 GB. Bonuspunkte wenn du zwei Bootdevices nutzt. Denk dran, die Configs regelmäßig zu sichern, wenn du nur eins verwendest.

Das mit den zwei SSDs als einzelnen Pool kannst du machen. Alternativ kannst auch einfach nur eine nutzen und verwendest diese als L2ARC für deine HDDs. L2ARCs können jederzeit ausfallen ohne das Datenverlust entsteht.

RAM-Sizing: Naja du musst ja nicht deinen VMs mehr RAM geben als sie benötigen. Ein Webserver braucht selbst mit teils aufwendigen Seiten bei wenigen parallelen Nutzern und etwas Optimierung keine 500 MB RAM inkl. OS.
Ansonsten starte mit 16 GB und bei Bedarf wird aufgerüstet.

4.2.1 > externe HDDs als Backupziel sind eher suboptimal und erfordert einiges an Skripting. ZFS Snapshots mit send/receive erfordert, dass das Ziel auch ZFS versteht. Ist dies nicht der Fall, bleiben afaik nur Sicherungen auf Dateiebene wie z.B. rsync oder der in freeNAS integrierte cloud-sync zu Storageanbietern die S3 sprechen (Amazon oder die weit günstigeren anderen Anbieter). Da zahlst dann natürlich monatlich nach Verbrauch.

Ja, viele Daten kopieren dauert. Ja, es gibt schnellere Alternativen aber die sprengen bei weitem dein Budget.

Verschlüsselung gibt es auf Pool-Ebene. https://www.ixsystems.com/documenta...highlight=encryption#managing-encrypted-pools Wenn du mehr willst > selbst drum kümmern.

10 & 11: Lies die FreeNAS Doku. Es gibt fertige Plugins für resilio sync und syncthing.

Generell ist vielleicht direkt die FreeNAS Doku sinnvoller zu lesen als die von FreeBSD, v.a. wenn du FreeNAS verwenden willst.

 

[RalphS]

Noch mal zur Betonung: Vergiß Deduplication. Weder CPU noch RAM geben das her.

Kompression sollte hingegen kein Problem sein (lz4). Hier kann man auch differenzieren nach Dateisystem und zB langsame, gute Kompression zB für Textdaten und leichte Kompression für öfter Genutztes verwenden und für Bilder/Videos ausschalten.

Und zur Sicherheit: Hast Du Dir die 4x4T für raidz1 gut überlegt? ZFS unterstützt keine Rekonfiguration von raidz*. Einmal 4 vdevs, immer vier vdevs und zum Vergrößern brauchst Du vier neue Platten, die sukzessiv auszutauschen sind.

Nicht daß die vorgesehene Konfiguration problematisch wäre, aber einmal eingerichtet hast Du das dann und behältst es auch so.

IMO ist raidz2 die bessere Option. Ermöglicht einen Ausfall mehr, zB wenn während des Resilver der einen kaputten Disk die zweite ausfällt.

 

[scooter010]

@snaxilian Danke für den Input. Ich werde dann den internen USB-Port auf dem MB mit einem USB-Stick für das Bootlaufwerk verwenden. Ggf. noch einen 2. USB-Port nutzen. Mal schauen, wie man das dann erstmalig installiert.
Das mit dem L2ARC ist interessant. Ich könnte den nun freien NVMe-Port als L2ARC verwenden und hätte damit 6 SATA Ports für HDDs frei. Denn gingen auch 6x3 TB im raidz2 (auch 12 TB Netto, aber doppelte Prität).
Problem bei L2ARC ist wohl, dass der Geschwindigkeitsgewinn nicht "garantiert" ist. Auch soll das L2ARC nicht viel größer sein als die 5x RAM-Menge FreeNAS-Doku

-> Ich denke, 2xSATA SSDs als ein Pool ist erforderlich, um die IOPS zu erhalten.
-> Leider dann nur 4 x SATA für HDD verbleibend, besser wären 6 (5x 4TB raidz2 + spare Port zum Austausch von HDDs)
-> PCIe -> SATA-Adapter wird wohl unumgänglich sein... (Stromverbrauch...)

@RalphS Man kann ein raidz nicht erweitern? Zumindest nicht um einzelne Platten: Klick
Man kann also entweder ein weiteres vdev raidz(1|2) hinzufügen (3 oder 4 Platten, bei mir also ausgeschlossen ohne neue Gehäuse und >=4x SATA-Adapter), oder alle Platten sukzessiv durch größere Platten ersetzen.
4 TB-Platten sind derzeit, wie ich das sehe, der "Sweet-Spot" beim Preis pro TB. 6x 4 TB Platten, die auch noch Strom fressen, sind halt preislich... Puh.

 

[snaxilian]

Eine NVMe SSD ist nicht gerade sinnvoll als L2ARC bzw nicht bei deinen Anforderungen. Da würde man eher ein ZIL/SLOG Device, sprich einen Write Cache verwenden.
Wenn ich mich korrekt erinnere bringen die Caches auch nur bei synchronen Zugriffen wie z.B. iSCSI oder NFS aber nicht unbedingt bei SMB. Mag mich aber da auch täuschen, musst ggf. mal recherchieren oder selbst testen.

Bist du dir sicher, dass du mit 12 TB netto auskommst? Nimm deine aktuelle Datenmenge und schlage das jährliche Wachstum drauf und das dann für 5 Jahre, denn das ist die durchschnittlich zu erwartende Lebensdauer von HDDs. Am Ende der "Lebenszeit" sollte dein Pool zu maximal 90% befüllt sein.

Wenn du nur einen USB-Stick als Bootmedium nimmst solltest du ganz genau wissen, dass du stets außerhalb des NAS eine aktuelle Sicherung der Config haben und auch mal den Ernstfall durchgespielt und getestet haben. USB-Sticks verrecken gerne mal plötzlich, daher sind ggf. 2 Sticks als mirrored boot device eine Überlegung wert.

Ein freier SATA Port für Spares zum Austausch? Wozu? entweder du nutzt den Port direkt für eine spare disk was nur sinnvoll ist wenn die Zeit zwischen Diskausfall und Einbau einer neuen recht lang ist, z.B. wenn du nicht regelmäßig da bist, wo der Server steht. Wenn du die Möglichkeit hast, dass du innerhalb von 1-2 Tagen nach Ausfall Ersatz hast, dann kannst mMn auf Spares verzichten. Defekte HDD raus, neue rein, resilver, fertig.
Auch eine Spare schützt dich nicht vor der Notwendigkeit von Backups. Spares erhöhen nur die Verfügbarkeit.

Bist du dir sicher, dass du tatsächlich 2 SSDs für deine VMs benötigst? Ich betreibe u.a. auf 4x 3,5" 5400rpm Disks ein striped mirror set (also "raid 10") ohne SLOG und ohne L2ARC einen kleinen mariadb/mysql Server, eine kleine Monitoring-Instanz inkl. haufenweise RRDs für klickibunti-Graphen und noch 2-3 kleinere VMs für Spielereien mit Docker etc. Okay ja ist nur für Tests und Spielereien aber wirklich warten musste ich nicht bei Diskoperations. Der Host hat aber auch 32 GB RAM und wenn es mehr wird, denke ich ggf. über ein L2ARC nach.

Wie auch schon die anderen erwähnten: Kompression mit LZ4 stellt kein Problem dar, Deduplication solltest du unterlassen.
Ja, Storage ist immer teuer, v.a. wenn man es ordentlich machen will bzw. mit so etwas wie ZFS anfangen will.

 

[scooter010]

OK, du sagst, dass SSDs nicht für VMs erforderlich sind. Ich bin es halt vom Desktop gewohnt, für alle Anwendungen, welche nicht "Datengrab" sind, SSDs zu verwenden. Stichwort "Schwuppdizität". Ich finde es angenehm, auch in einer VM nicht 5 Sekunden auf den Start einer Desktopanwendung (Remote Desktop, welche Protokoll auch immer zum Einsatz kommen wird, die Gäste werden jedoch immer Linux-basiert sein) warten zu müssen. Das muss ich mir nochmal durch den Kopf gehen lassen. Notfalls werde ich mir einen DELL Perc H310, der IT geflashed ist, gebraucht holen, um genügend SATA Ports zu haben.

Ja, wenn ich USB-Sticks als Boot-Medium verwende, dann als Mirror. Es gibt so schön kleine 32 GB Sticks, die im Slot verschwinden und trotzdem 80MB lesend schaffen. Kosten 5 €/Stück, günstiger geht nicht. Kaufe ich direkt 3 Stück, entweder mache ich 3-fach mirror oder einer liegt als cold Spare daneben.

Der Spare-SATA-Port: Um in 3-5 Jahren die Kapazität des RAID online erhöhen zu können ohne dabei temporär auf eine Paritätsstufe zu verzichten (Disk kopieren vorm Austausch anstelle einfach eine Disk zu ersetzen).

Mir reichen 12 TB Netto. Es wachsen derzeit, wenn überhaupt nur 500GB jährlich. Derzeit habe ich 6 TB Daten. 12-6 = 6 TB frei. 6 geteilts durch 0,5 TB/Jahr = 12 Jahre. Also alles save. Ich müsste schon ein neues Hobby (z.B. RAW-Fotobearbeitung, Filme "ziehen") entwickeln, damit das knapp wird.

Mal ganz allgemein gefragt: Wenn mein RAIDZ Netto größer ist als die größte zur Verfügung stehende Datensicherungsplatte, wie sichere ich denn? vdev (stripped, raidz1,...) aus 2 Platten (oder wievielen auch immer ich für mein Backup benötige), welche ich gleichzeitig anschließen muss? Unterstützt FreeNAS überhaupt hotswap? Ich will ja nicht das NAS neu starten, nur um eine Backupplatte anzuschließen. Ich plane auf interne HDDs (in einem externen per USB3 angeschlossenen 2x Adapter) zu backupen.

 

[RalphS]

Re: Erweiterbarkeit von raidz; man kann den Pool erweitern. Das geht immer.

Aber nicht das raidz-Device. Man kann ein zweites raidz-Device hinzufügen (oder mehr) aber das ist dann eine hierarchische Konfiguration. Sowas wie 5+0 (z1) bzw 6+0 (z2). Dann hat man zb ein raidz2 mit 2x Daten, 2x Parität und nochmal so eins: also jetzt 4 Datenplatten und 4 Paritätsplatten.

Von denen aber trotzdem nur zwei ausfallen dürfen.

 

[snaxilian]

Ich sagte nicht, dass es nicht zwingend notwendig ist. Ich nutze aber auch keine aufgeblähten Windowssysteme und zeige dir nur deine Optionen auf, nämlich ein Caching-Device. Aber wenn dies deine Umgebung nicht her gibt (Stichwort genug RAM), dann mach deinen SSD-Pool. Theoretisch kannst auch zum testen mit einer SSD anfangen als L2ARC und wenn es dir nicht ausreicht dann eben das L2ARC Device wieder entfernen, zweite SSD kaufen und beide dann als mirrored vdev konfigurieren mit eigenem Pool fürs system-dataset, plugins und deine VMs.

Welchen Teil von "nimm nicht die billigsten USB-Sticks fürs OS" hast du nicht verstanden? Aber nimm ruhig die billigsten Sticks die du nur finden kannst. Alternativ werden die Sandisk Ultra Fit (v2) immer mal wieder genannt. Kosten so 12-15€/Stück.

Lies bitte nochmal in Ruhe den ZFS Primer und überdenke dann deine "Strategie" bzgl. Kapazitätserweiterung. Nein, du kannst nicht einfach eine HDD kopieren und irgendwie tauschen.
Entweder du ziehst eine alte und steckst eine neue und wartest das Resilvering ab oder eben per "hot-spare-austausch" wenn du nur einen freien Port hast aber so oder so hast während des Resilverings eine verringerte Parität. Die Alternative und aus Datensicherheit sinnvollere Option wäre: ausreichende Menge neuer Disks parallel einbauen, daraus neues vdev erstellen und dann das bzw die Pools/Datasets (aka Partition-Dateisystem-Kombi) migrieren. Mit nur einem freien SATA-Port kommst du über eine geplante verringerte Parität nicht drum herum.
Ist ja auch nur temporär bis Resilvering durch ist und schief gehen kann immer etwas, dafür hat man ja Backups.

Ob Hot Swap möglich ist, hängt stark von deiner Hardware und den Treibern ab. Auf die Gefahr hin mich zu wiederholen: FreeNAS ist kein übliches klickibuntiNAS wie eine Synology oder QNAP und Backup auf (wechselnde) USB-HDDs ist nicht deren oberstes Ziel bzw lässt sich nur mit eigenen Skripten umsetzen, eine Möglichkeit dazu findest du z.B. hier: https://esc-now.de/_/zfs-offsite-backup-auf-eine-externe-festplatte/?lang=en
Wie groß das externe Medium sein muss hängt auch davon ab ob du die ZFS-Pools sichern willst oder nur die Daten per rsync oder ähnlichem. Bei ersterem muss das Ziel so groß sein wie der Pool bei letzterem nur so groß wie deine Daten oder brauchst mehrere rsync Jobs wenn du die Daten aufteilen willst. Verkompliziert halt deine Umgebung.

ZFS ist nicht für klickibunti-SoHo konzipiert sondern für Server. Server haben ein brauchbares Backup-Konzept ohne irgendwelche USB-HDDs die mal da sind und mal nicht.

 

[scooter010]

Ich nutze "aufgeblähte" Windowssystem auch nur als Clients.

Lies bitte nochmal in Ruhe den ZFS Primer und überdenke dann deine "Strategie" bzgl. Kapazitätserweiterung. Nein, du kannst nicht einfach eine HDD kopieren und irgendwie tauschen.

Laut FreeNAS-Doku schon.

ZFS ist nicht für klickibunti-SoHo konzipiert sondern für Server. Server haben ein brauchbares Backup-Konzept ohne irgendwelche USB-HDDs die mal da sind und mal nicht.

Cold-Storages können und sollten doch bestandteil einer jeden Backup-Strategie sein?!
Ich habe den Eindruck, du nimmst mich nicht "für voll".

Dann werde ich mal die Hardware beschaffen. Scheinbar bin ich jetzt an einem Punkt, wo theoretische Gedankenspiele nicht mehr weiterhelfen und einfach ausprobiert werden muss.

Ich werde mir dann wohl - bevor ich das NAS produktiv setze - noch ein kleines, ArduinoNano-basiertes HID bauen (serielles Interface->Python), welches 2 Knöpfe bereit stellt (USB-Backup starten, RSync-Backup starten) und 2 RGB-LED für Statusanzeigen zur Verfügung stellt: Je Backupmethode:

• Backupmedium/-funktion bereit/verfügbar (blau);
• Backup wird vorbereitet (blau, blinkend 0,5s);
• Backup läuft/Fortschritt (<10%, <25%, <50%, <75%, <100%) (orange -> gelb -> grün; pulsierend mit 2s Intervall);
• Backup wird abgeschlossen (grün, blinkend 0,5s;
• Backup abgeschlossen (erfolgreich grün/fehlerhaft rot)

Wenn ich viel Lust habe, kommt dann dann auch mal ein kleines monochromes Display hinzu, wie manche klickibunti NAS das haben. Nur damit ich nicht extra den PC + SSH starten muss, um regelmäßig wiederkehrende Tätigkeiten von Hand durchführen zu können. Vielleicht modde ich das Gehäuse noch mit Status LED für das NAS/die Pools sowie zum (smart-)Status jeder Platte.

 

[McClane]

Nun, USB ist nicht das beste Übertragungsprotokol. Schau dir mal die erlaubte Fehlerrate in der Spezifikation gegenüber z.B. SATA an. Im professoinellen Umfeld hat man eben Storagesysteme fürs Backup und dahinter eine LTO Library für das Cold Storage auf Tape.
Ich hab früher auch LTO genutzt zur Datensicherung. Leider unter Windows 10 nicht mehr so praktisch möglich, daher sichere ich nun auch nur noch per Veeam auf USB Disk. Ich hab aber auch nur ein paar GB wichtige Daten.

12TB würde ich wahrscheinlich auf ein zweites NAS sichern welches bei Bedarf angeschlossen wird. Günstige und praktische Möglichkeiten gibt es bei solchen Datenmengen nicht mehr.

 

[snaxilian]

Das worauf du dich in der Doku beziehst ist nix anderes als ein Ersetzen der Disk ähnlich einem Ausfall einer Disk.
Du entfernst eine bestehende HDD, fügst eine neue hinzu und dann startet der Resilvering Prozess. Für die Dauer ist die vdev dann degraded und hat eben eine Parität weniger.
Wenn ich regelmäßige Backups auf ein anderes NAS oder einen Cloudstorage schiebe und dieses NAS dann ebenfalls Snapshots macht oder eine Retention Policy hat oder nur hinzufügen aber nicht löschen erlaubt und das andere NAS oder Cloud-Storage dann eben in anderem Brandabschnitt steht und nicht mit den gleichen Credentials wie dein Haupt-NAS arbeitet ist dies auch ein cold backup.
Weitere Cold-Backups, z.B. auf Tapes oder so lassen sich auch problemlos realisieren nur eben nicht mit Bordmitteln von FreeNAS. Dafür hat man dann explizite Backupprogramme.

Ich nehme dich da schon für "voll", zeige dir nur klar auf, was es ist eben nicht ist vs. was du vielleicht erwartest damit du im Vorfeld Klarheit hast und nicht plötzlich aus allen Wolken fällst weil $Idee_xyz eben doch nicht so einfach umsetzbar ist.

Bei solchen Datenmengen musst dich von den SoHo-Lösungen verabschieden und du betrittst anderes Terrain und kannst nicht irgendwie was anpassen sondern musst neu und anders denken.

Ich arbeite u.a. beruflich mit SANs auf ZFS Basis im dreistelligen TB Bereich. Da nutzen wir auch asynchrone Spiegel ganzer ZFS-Pools auf ein Sekundär-SAN aber Backups werden über Backupserver mit $Backuptool auf ein Backup-SAN und von da aus auf eine Tape-Library geschoben.

 

[scooter010]

Shut down the system.
Install one new disk.
Start up the system.
Go to Storage ‣ Pools, and select the pool to expand. Click  (Settings) and Status. Select a disk, click  (Options), then Replace. Choose the new disk as the replacement.
The status of the resilver process can be viewed by running zpool status. When the new disk has resilvered, the old one is automatically offlined. Shut the system down and physically remove the replaced disk. One advantage of this approach is that there is no loss of redundancy during the resilver.

Nun gut. Also wird es wohl mittelfristig ein 2., langsameres NAS an einem anderen Ort, zeitplangesteuert online. Auch ZFS für ZFS receive. Vorerst das QNAP für RSync.

 

[snaxilian]

Ah okay, den Punkt kannte ich tatsächlich nicht.

Alternativ einfach ein Mainboard nehmen, dass mehr als die 6 SATA Ports hat. Gibt auch bis 200€ einige passende Boards mit 8x SATA oder direkt eins mit 8x SAS und 6/8x SATA. Man kann problemlos SATA Disks an SAS Ports betreiben, nur nicht umgedreht oder eben einen passenden HBA bzw auf IT-Mode geflashten Raid-Controller.

 

[scooter010]

So, ich habe mir das nochmal alles durch den Kopf gehen lassen.
Geizhals Warenkorb

Spoiler: Inhalt des Warenkorbs

6 Western Digital WD Red 4TB, 3.5", SATA 6Gb/s (WD40EFRX)
2 Western Digital WD Red 10TB, 3.5", SATA 6Gb/s (WD100EFAX)
2 Samsung SSD 860 EVO 500GB, SATA (MZ-76E500B)
2 ADATA XPG Gammix S10 128GB, M.2 (ASX7000NPC-128GT-C)
1 Intel Core i3-8100, 4x 3.60GHz, boxed (BX80684I38100)
1 Crucial DIMM 16GB, DDR4-2666, CL19, ECC (CT16G4WFD8266)
1 Supermicro X11SCA retail (MBD-X11SCA-O)
1 Fractal Design Dynamic X2 GP-14 schwarz/weiß, 140mm (FD-FAN-DYN-X2-GP14-WT)
1 Thermalright Macho Rev. B (100700726)
1 Fractal Design Define R6 USB-C Black, schallgedämmt (FD-CA-DEF-R6C-BK)
1 be quiet! Pure Power 11 400W ATX 2.4 (BN292)

Zusammengefasst:

Komponente	Erläuterung
(6) WD RED 4TB	Bilden ein RaidZ2-Pool ~> 14 TiB Netto? Lt. diesem, scheinbar anerkannten Rechner eher nicht. Dort sind 6x4 TB Platten im RaidZ2 nur 11,46 TiB Netto... Müssten das nicht irgendwas um die 14 TiB sein, da 4x4 TB netto? Wie weiter oben besprochen: Bei Bedarf kann ich das Raid in 5 Jahren durch Austausch aller Platten von (z.B. 4TB -> 10TB) erweitern.
(2) WD RED 10TB	Nutzung als USB-Backup jeweils im wöchentlichen Pendel mit der Arbeit, solange die Netto-Datenmenge noch kleiner als die Kapazität dieser Platten ist. Durch den regelmäßigen Transport und das häufige An- und Abstecken gehe ich von einer verringerten Lebendauer im Vergleich zum Gesamtsystem aus und muss die eh in 2 -3 Jahren ersetzen (halber Lebenszyklus des Raids).
(2) Adata NVME 128GB	Mirror Boot-Lw. Gibt es nicht kleiner und sonst wären die 2x M2 Ports überflüssig. So ist wenigstens genug Platz für Wear-Leveling. Am Liebsen würde ich die ja auf 40 GB SLC statt 128 GB TLC umflashen, aber das geht wohl nicht.
(2) 500 GB SSD	System, Jails, VMs, Spielwiese
Sipermicro X11SCA	Ich hatte überlegt ob *-F oder *-W Variante, aber letztendlich brauche ich weger IPMI noch WLAN und verbraucht nur Strom. Zum Glück hat das Board einen internen com-Port, worüber ich die Kommunikation zu einem Arduino realsieren kann. Außerdem hat das Board einen USB-C Header für das FP.
16GB 2666 CL19 ECC RAM	Meine Anwendungen profitieren wohl 0 von Dual.Channel RAM (bei ZFS bin ich mir unsicher), ich kann jedoch besser aufrüsten, wenn ich die 16 GB in nur einem Riegel nutze.
Core i3 8100	Wenn mir der zu lahm sein sollte, kann ich noch auf den Xeon E 2146G aufrüsten.
Fractal Design Define R6 USB-C	Schönes Gehäuse
Be Quite Pure Power 400W	400W sollten hierfür locker reichen

Jetzt muss ich mir nur noch Gedanken machen, wo ich das Gerät hinstelle. Die Fritz-Box steht im Wohnzimmer, dafür ist der Server zu laut, groß und hässlich. Im Arbeitszimmer gibt es nur WLAN(~10MB Netto) und DLAN (2MB Netto).
Wahrscheinlich kommt der Server in das Arbeitszimmer, die Rechner dort werden per LAN angeschlossen und schneller als 10 MB/s ist das Internet eh nicht.

Wenn der Kram denn da ist, kann ich mich um die Konfiguration und das "Case-Modding" kümmern.

 

[snaxilian]

Der Rechner scheint die Kapazität einer Disk zu unterschlagen, zumindest zeigt der Rechner bei allen meinen Pools auch zu wenig Kapazität ggü. dem was real verfügbar ist. 14 TiB sollte daher real heraus kommen.