ZFS und BSD oder XFS/ext4 und Linux?

[shawly]

Moin,

habe mir einen kleinen NAS zusammengestellt, aber hänge immernoch bei der Entscheidung des OS und des Dateisystems.
Anfangs werden nur zwei Platten im RAID1 hängen aber ich will den NAS auf bis zu sechs Platten erweitern im RAID5 (oder RAID10 aber das steht nicht zur Debatte in diesem Thread.)
Auf dem NAS soll zusätzlich noch sabNZBd laufen und er sollte wie bei LightsOut (für WHS) zu bestimmten Zeiten in den hibernate Zustand gehen ausser wenn er genutzt wird. (Gibt sicher auch eine Unix Lösung dafür.)

Muss (oder eher will) mich nun zwischen OpenMediaVault (Debian) mit entweder ext4 oder XFS entscheiden oder für FreeNAS mit ZFS.

Habe schon das Internet erforscht nur finde ich nichts was mir bei der Entscheidung wirklich hilft, wo liegen die Vor- und Nachteile bei den Dateisystemen?

Persönlich tendiere ich ja zu Debian da ich mich mit Linux besser auskenne als mit BSD was ich noch nie genutzt habe, jedoch spielt das widerrum eigentlich keine große Rolle da ich das meiste über das Webinterface verwalten möchte der beiden Distributionen.

Hoffe jemand kann mir bei der Entscheidung helfen

Grüße

Hänge hier mal noch die Stats an:
CPU: AMD A4-4000
MB: ASRock FM2A78M-ITX+
RAM: 2x 4GB G.Skill RipJaws
HDDs: 2x WD Red 3TB
Vielleicht noch eine SSD, aber wahrscheinlich nicht da mich die Bootzeit nicht wirklich interessiert und die Datei-Operationen nicht schneller werden auf den HDDs dadurch.

 

[Dig.Minimalist]

FreeNAS

 

[Schnitz]

Nas4free

 

[d4nY]

Auf dem NAS soll zusätzlich noch sabNZBd laufen und er sollte wie bei LightsOut (für WHS) zu bestimmten Zeiten in den hibernate Zustand gehen ausser wenn er genutzt wird. (Gibt sicher auch eine Unix Lösung dafür.)

Genau das ist bei FreeNAS (und auch NAS4Free) meines Wissens nach noch immer ein Problem. Festplatten in den Standby schicken geht, aber das System in den Ruhezustand zu versetzen, das klappt glaube ich noch nicht so wirklich gut.

Muss aber zugeben, dass ich - obwohl ich FreeNAS nutze - da jetzt auch total falsch liegen kann, weil ich die Funktion nicht nutze. Vor einigen Monaten war es auf alle Fälle noch so, dass die Funktion quasi nicht unterstützt ist. Ob das bei OMV anders aussieht, weiß ich leider auch nicht.

ZFS hat im Gegensatz zu XFS und ext4 halt den Vorteil der Checksums und des integrierten Volume Managers. Somit ist sich das Raid im klaren, welche Blöcke belegt sind und welche nicht. Am besten mal bei Wikipedia nachkucken, was die Dateisysteme so bieten.

​Kann aber meines Wissens nach sowohl bei XFS als auch bei ext4 mit Erweiterungen genauso erledigt werden

E: FreeNAS hat übrigens mittlerweile als empfohlene minimale Systemvoraussetzung 8 GB RAM

 

[LinuXfr3ak]

Hab selbst FreeNAS am laufen und kanns nur Empfehlen.

Bei ZFS wirst du aber Probleme haben wenn du später Festplatten dazuhängen willst - bei ZFS kann ein bestehender Pool nicht geändert werden - sprich wenn du jetzt 2*3TB (Mirror - "Raid 1") mit ZFS machst kannst du zum erweitern entweder noch einen Pool an den bestehenden dranhängen - also nochmal 2*3TB (mirror) dazu - wär dann sowas wie ein Raid10 oder die Platten nacheinander gegen größere Tauschen. Die Pools können aber auch unterschiedliche Anzahl an Platten haben. Aus nem ZFS Mirror ein Raid-Z zu machen geht leider nicht bzw nur wenn du die Platten löscht

Ansonsten bringt ZFS nur Vorteile. Encryption, Snapshots, Deduplication, Compression, SSD read/write cache,...

 

[shawly]

@wddn: Sagst du jetzt einfach FreeNAS oder hast du auch wirklich eine Begründung warum FreeNAS nun wirklich besser ist als OVM?

@Schnitz: Nas4Free steht nicht zur Debatte, da die FreeBSD Version älter ist und mir das WebIF nicht gefällt und FreeNAS meines Wissens nach mehr Features bietet.

@d4nY: Hmm also da OMV im Prinzip Debian ist, denke ich dass es dort weniger Probleme mit Hibernate gibt. Da mir das wichtig ist, fast wichtiger als das Dateisystem, würde ich dann eher zu OMV tendieren..
Der NAS hat im übrigen 8GB RAM, also gibts bei den Systemanforderungen kein Problem denke ich.

Ansonsten bringt ZFS nur Vorteile. Encryption, Snapshots, Deduplication, Compression, SSD read/write cache,...

Ja genau das finde ich so super an ZFS. Würde ZFS gerne mit Debian verwenden, aber dort läuft das ganze über FUSE mit den Treibern und ich habe gelesen, dass das nicht gerade performant läuft... (Achtung Halbwissen!)
Wenn ich Probleme beim Platten hinzufügen bekomme, tendiere ich wieder mehr zu OMV..
Aber den RAID-Z kann man doch dynamisch erweitern oder habe ich da was falsch verstanden?

Edit: Habe mal die Hardware im ersten Post hinzugefügt.

 

[LinuXfr3ak]

Raid-Z kannste schon dynamisch erweitern wenn du
A) Die Platten nacheinander gegen Größere tauscht oder
B) Raid-Z + Raid-Z machst - sprich n Raid 50 in dem Fall

Der Gesamtspeicher des Pool wird dadurch schon höher allerdings musst du dir dabei immer überlegen was du dazuhängst. Zu nem bestehenden Raid-Z ne einzellne Platte dazuhängen wäre z.B. keine gute Idee denn Dann hast du Raid-Z + 1JBOD - vergleichbar mit nem Raid 5 und ner einzellnen Platte im Raid 0 - heißt wenn die einzellne über den Jordan gehen würde bringt dir auch der Raid-Z nichts da ja gestriped).

Wie weiter oben erwäht - für ZFS brauchste massig RAM - hab bei mir 16GB für ~12TB Speicher (Raid-Z+Raid-Z, jeweils 3*3TB)

 

[shawly]

Raid-Z kannste schon dynamisch erweitern wenn du
A) Die Platten nacheinander gegen Größere tauscht oder
B) Raid-Z + Raid-Z machst - sprich n Raid 50 in dem Fall

Der Gesamtspeicher des Pool wird dadurch schon höher allerdings musst du dir dabei immer überlegen was du dazuhängst. Zu nem bestehenden Raid-Z ne einzellne Platte dazuhängen wäre z.B. keine gute Idee denn Dann hast du Raid-Z + 1JBOD - vergleichbar mit nem Raid 5 und ner einzellnen Platte im Raid 0 - heißt wenn die einzellne über den Jordan gehen würde bringt dir auch der Raid-Z nichts da ja gestriped)

Okay, also Dinge die für FreeNAS sprechen sind: läuft vom USB Stick (wenig IO-Operationen), ZFS
Dagegen sprechen die Probleme beim Hibernate und beim Hinzufügen von Platten, zwei Punkte die für mich wichtig sind. Dazu kommt noch die riesige Menge an RAM die ich dann brauche wenn irgendwann mal sechs 3TB HDDs in dem NAS drin stecken...

Für OMV spricht das hinzufügen von Platten, die Integration von sabNZBd ins Webinterface (und auch Subsonic <3), das es auf Debian basiert (bin ein Debian-Fanboy, I know) und dagegen spricht eigentlich nur, dass ich die Features von ZFS nicht habe, womit ich leben kann und natürlich gibt es auf jeden Fall eine Möglichkeit für Hibernate.

Ich glaube ich entscheide mich für OMV in dem Fall, da ich auf dem NAS nur Multimedia Files speichere und wirklich wichtige Sachen sowieso nicht auf den NAS sollen. Werde dann auch XFS benutzen da ext4 ein Limit ab 16TB hat welches man zwar Umgehen kann, ich Workarounds aber hasse.

Danke für die hilfreichen Antworten, Ihr seid super.

 

[LieberNetterFlo]

ich hab ein Ubuntu mit ZFS am laufen (es ist übrigens nicht mehr FUSE, das wars am Anfang mal)
-> Sehr performant, ZFS ist zuverlässig. Lesen zwischen 90 und 100mb/s, schreiben so 110mb/s (achtung: viel RAM hilft viel )

Nachteil ZFS wie schon geschrieben: einfach mal eine Platte dazu hängen und den RAID erweitern geht nicht.

- Ich hab dann auch keine "schicke" Weboberfläche, aber brauch ich nicht. (im Notfall nimmst Webmin)
- DLNA mach ich über Plex Media Server.
- HDD Standby geht über ein Paket (es ist NICHT mehr hdparm!!! das geht nicht mehr)
- NAS Standby hab ich mir ein Script geschrieben welches ich über CRON aufrufe.
- vnc4server + kleine desktopoberfläche + firefox + jdownloader2 läuft auch (braucht auch ein java mehr )

eigentlich alles schön easy

 

[shawly]

@LieberNetterFlo: Danke für die Info! Werde aber zu XFS greifen welches von OMV auch unterstützt wird.
DLNA brauch ich nicht, mein HTPC mit XBMC wird alles über NFS oder Samba abrufen und für andere Geräte als DLNA zur verfügung stehen.
Für die Sache mit dem Hibernate werde ich auch noch eine Lösung finden.
Und da ich sowieso sabNZBd am laufen habe dann, welches Python benötigt, werde ich gleich zu pyload greifen, ist nämlich alles in das OMV Webinterface integrierbar, was es sehr komfortabel macht bei der Verwaltung und ich kein Java brauche.

Auch alles schön easy, sogar noch easier, finde ich.

 

[LieberNetterFlo]

wie geschrieben, der jdownloader2 braucht auch kein java mehr (naja, eigentlich schon, aber er bringt es als binray mit). Ich wollte anfangs auch alles mit pyload machen, hab da gute Erfahrungen gehabt. Aber als ich mein NAS aufgesetzt habe waren mit pyload so viele Dateien korrupt, da bin ich lieber umgestiegen.

OMV ist ja auch nur Debian, da hast du alle Freiheiten wenn du interesse an meinem Shutdown Script und meiner HDD Spindown-Lösung hast gib bescheid, dann schau ich wenn ich das nächste mal dran bin.

 

[shawly]

Also mit pyLoad hatte ich auf meinem alten LG NAS auch einige Probleme, auf meinem RaspberryPi läuft pyLoad hingegen super ohne Probleme. Wenn es mit pyLoad wirklich nicht hin haut, werde ich auch JDownloader nutzen, gibt ja auch noch XServer. So kann ich auf VNC verzichten und nach wie vor alles ohne Desktopenv auf dem NAS verwalten.

OMV ist ja auch nur Debian, da hast du alle Freiheiten wenn du interesse an meinem Shutdown Script und meiner HDD Spindown-Lösung hast gib bescheid, dann schau ich wenn ich das nächste mal dran bin.

Interesse habe ich auf jeden Fall!

 

[LieberNetterFlo]

das is ja das gut ean vnc4server, da brauchst keine Desktopumgebung auf dem NAS

 

[shawly]

das is ja das gut ean vnc4server, da brauchst keine Desktopumgebung auf dem NAS

Oh gut ich habe nicht gewusst, dass das auch ein XServer ist!
Jedoch werde ich dann die Portable Version von MobaXTerm verwenden, da ich das sowieso schon in meinem Portable Apps Ordner besitze für die Arbeit.

Kannst du mir deine Scripts mal zeigen?

 

[LieberNetterFlo]

ja, wenn ich heute Abend zu Hause am NAS bin

Spoiler

Hardware
Board: Intel DH67CF
CPU: Intel Celeron Dual-Core G1620
CPU-Kühler: Intel Boxed
Case: Fractal Design Node 304
RAM: 2x8 GB DDR3 Micron 1600 MHz CL11
NT: FSP Fortron/Source FSP200-50GSV
Belüftung: 2x92mm Front, 1x140mm Back an Lüftersteuerung
Sys-HDD: Intel X25-E 32GB
Storage Controller: IBM ServeRAID M1015, PCIe 2.0 x8 mit IT Firmware (HBA Modus)
Storage-HDD: 4xToshiba DT01ABA 3TB, SATA 6Gb/s HDDs
Storage Backup: 2x2TB HD203WI bzw ein Austauschstück

Software
- Ubuntu 12.04 LTS
- ZFSonLinux
- Plex Media Server (DLNA Server)
- Webmin (Webinterface zur Verwaltung)
- Netzwerkfreigabe mit SMB
- jDownloader2 (für Downloads)
- SSH Server
- vnc4server (Remote Steuerung von jdownloader und surfen über Firefox)
- HDD Spindown + S3 Standby-Script

 

[shawly]

Super, danke für die Hilfe an alle!

 

[max.xam]

Persönlich tendiere ich ja zu Debian da ich mich mit Linux besser auskenne als mit BSD was ich noch nie genutzt habe, (...).

Hier gibts einen kurzen Überblick über die Unterschiede (nur auf das System bezogen):
http://www.freebsd.org/doc/en/articles/linux-users/article.html

Insgesamt reichen die Unterschiede der Linux-Welt und der BSD-Welt von winzig bis fundamental (allen voran die Ideologie unterscheidet sich riesig).

____

- ZFSonLinux

Das ist aber immer noch kein Kernel-Modul, daher gehen dir dabei immer noch ne Menge Leistung verloren im Vergleich zum Einsatz unter einen BSD.

und ein Ubuntu ist jetzt auch nicht gerade die beste Wahl für ein embedded System wie es ein NAS nunmal ist. Ich würde dir da eher zu einen Gentoo, Arch oder Slackware raten, wenn man dafür schon ein Linux System verwenden möchte - der Ubuntu Kernel (ausser es wird ein abgespeckter Kernel für den embedded Einsatz angeboten) ist völlig überdimensioniert dazu (die Mehrheit der dabei mitgelieferten Kernelmodule sind für NAS völlig unwichtig und unnötig).

 

[LieberNetterFlo]

ZFS kann auch gar nicht (Stand Heute) in den Kernel da es die Lizenz nicht erlaubt so ein Minimal Ubuntu ist halt bequem (wegen apt), und auch nicht langsamer als ein Gentoo oder Arch wo man jeden zweiten Furz selbst kompilieren muss (ok, geht automatisiert, ich gebs ja zu) (ich rede hier von Heimgebrauch und nicht von einem Hochleistungsserver der an seinen Grenzen läuft wo jedes noch so kleine % an Performance rausgequetscht wird)

 

[westef]

Das ist aber immer noch kein Kernel-Modul, daher gehen dir dabei immer noch ne Menge Leistung verloren im Vergleich zum Einsatz unter einen BSD.

Das ist falsch. ZFSOnLinux ist ein Kernel-Modul.

 

[max.xam]

Das ist falsch. ZFSOnLinux ist ein Kernel-Modul.

Falsch. Da ZFS unter der CDDL Lizenz untersteht - GPL (unter dessen Fuchtel der Linux-Kernel steht) und CDDL sind zu einander inkompatibel.
Bei ZFSonLinux wird über dem Linux Kernel ein Layer gelegt (Solaris Porting Layer, kurz SPL), dieser steht genauso wie der Kernel unter der GPL - es ist aber nicht im Kernel, das wäre Lizenztechnisch auch gar nicht möglich - das ganz Trara rund um ZFS ist ja auch ein Paradebeispiel wie die GPL sich oftmals selbst ein Bein stellt (aufgrund der extrem restriktiven Haltung - ist ja auch zu nicht gerade wenigen anderen Open Source Lizenzen inkompatibel). Aber das ist Sache der jeweiligen Entwickler, die müssen sich den Kopf darüber zerbrechen, nicht der einfache Anwender (der badet das Dilemma nur immer aus).