News Dateisystem: Ubuntu 16.04 kommt mit Dateisystem ZFS

[fethomm]

Ubuntu 16.04 „Xenial Xerus“ LTS wird mit dem von Sun für Solaris 10 konzipierten Dateisystem ZFS ausgeliefert. Neben dem Standard Ext4 ist ZFS fest ins System integriert und ist besonders für Container empfohlen, ergibt aber auch auf Desktopsystemen Sinn, wenn der Anwender die herausragenden Funktionen nutzt.

Zur News: Dateisystem: Ubuntu 16.04 kommt mit Dateisystem ZFS

 

[Gatso]

Klingt wirklich interessant. Ich schätze ich werds mir mal angucken.

 

[majusss]

"Allerdings kann Btrfs bei der Stabilität noch nicht mit ZFS mithalten. Btrfs wird beispielsweise von OpenSuse standardmäßig als Dateisystem eingesetzt und läuft erfolgreich bei Facebook im Backend"

Spricht das letztere nicht eher dafür, dass es mittlerweile sehr stabil ist ^^?

 

[fethomm]

"Allerdings kann Btrfs bei der Stabilität noch nicht mit ZFS mithalten. Btrfs wird beispielsweise von OpenSuse standardmäßig als Dateisystem eingesetzt und läuft erfolgreich bei Facebook im Backend"

Spricht das letztere nicht eher dafür, dass es mittlerweile sehr stabil ist ^^?

Eigentlich schon. Allerdings gilt dabei zu bedenken, dass dort Btrfs-Entwickler Andrw Morton selbst die Strippen zieht. Btrfs im Desktop-Einsatz hat noch einige Probleme, wie etwa, das des öfteren ein volles Dateisysten ohne weiteren Platz angezeigt wird, obwohl dies nicht den Tatsachen entspricht.

 

[ottoman]

Es ist erst ein paar Wochen her, da gab es eine News zu einem neuen Linux Kernel. Da hatte dann Facebook einige Commits bzgl. Btrfs und die klangen imho nicht unbedingt danach, als ob Btrfs 100% stabil wäre.

 

[Prinzenrolle_]

Hmm, bin ich so muede, oder liest sich der Text irgendwie schwierig? Im zweiten Absatz hast du sehr viele zudem.

 

[Loopman]

Obwohl es heißt, ZFS sei auf jedem Ubuntu-System verfügbar, wird lediglich eine Anwendung für Container zusammen mit LXD bereitgestellt.

Was denn jetzt? Kann ich ZFS ganz normal nutzen, oder nur zusammen mit Containern?

 

[Sukrim]

ZFS ist dafür für Privatanwender jetzt nicht gerade ansprechend.

Nach dem Motto: "Einfach erweiterbar! Man nimmt einfach 4 gleiche Festplatten, hängt sie ins System und fertig!"

 

[Pat]

Ich dachte mir beim lesen bis zum letzten Absatz "Hmm, kann das nicht btrfs auch alles?" - und dann kam der Abschnitt über btrfs

Wäre es nicht gescheiter, die menschlichen Resourcen in btrfs zu stecken, um das stabil zu machen...

Das mit Containern und ZFS ist nicht klar im Artikel, wie auch schon Loopman angemerkt hat.

 

[DiamondLucy]

so etwas kann ja nur von canonical kommen, keine andere distri boxt so etwas mit anwälten durch
ich weiß nicht was dies an mehrnutzen bringen kann, ich betreibe seit über 3 jahren btrfs auf mehreren rechnern,
ein volles dateisystem was nur voll angezeigt wird hatte ich noch nie, ich bin mit btrfs sehr zufrieden und würde es als stable bezeichnen, ich hab debian 8.3 laufen, damals unter opensuse gab es reichlich probleme,
mittlerweile kann man btrfs unter vielen distris als standard dateisystem ohne probleme verwenden.

und der artikel ist von 2014:
http://www.heise.de/open/meldung/Btrfs-Erfinder-stuft-sein-Linux-Dateisystem-als-stabil-ein-2437356.html

lediglich einige funktionen sind noch nicht implementiert, und ein strom ausfall kann zu daten verlust führen.

 

[DaBzzz]

ZFS ist dafür für Privatanwender jetzt nicht gerade ansprechend.

Nach dem Motto: "Einfach erweiterbar! Man nimmt einfach 4 gleiche Festplatten, hängt sie ins System und fertig!"

Du weißt vermutlich selbst, wie falsch die Aussage ist...
Falls nicht: ZFS kommt mit jeder Größe und Anzahl von Festplatten zurecht, und das in jeder beliebigen Mischung. Ob damit eine optimale Konfiguration zu erzielen ist, bleibt zu klären. Aber ZFS ist halt auf große Arrays ausgelegt, nicht auf den JBOD/(R)AID0-Privatanwender, der noch ne 500GB in der Schublade liegen hat (die man ja noch verwenden könnte), seine aktuelle 2TB umstellen möchte, und vielleicht nächstes Jahr noch ne günstige 3TB dazustecken will. Da wird anfangs einmal sauber geplant und dann eher ein komplettes vdev dazugesteckt oder getauscht, als dass unterwegs mit einzelnen Platten herumgespielt wird. Wer sich aber nicht ganz doof anstellt, kriegt auch im Consumer-Maßstab sehr anständige Konfigurationen hin.

Zur News fände ich interessant, um welche ZFS-Version mit welchen Features es sich handeln soll. LZJB ist ja alter Käse / lz4 ist der neuste Schrei (bei Oracle...), dazu kommt die mögliche Verschlüsselung, die imho im Solaris-ZFS hervorragend umgesetzt ist, während es in der geforkten ZFS-Entwicklung umständlich zugeht. Aber wenn jetzt jemand wie Shuttleworth Geld reinpumpt, könnte man die Saftsäcke aus Redwood City ja doch mal ärgern...(auch wenn ich sicherlich erstmal bei meinem v37-Pool bleiben werde)

 

[PongLenis]

Hoffentlich findet sich das bald auch in anderen Distributionen, wie z.B. debian. Würde gern unter openmediavault ZFS nutzen.

Aber bei dem Thema habe ich mal eine Frage. Ich hab ein RAID5 mit 4 mal 3 TB HDDs. Also netto knapp 9 TB als ext4 Partition.

Das möchte ich demnächst erweitern, da der Server aber nur noch 1 Port und auch Slot frei hat, muss ich mir da irgendwas anderes überlegen.
Gibt es eine Möglichkeit zu dem oben genannten Volume eine einzelne Festplatte hinzuzufügen, sodass ich praktisch in den bestehenden Freigaben einfach mehr Daten speichern kann? Es ist mir klar, dass ich dann für die Daten auf der neuen HDD keine Redundanz mehr habe, deswegen sollten einzelne Dateien schon zu gänze auf der einzelnen neuen HDD oder dem bestehenden RAID 5 gespeichert werden.

Ergänzung (18. Februar 2016)

Ich könnte zwar zu dem RAID5 einfach noch eine HDD dazu packen, aber dann hätte ich max. 3 TB mehr und das dabei nötige Rebuild ist ja nun auch nicht gerade unriskant.

 

[mr_andersson]

im Gegensatz zu BTRFS bietet ZFS eine Verschlüsselung, was bei BTRFS über LUKS laufen muss.

 

[Kenneth Coldy]

Erwähnenswert wäre möglicherweise noch der Ressourcenbedarf von ZFS und ggf. auch von BTRFS. Ich habe da mal was von "braucht viel RAM" gelesen. Tests laufen natürlich immer auf einem Superhobel mit Core7@3.x GHz und 16GB oder mehr RAM.

 

[PongLenis]

Faustregel ist bei ZFS min. 1 GB RAM pro TB Speicherplatz.

 

[exoterrist]

Solange man nur ein simples NAS baut und keine Deduplikation nutzt, sollte man auch mit weniger gut auskommen, wobei 8GB allerdings das empfohlene Minimum sind.

Aus dem FreeNAS Manual:

1.3.2 RAM
The best way to get the most out of your FreeNAS® system is to install as much RAM as possible. If your RAM is limited, consider using UFS until you can afford better hardware. FreeNAS® with ZFS typically requires a minimum of 8 GB of RAM in order to provide good performance and stability. The more RAM, the better the performance, and the FreeNAS® Forums provide anecdotal evidence from users on how much performance is gained by adding more RAM. For systems with large disk capacity (greater than 8 TB), a general rule of thumb is 1 GB of RAM for every 1 TB of storage. This post describes how RAM is used by ZFS.

If you plan to use your server for home use, you can often soften the rule of thumb of 1 GB of RAM for every 1 TB of storage, though 8 GB of RAM is still the recommended minimum. If performance is inadequate you should consider adding more RAM as a first remedy. The sweet spot for most users in home/small business is 16GB of RAM.

It is possible to use ZFS on systems with less than 8 GB of RAM. However, FreeNAS® as distributed is configured to be suitable for systems meeting the sizing recommendations above. If you wish to use ZFS on a smaller memory system, some tuning will be necessary, and performance will be (likely substantially) reduced. ZFS will automatically disable pre-fetching (caching) on systems where it is not able to use at least 4 GB of memory just for ZFS cache and data structures. This post describes many of the relevant tunables.

If your system supports it and your budget allows for it, install ECC RAM.
If you plan to use ZFS deduplication, a general rule of thumb is 5 GB RAM per TB of storage to be deduplicated.
If you use Active Directory with FreeNAS®, add an additional 2 GB of RAM for winbind's internal cache.
If you are installing FreeNAS® on a headless system, disable the shared memory settings for the video card in the BIOS.
If you only plan to use UFS, you may be able to get by with as little as 2GB of RAM.
If you don't have at least 8GB of RAM with ZFS or 2GB of RAM with UFS, you should consider getting more powerful hardware before using FreeNAS® to store your data. Otherwise, data loss may result.

WARNING: to ensure consistency for the checksumming and parity calculations performed by ZFS, ECC RAM is highly recommended. Using non-ECC RAM can cause unrecoverable damage to a zpool resulting in a loss of all data in the pool.

 

[DiedMatrix]

Als ich mich das letzte mal mit ZFS FreeNAS beschäftigt habe, war mMn die absolute Empfehlung bzw fakt, dass ZFS ohne ECC RAM nahezu gefährlich wäre, weil wenn bei der Berechnung für die Parität ein Fehler im nicht-ECC RAM auftritt, wird auch später die Wiederherstellung fehlschlagen?!

EDIT:
exoterrist hats ja auch gerade gepostet: Es droht sogar ein kompletter Datenverlust!

Dan Kirkland, bei Canonical zuständig für Strategie, stellt das Projekt in einem Blog-Beitrag vor. Obwohl es heißt, ZFS sei auf jedem Ubuntu-System verfügbar, wird lediglich eine Anwendung für Container zusammen mit LXD bereitgestellt.

Heißt das nun, dass ich ZFS also garnicht wirklich fürs normale Dateisysstem nutzen können werde, oder was?

 

[AAS]

Als ich mich das letzte mal mit ZFS FreeNAS beschäftigt habe, war mMn die absolute Empfehlung bzw fakt, dass ZFS ohne ECC RAM nahezu gefährlich wäre, weil wenn bei der Berechnung für die Parität ein Fehler im nicht-ECC RAM auftritt, wird auch später die Wiederherstellung fehlschlagen?!

EDIT:
exoterrist hats ja auch gerade gepostet: Es droht sogar ein kompletter Datenverlust!



Heißt das nun, dass ich ZFS also garnicht wirklich fürs normale Dateisysstem nutzen können werde, oder was?

ZFS ohne ECC ist nicht gefährlicher als NTFS ohne ECC, hört mit den beschissenen Märchen auf.

PS:
Wenn man mit ECC fährt muss auch die WS ECC haben, da sind die Daten wesentlich länger im RAM.

 

[DiedMatrix]

Soweit ich mich erinnere kam das aber von einem der Entwickler von FreeNAS, woher stammen deine Infos? Bei NTFS verliere ich nicht ALLE Daten soweit ich weiß?!?

WS bedeutet was?

 

[kskler199]

Ich schließe mich der Meinung von DiedMAtrix an, ZFS brauch die Fehlerfreie berechnung des Arbeitsspeichers da hier ja mit 128 Bit Pointern auf der Festplatte gearbeitet wird. Werden diese falsch berechnet ist das System Korrupt.

In einem Server mit ECC RAM kann ich mir da Ubuntu 16.04 gut vorstellen, aber auf einem Privat Gerät ohne ECC würde ich da eher auf ext4 setzen

Edit zum ECC RAM und nicht nötig für ZFS:
"ZFS does something no other filesystem you’ll have available to you does: it checksums your data, and it checksums the metadata used by ZFS, and it checksums the checksums. If your data is corrupted in memory before it is written, ZFS will happily write (and checksum) the corrupted data. Additionally, ZFS has no pre-mount consistency checker or tool that can repair filesystem damage. [...] If a non-ECC memory module goes haywire, it can cause irreparable damage to your ZFS pool that can cause complete loss of the storage."