OpenZFS für FreeBSD & Linux & SSD

Marco^^

Lt. Commander
Registriert
Aug. 2012
Beiträge
1.797
Ich habe grade einen Vortrag gefunden auf dem Youtube-Kanal von OpenZFS über OpenZFS & SSD's, welches auch bald für Linux zu haben ist.

Open-ZFS.org

en.Wikipedia#OpenZFS sihe auch ZFS ...

Die Hardwareanforderungen sind meist eine 64Bit CPU & min 8GB RAM, welches schon Notebooks heutzutage als Standard haben.

@allanjude
@bsdnow

Für Linux gibt es ja zur Zeit nur das vergleichbare BtrFS, welches ähnliche Funktionen bietet, aber leider noch in Alpha Status ist.

Rainer Kaes - How SSDs Work - OpenZFS European Conference 2015 *comments
https://www.youtube.com/watch?v=sSi47-k78IM&hd=1

Brian Behlendorf - ZFS on Linux - OpenZFS Dev Summit 2014 *comments
https://www.youtube.com/watch?v=_MVOpMNV7LY&hd=1
 
Zuletzt bearbeitet: (ok ok, ich sehe ein wegen Lenovo ...)
Mal abgesehen von der Sinnhaftigkeit dieses Posts gibst du leider auch falsche Information weiter:
Für Linux gibt es ja zur Zeit nur das vergleichbare BtrFS, welches ähnliche Funktionen bietet, aber leider noch in Alpha Status ist.

Weder ist BTRFS noch im Alphastatus, noch ist es das einzig vergleichbare "Dateisystem" für Linux (siehe ZFS on linux). Nächstes mal also bitte wenigstens schlau machen.

Zu openZFS/ZFS on Linux gibts in der aktuellen c't einen Artikel.
 
Zuletzt bearbeitet: (c't Artikel erwähnt)
KillerCow schrieb:
Mal abgesehen von der Sinnhaftigkeit dieses Posts gibst du leider auch falsche Information weiter:

Weder ist BTRFS noch im Alphastatus, noch ist es das einzig vergleichbare "Dateisystem" für Linux (siehe ZFS on linux).

Zu openZFS/ZFS on Linux gibts in der aktuellen c't einen Artikel.

Ist ja Lachhaft, BtrFS ist Version 0.xx und kann auch unter Umständen Daten zerstören, jedenfalls nutze ich es nicht unter SuSe die es ja per Installer & Snapper nutzbar machen.

btrfs --help
btrfs version
btrfs-progs v4.1.2+20150714

uname --help
uname --kernel-release
4.1.2-1-desktop

btrfs filesystem show /dev/sda(Partition)

https://de.opensuse.org/SDB:Snapper

https://en.wikipedia.org/wiki/Btrfs
https://btrfs.wiki.kernel.org/index.php/Main_Page

Un wieso ist es Zweifelhaft was ich hier poste, nur weil Ihr euch nicht dafür interssiert ?

Diese **** c't & ihr NAS Artikel (habe die Sendung gesehen und mich aufgeregt, deren Artikel aber nicht gelesen in der Zeitung) , ist auch für Leutchen, die sich nicht näher damit beschäftigen möchten.
Das sieht man auch schon an den Kommentaren von der Sendung.

Ich hoffe nur, das OpenZFS bzw ZFS on Linux ... als ob ich es nicht selber wüsste ^^ mal im Installer selbst angeboten wird.

!jb BtrFS
https://duckduckgo.com/
https://wiki.archlinux.org/index.php/Btrfs

Ich weis das JollaFone BtrFS benutzt auf der Flashkarte, und so viel habe ich mich nicht mehr beschäftigt.

Ein Hinweis wäre ausreichend gewesen, das es nicht mehr "munchFS" is :)
Ergänzung ()

k0ntr schrieb:
Werbung ist unerwünscht. Keine Ahnung weshalb du das hier postest.

Seit wann ist freie Software Werbung mit dem Hinweis auf einen Vortrag zu dem Thema ?

Gelöscht habe ich L***, das war wohl falsch von mir.

http://www.facepalm.de/
 
Zuletzt bearbeitet:
@Marco^^

Wusste gar nicht, dass OpenZFS einen eigenen Youtube-Kanal hat, Danke ! :)

Mal schauen, ob es auch Abschriften von den Vorträgen gibt


Mit dem standardmäßigen Angebot von ZFS für Linux-Distros: das wird wegen der angeblichen CDDL- und der GPL-Inkompatibilität schwierig - aber für mich auch wünschenwert



In der Zwischenzeit lässt sich das System (z.B. Gentoo) auch ganz gut über ein aktruelle z.B. Sabayon Linux LiveDVD installieren, das ZFS-Unterstützung mitbringt


Marco^^ schrieb:
Die Hardwareanforderungen sind meist eine 64Bit CPU & min 8GB RAM, welches schon Notebooks heutzutage als Standard haben.

ZFS kommt ganz passabel mit 8 GB zurecht,

mit den aktuellen Änderungen (0.6.4.y) https://github.com/zfsonlinux/zfs/tree/zfs-0.6.4-release

läuft es selbst mit 8 GB (vorausgesetzt man limitiert den Speicherbedarf vom ARC, dass er nicht die Hälfte oder mehr des Arbeitsspeichers für sich beansprucht - ZFS ist ja für riesige System ausgelegt und optimiert) sehr rund.


ZFS verwendet zur Leistungssteigerung eine besondere Form des Zwischenspeicher-Algorithmus (Caching-Algorithm):

en.wikipedia.org schrieb:
Adaptive Replacement Cache (ARC) is a page replacement algorithm with better performance[1] than LRU (Least Recently Used) developed[2] at the IBM Almaden Research Center. This is accomplished by keeping track of both Frequently Used and Recently Used pages plus a recent eviction history for both. In 2006, IBM was granted a patent for the adaptive replacement cache policy.

https://en.wikipedia.org/wiki/Adaptive_replacement_cache

http://www.zfsbuild.com/2010/04/15/explanation-of-arc-and-l2arc/


Mit den ausständigen ABD2-Änderungen am ARC (https://github.com/zfsonlinux/zfs/pull/3441) sollte auch
die Speicher-Fragmentierung,
Lock contentions (Sperrenkonflikt, https://en.wikipedia.org/wiki/Lock_(computer_science)#Granularity) ,
generell die durch ZFS verursachte Latenz (was auch schon durch die Änderungen im großen Maße durch https://www.illumos.org/issues/5497 erreicht wurde) gesenkt und mehr optimiert werden.


Aktuell scheint für die Implementierung von Linux 70%+ der Leistung von Illumos erreicht zu werden (stetig steigend) und das, obwohl einige Änderungen von Illumos, FreeBSD, NetBSD, Nexenta, etc. noch fehlen und

obwohl der momentane Fokus noch gar nicht fest auf Leistungssteigerung ausgerichtet ist.



Das tolle ist, dass die Entwicklung von OpenZFS (im Gegensatz zum "closed" ZFS von Oracle) eine gemeinsame plattformunabhängige Arbeit zwischen den Systemen OpenZFS on OS X, Ilumos, Nexenta, FreeBSD (NetBSD, etc.) und ZoL darstellt :daumen:



ECC-Speicher wäre auch erwähnenswert - beim Einsatz von ECC-Speicher sind kaum Leistungs-Einbußen zu verzeichnen:


Debunking a Myth: DDR3 RAM vs. ECC Memory Performance:
http://www.techspot.com/article/845-ddr3-ram-vs-ecc-memory/

Eliminating speed penalty in ECC protected memories:
http://www.date-conference.com/proceedings/PAPERS/2011/DATE11/PDFFILES/12.5_2.PDF


Weiters sind innerhalb von 1.5 Jahren bei mir schon 5+ Bitflips aufgetreten, die vom ECC-Speicher detektiert und korrigiert wurden.

Wenn man ZFS nicht zumindest in der Mirror-Variante ohne ECC-Speicher einsetzt, können beim Vorliegen der Daten im ("defekten") Speicher die korrekten Daten auf der Platte durch Daten mit dem Bitflip überschrieben werden und man merkt das nicht einmal (dies gilt aber für ALLE Arten von Dateisystemen). Bei ECC hat man den Vorteil, dass man verhindern kann, dass "gute" Daten durch "schlechte" Daten überschrieben und letztendlich schlecht bleiben.

RAIDs können dem nichts entgegensetzen, weil diese die Daten mit keinen Prüfsummen versehen - siehe auch den in meiner Signatur verlinkten Artikel:

http://arstechnica.com/information-...-and-atomic-cows-inside-next-gen-filesystems/


KillerCow schrieb:
Mal abgesehen von der Sinnhaftigkeit dieses Posts gibst du leider auch falsche Information weiter:


Weder ist BTRFS noch im Alphastatus, noch ist es das einzig vergleichbare "Dateisystem" für Linux (siehe ZFS on linux). Nächstes mal also bitte wenigstens schlau machen.

Zu openZFS/ZFS on Linux gibts in der aktuellen c't einen Artikel.

Welche Dateisysteme bieten denn noch standardmäßig COW, Prüfsummen und Snapshots für die Daten statt der Metadaten an ?


Wenn es um den Schutz (und Integrität) von Daten geht - hatte ich bis jetzt mit ZFS nur positive Erfahrungen, es hat mehrfach kurz vor dem Ausfall von Festplatten meine Daten gerettet - mehrfach auch schon Daten vor einer silent corruption geschützt =)


BtrFS kann keine so positive Geschichte bei mir vorweisen: es hat zwar durch Prüfsummen-Fehler angezeigt, dass eine Festplatte vor dem Kaputt gehen war (ist ja Sinn der Sache von Festplatten mit Checksums für Daten),

aber auch schon mehrfach war der Zugriff auf die Daten unwiderruflich verloren und Partitionen kaputt,

besonders empfindlich und dementsprechend oft kam das auf der Root Partition vor (der Erfahrung nach gilt das für alle Dateisysteme, hatte mit ext4 auch schon viele negative Erfahrungen, als es noch neu war) (!)


Wenn man nach aktuellen Commits in Git geht, ist noch so einiges für den Basis-Betrieb (Snapshots, Kompression, Extents) an Optimierungen und Verbesserungen nötig:

http://git.kernel.org/cgit/linux/kernel/git/fdmanana/linux.git/
http://git.kernel.org/cgit/linux/kernel/git/kdave/linux.git/
http://git.kernel.org/cgit/linux/kernel/git/mason/linux-btrfs.git


Durch die Notwendigkeit des Rebalance nach intensiver Nutzung, vor allem von Snapshots ist Btrfs für den Einsatz von weniger erfahrenen Nutzern z.B. weniger geeignet:

http://marc.merlins.org/perso/btrfs/post_2014-05-04_Fixing-Btrfs-Filesystem-Full-Problems.html


Weiters leidete BtrFS lange zeit an ENOSPC-Problemen (auch im Zusammenhang mit obig genannten notwendigem Rebalancing) womit das Dateisystem auch nicht mehr nutzbar war:

http://marc.info/?l=linux-btrfs&m=139386777324268&w=2

bis vor kurzem (1-2 Kernel-Releases) traf das noch zu, eventuell immer noch - es wurde jedoch diverse Patches eingereicht um das zu beheben.


Seit einiger Zeit (1-2 Jahre) nutze ich deswegen ZFS auf so gut wie allen Partitionen, auf denen wichtige (nicht-ersetzbare) Daten vorliegen, auf dem Rest teste ich regelmäßig BtrFS (/usr/portage, root-Partition, eine Backup-Platte)

und hab es seitdem noch nicht bereut.


Selbstverständlich gilt die Aussage "the grass is always greener on the other side" auch für ZFS nicht:


In letzter Zeit wurden auch teilweise System-Hänger, erhöhte CPU-Belastung, Abstürze, etc. gemeldet:

https://github.com/zfsonlinux/zfs/issues
 
Zuletzt bearbeitet:
freak01 schrieb:
Mit dem standardmäßigen Angebot von ZFS für Linux-Distros: das wird wegen der angeblichen CDDL- und der GPL-Inkompatibilität schwierig - aber für mich auch wünschenwert

Ja das war zu befürchten, ich hätte kein Bedenken ZFSoLinux sofort zu benutzen, leider finden das andere nicht so wichtig.



In der Zwischenzeit lässt sich das System (z.B. Gentoo) auch ganz gut über ein aktruelle z.B. Sabayon Linux LiveDVD installieren, das ZFS-Unterstützung mitbringt



freak01 schrieb:
Aktuell scheint für die Implementierung von Linux 70%+ der Leistung von Illumos erreicht zu werden (stetig steigend) und das, obwohl einige Änderungen von Illumos, FreeBSD, NetBSD, Nexenta, etc. noch fehlen und obwohl der momentane Fokus noch gar nicht fest auf Leistungssteigerung ausgerichtet ist.

FreeBSD hat ja v5000, und da unterscheiden sich die Funktionen die man in der Manpage einsehen kann zu ZFSonLinux noch.
Das wird noch eine ganze weile dauern, bis der Vorsprung zu den Entwicklern sich angleicht.

FreeBSD Man Pages

ZFS(8) FreeBSD10.1-RELEASE[/QUOTE]


freak01 schrieb:
Wenn es um den Schutz (und Integrität) von Daten geht - hatte ich bis jetzt mit ZFS nur positive Erfahrungen, es hat mehrfach kurz vor dem Ausfall von Festplatten meine Daten gerettet - mehrfach auch schon Daten vor einer silent corruption geschützt =)


BtrFS kann keine so positive Geschichte bei mir vorweisen: es hat zwar durch Prüfsummen-Fehler angezeigt, dass eine Festplatte vor dem Kaputt gehen war (ist ja Sinn der Sache von Festplatten mit Checksums für Daten),

aber auch schon mehrfach war der Zugriff auf die Daten unwiderruflich verloren und Partitionen kaputt,

besonders empfindlich und dementsprechend oft kam das auf der Root Partition vor (der Erfahrung nach gilt das für alle Dateisysteme, hatte mit ext4 auch schon viele negative Erfahrungen, als es noch neu war) (!)


Durch die Notwendigkeit des Rebalance nach intensiver Nutzung, vor allem von Snapshots ist Btrfs für den Einsatz von weniger erfahrenen Nutzern z.B. weniger geeignet[/QUOTE]


Ich habe mit Snapper & BtrFS auch schon eine schlechte Erfahrung gemacht, seit dem nutze ich es nicht mehr und deinstallier ich auch die Werkzeuge.

Wenn Leute RAID0 benutzen, dann wüsch ich denen das der Kontroller auf der SSD durchbrennt, dann merken Sie erst was Verlust heist :)

Ich hatte bisher keine Probleme mit einem noch jungen 10.0 PC-BSD auf 2 SSD's in Spiegelung, das heisst aber nicht das ich es in naher Zukunft wieder benutzen werde.

Man könnte sicherlich die Workstation so aufbauen, das man Servermainboards nimmt, indem man eine 64Bit CPU mit Erweiterungen wählt wie AES-NI & ECC-RAM

Für mich reicht auch ein Mainboard ohne ECC mit der Möglichkeit ein Xeon zu verbauen, in meinem aktuellen könnte ich auch ein alten Xeon von der Baureihe E3-1200 v2


Ich werde auf jeden Fall OpenZFS & ZFSonLinux im Auge behalten, Hardware kann man ja später auch noch austauschen :)
 

Ähnliche Themen

Zurück
Oben