Welche Lösungen gibt es für ein DIY NAS für 10-20gbit/s

[[AlphaRC]Eraser]

Puh, okay. Dann schaue ich mich aber lieber nach ner neuen CPU (und ggf. Mobo combo) um. Ich bevorzuge nen einfaches setup und deine Beschreibung klingt mir ein wenig nach zu vielen Zwischenschritten 😂

 

[Bohnenhans]

Naja wenn Du Dich ein wenig mit Lniux etc auskemnnst und denke das tust Du - jedenfalls mein EIndruck -
ist das kein besonders grosser Aufwand eigentlich - Du musst ja nur Luks dazwischenschalten.

Ob Du ZFS jetzt auf /dev/sdb1 oder /dev/gpt/blabla oder /dev/mapper/luksabc machst ist doch eigentlich egal?

Ist halt ein Zwischenschritt mehr den Du 1x machen musst beim einreichten und dann merkst ja nichts mehr davon.

 

[Skysnake]

Ist halt echt die Frage, wie viel Leistung du bei kleine. Dateien wirklich brauchst.

Bei kleinem FileIO ist nen HW Raidcontroller mit Read/Write Cache (Battery Backup!) einfach der King im Block.

Danach kommen dann Softwarelösungen mit NVMe only

Danach Softwarelösungen mit Flash Cache LVM vor ZFS

Danach Softwarelösungen mit HDD only, wobei LVM vor ZFS.

Also rein auf synchronen <=4k IO.

Insbesondere wenn es kleiner als 4k wird, verreckt die die Leistung der Softwarelösungen in Vergleich zum HW Raid mit Read/Write Cache.

Nen Raid Controller ohne Read/Write Cache ist aus meiner Sicht nicht besser als die Softwarelösungen.

Am Ende vom Tag musst du halt schauen wie DU am günstigsten/einfachsten die Performance und den Platz bekommst den du brauchst.

Für deinen Anwendungsfall könnte aber auch DRBD9 interessant sein.

Also insbesondere mit deren Tooling LINSTOR für das Erstellen von Volumes.

 

[Bohnenhans]

COW und Zero Fragmentation Ziel zusammen mit Datensicherheit schränkt halt die Leistung beim Erstellen vieler kleiner Dateien ein.

Vor allem bei Multitasking wenn noch "woanders" parallel was auf dem Filesystem gemacht wird also viele Vorgänge parallel löschen erstellt kopiert verschieben.

Und "klein" heisst ja inzwischen meistens trotzdem > 10 MByte. - ich selber denke bereits bei <= 500 Mbyte Dateien wenn ich seh dass die kopiert werden och schon wieder der Kleinkram

Es kommt halt extrem auf die Mischung der Dateien an, wer nut oder fast nur kleine hat MP3 und Fotos, PDFs etc und wenig grosse wie Datenbanken, Videos ISOs, HDD Images usw hat halt einen grossen Nachteil.

 

[Skysnake]

Mp3 usw ist schon alles groß.

Nen Linux rootfs in dem du ein yum install Latex machst killt dich. Das sind Unmengen an kleinen Files und yum macht open write close cyclen für ein locking per files -_-

Mit ner lokalen SSD ist das in <5 Minuten durch. Mit nem verteilen Dateisystem biste schnell bei 50 Minuten....

 

[Bohnenhans]

Das sind aber ja meist keine Files die man so über Netzwerke dann auf das NAS oder vom NAS kopiert und das ja hier das wo es drauf ankommt.

System Backups macht man doch dann eher als Image oder eben als Teilbackup der Daten die man selber anpasst wie Configs, Scripte usw. alles andere kann man ja dann einfach wieder installieren

 

[Skysnake]

Na doch, das macht man wenn man zum Beispiel an nem stateless Image innerhalb einer HA Lösung arbeitet usw.

Also da gibt es schon genug Fälle wo man derartiges macht.

OpenFoam ist auch so ein Kandidat.