100 TB Medien-NAS: Neues OS und Frontend gesucht

[Loading--------]

Ist was spezieller und in 2 Subtasks teilbar, aber ich denke "Infra" trifft es ganz gut.

Suche neues *nix basiertes OS und Frontend für hauptsächlich Videodaten für ein 100 TB NAS aus Enterprise Platten und SDD-Bootlaufwerk.
Die Wahl geht im Moment Richtung TrueNAS + Kodi mit Plugins(?). Die Kiste hat 64 GB RAM, deswegen möchte ich ZFS in TrueNAS ausprobieren, eine Erweiterung auf 10G ist geplant (ob Glas oder 10G Base-T steht noch nicht fest). Ich denke 10 G NICs werden mittlerweile gut unterstützt.
Für die Videos wird derzeit eine Testkiste (Synology) mit Plex genutzt, bin allerdings mit 4K-Transcoding und Wiedergabe unzufrieden. Im Idealfall findet sich ein Ersatz für Plex:

• Kann große Dateien in vielen Formaten handeln, mindestens 4K60 am besten mit H.265 / XAVC / ProRes Live-Transcode (NVENC Transcode Unterstützung wäre cool, dann wird eine Quadro eingebaut).
• Kommentarfunktion mit Timestamps wie bei YouTube Comments z.B.
• Bonus für Open Source
• Benutzerverwaltung
• Ein Button um die Originaldatei oder Vorschau herunterzuladen. Dann ist die Zusammenarbeit mit Regie und VFX ein Traum.

Würde mich gerne dazu austauschen falls jemand Vorschläge oder Erfahrungen hat. UNRAID war z.B. auch eine Überlegung, ist aber wegen der Zuverlässigkeit (USB-Stick Boot..) und proprietärem RAID raus. Proxmox + VM mit Kodi o.Ä. ist natürlich auch eine Option.

 

[NJay]

Für die Videos wird derzeit eine Testkiste (Synology) mit Plex genutzt, bin allerdings mit 4K-Transcoding und Wiedergabe unzufrieden. Im Idealfall findet sich ein Ersatz für Plex:

• Kann große Dateien in vielen Formaten handeln, mindestens 4K60 am besten mit H.265 / XAVC / ProRes Live-Transcode (NVENC Transcode Unterstützung wäre cool, dann wird eine Quadro eingebaut).
• Kommentarfunktion mit Timestamps wie bei YouTube Comments z.B.
• Bonus für Open Source
• Benutzerverwaltung
• Ein Button um die Originaldatei oder Vorschau herunterzuladen. Dann ist die Zusammenarbeit mit Regie und VFX ein Traum.

Jellyfin? Ist halt wie Plex fuer Filme und serien gedahct, nicht Rohmaterial. ProRes zu uebertragen erfordert schon einiges an Bandbreite.

 

[Loading--------]

Jau alles was in die Richtung geht müsste sich auch fürs Rohmaterial missbrauchen lassen
Weil mein 40 Mbit Upload gerade mal für 1080p Wiedergabe reicht, soll live transcodiert werden. Mit NVENC Hardware-Transcode kein Problem (sogar bis 8K und H.265) und falls Format nicht unterstützt, kann ein Handbrake-Skript beim Injest laufen und kleinere MOV draus machen. Der Ryzen 9 3900x wird bei Bedarf durch was Neueres ersetzt.

 

[stefanr83]

Also für die Speicherung ist TrueNAS mit ZFS absolut zu empfehlen, hab ich schon häufiger im Unternehmensumfeld eingesetzt (TrueNAS Core, also die FreeBSD-Variante).

Was die Virtualisierung angeht, so ist die FreeBSD-Variante von TrueNAS glaube ich nicht ganz so gängig. TrueNAS Scale auf Linux-Basis ist da sicherlich die bessere Variante, letztendlich Proxmox recht ähnlich.

64 GB für ZFS und ne VM könnte fast ein bisschen knapp sein, abhängig davon, welche Performance du vom Storage erwartest... Je mehr RAM, desto besser. Wenn es echte Enterprise-Platten (also z.B. Dell, mit deren Custom Firmware) sein sollen, dann vorsichtig mit Scale (ggf. auch Proxmox) - ich hatte da schon Spaß mit deren spezieller Formatierung (520 Byte-Sektoren und solche Sachen), die Linux einfach nicht akzeptieren wollte. FreeBSD hingegen hat das ohne zu Murren genommen...

 

[Loading--------]

I see, dachte an TrueNAS Scale mit Container-App, oder "altmodisch" Proxmox-VM. Die Platten sind ne Mischung aus Seagate Enterprise und WD RED, 10 bzw. 12 TB. Von ZFS erwarte ich eigentlich die vollen 10G, v.a. mit SSD-Cache. Wenn's etwas weniger, ist auch nicht tragisch. Wird nur für Schnitt und danach für Backup ca. 1 TB hin-und hergeschoben.

 

[redjack1000]

UNRAID war z.B. auch eine Überlegung, ist aber wegen der Zuverlässigkeit (USB-Stick Boot..) und proprietärem RAID raus.

Da kann ich Dir sagen, dass deine Bedenken unbegründet sind. Mein Unraid läuft seit 7 Jahren zickenfrei auf folgender Hardware:

ASUSTeK COMPUTER INC. P8H77-I , Version Rev X.0x
Intel® Core™ i5-3330 CPU @ 3.00GHz
16GB Ram
20TB Storage
Als USB Storage nutze ich einen SanDisk_Ultra 16GB Stick

und ZFS ist mittlerweile auch dabei, habe ich aber noch nicht im Einsatz.

Neue Hardware folgt dieses Jahr und dann kommt auch die Umstellung auf ZFS.

Cu
redjack

 

[stefanr83]

SSD bringt bei ZFS gar nicht so viel, meiner Meinung nach. Höchstens als L2ARC, wenn nicht genug RAM für den ARC vorhanden ist. Ansonsten liest und schreibt (mit entsprechenden Einstellungen) ZFS ja direkt vom/ins RAM.

Konfiguration dann je 2 Platten im Mirror und das Ganze dann im Stripe. Müsste dem klassischen RAID10 entsprechen. Damit solltest du die 1000 MB/s sequentiell wohl gut schaffen...

 

[Gamienator]

Also mach dich bitte wegen dem RAM bzgl. ZFS nicht verrückt. Der RAM ist ZFS ist primär ein Cache um häufigere Zugriffe zu beschleunigen. Wenn dies aber ein Media NAS ist auf dem eventuell nur du zugreifst ist das gut zu vernachlässigen.

Mein selbst gebautes NAS besteht aus einem i3-10100, 16 GB RAM und 8x 10 TB Platten. Da drauf läuft Debian mit einer Broadcom HBA Karte und ZFS als Root System sowie für meine NAS Platten. Da dieses NAS eh nicht 24/7 läuft leert sich der RAM ja eh immer. KAnn ich nur wärmstens empfehlen. Jellyfin oder Plex als abspielsoftware und Feuer frei

 

[jb_alvarado]

Ich stand vor kurzem auch vor der Wahl und hatte mich dann entschieden Rocky Linux zu nehmen und alles selbst einzurichten, so wie wir das brauchen. Also ZFS, dann Samba drauf, in die AD eingebunden und fertig. Server Hardware ist eine hybrid Lösung, einen Pool mit U2 SSDs für den Videoschnitt und einen Pool mit normalen 3,5" SAS Platten für den Rest. Mir war das so lieber, als eine Lösung wie TrueNAS, weil ich installieren und anschließen kann was ich will.

Hatte noch Zeit verschwendet mit Samba und sysctl tunings, da würde ich von abraten. Die Anleitungen die man so im Internet finden, sind anscheint schon etwas veraltet und wirken sich eher negativ auf den Durchsatz aus. Lieber tuned installieren und im Default belassen. Bei 1Gb/s aber eh irrelevant.

Leider ist die Zukunft von Rocky und Alma aktuell etwas ungewiss, daher muss man abwägen ob das momentan Sinn macht.

64GB Ram für 100TB halte ich persönlich für nicht soviel, gerade wenn man noch andere Anwendungen drauf laufen lassen möchte. @Gamienator eigentlich will man den RAM bei ZFS ja voll haben, damit die Daten nicht immer wieder von der Platte gelesen werden müssen.

 

[HisN]

UNRAID war z.B. auch eine Überlegung, ist aber wegen der Zuverlässigkeit (USB-Stick Boot..)

Wo siehst Du da dass Problem? Auf den Stick wird tatsächlich fast nur lesend zugegriffen, und so übersteht er Jahre. Anwendungen und deren Daten landen dort, wo Du sie haben möchtest (und das sollte halt nicht der USB-Stick sein^^). Wenn es denn so wichtig ist, kannst Du ja eine echte SSD per USB zum booten verwenden. (z.b. Samsung T1/T2/T3 sowas halt).
Bei mir läuft der Unraid-Plex-Server mit über 100TB und Kupfer 10GBe-Netzwerk jetzt etwas über 3 Jahre vom USB-Stick^^

Für ein Produktiv-System würde ich mir allerdings nicht unbedingt eine Selbstbau-Lösung hinzimmern.