NAS Eigenbau - Komponenten

[Janne83]

Vielen Dank für die vielen Anworten. Ich versuche mal, auf alles einzugehen:

zum RAID5: Ich bin dahingehend auch gerne für anderes offen. Wichtig wäre mir, dass der Ausfall mindestens einer Platte kompensiert werden kann. RAID5 schien da für mich ideal, welches ich über OMV auf dem NAS laufen lassen wollte. Unraid wollte ich mir schlichtweg sparen, allerdings sind die Kosten ja nicht exorbitant, so dass ich das durchaus in Betracht ziehen würde, sollte es für meine Bedürfnisse die bessere Lösung sein. Hierzu würde mich dann natürlich interessieren (weil mir da zurzeit noch schlicht die Kenntnis fehlt), warum Unraid oder eine andere RAID-Konfig die bessere Wahl wäre? Wie gesagt: keine rherotische Frage, sondern schlicht fehlende Kenntnis hinsichtlich Unraid.

zu den 6k/8k-RAW Aufnahmen: Es handelt sich tatsächlich um bewegte Bilder, die einen enormen Platzbedarf haben. Das eigentliche Editing findet auf einem Desktop PC statt, die Bearbeitung per Zugriff auf das NAS wäre aus meiner Sicht aufgrund der Datenmenge kaum realisierbar und soll auch gar nicht realisierbar sein. Die Videodaten werden vom Speichermedium der Kamera auf den Desktop-PC übertragen, dort editiert und das gesamte Projekt nach Abschluss (über Nacht) auf das NAS ausgelagert. Die 6k/8k-Aufnahmen spielen bei der Frage des Transcoding also keine Rolle, sie haben nur Auswirkungen auf die Frage des (wachsenden) Speicherbedarfs.

PGS-Untertitel: Nutze ich nicht. Alles externes SRT. Transcoding ist tatsächlich nur für die Nicht-4k Geräte im Haushalt bzw. für unterwegs wichtig. Wie ich aber eingangs schon schrieb. Auf Transcoding von 4k Material kann ich ggf. noch verzichten. 1080 sollte aber möglich sein. Wer schonmal in der Pampa im Ausland unterwegs war, weiß das zu schätzen.

 

[KCX]

guckst du Hier.

Genau das meine ich. 2014 ist nicht 2021. Die RTX Karten und auch alles ab 1650 Super haben einen neuen Encoder.

 

[snaxilian]

Die Frage ist nicht Raid 5 vs Unraid sondern wie viele Paritäten willst du haben. Kern der Diskussion ist das Thema "bit rot" und dass mit ansteigender Größe der Laufwerke die Wahrscheinlichkeit für einen entsprechenden Fehler steigt. Deutschsprachige Erläuterung: https://www.bitandbytes.ch/blog/schuetzen-sie-ihre-daten-vor-silent-data-corruption-bit-rot
Gefühlt ursprünglichster Artikel zu dem Thema: https://www.zdnet.com/article/why-raid-5-stops-working-in-2009/
Dieses Thema und Diskussion wurde mehr als einmal geführt, weitere Infos findet man wenn man eine Suchmaschine mit "silent data corruption" oder "raid bit rot" füttert. Ein Raid 6 oder zwei Paritätsdisks im Falle von Unraid können diese Wahrscheinlichkeit senken, ebenso das verwenden von Dateisystemen, die solche Fehler im Voraus regelmäßig prüfen und ggf. beheben können. Mögliche Dateisysteme wären ReFS (windows only), btrfs oder zfs aber die haben dann andere Nachteile wie z.B. weniger Flexibilität beim späteren erweitern.
Grundlegend hilft bei so etwas aber auch immer: Backups, Backups und Backups. Naja außer der Fehler wird auch mit ins Backup übernommen.
Der Vorteil von Unraid (oder vergleichbaren Lösungen) ist, dass nicht immer alle Disks laufen müssen beim Zugriff sondern nur diese auf denen die gerade benötigten Daten liegen, ergo weniger Lärm und Stromverbrauch. Nachteil ist eben, dass man eben maximal die Leistung der jeweils einzelnen Disks hat die man ggf. bei diversen Raid-Lösungen hätte. Viele der Funktionen von Unraid kann man auch mit Open Source nachbauen, das Ganze ist keine Raketentechnik aber das kostet halt Einarbeitungszeit und (zeitlichen) Aufwand. Verglichen mit dem vergleichsweise geringen Preis und der fertigen Lösung aus einer Hand ist Unraid nicht unbedingt schlecht.

Eine weitere Alternative: Das NAS nur NAS sein lassen und Serveraufgaben an einen Nuc/Brix/ZBox/A300 o.ä. auslagern.

 

[Janne83]

@snaxilian
Danke für den umfangreichen Beitrag. Über die (Ausfall-)Sicherheit bzgl. Raid-Level bzw Anzahl der Parity Disks bei Unraid werde ich in jedem Fall nochmal nachdenken. Backups werden sowieso laufend erstellt, täglich extern online (mit Ausnahme der RAW-Files) und im Wochen Rhythmus umfangreich "in-house" auf externen Datenträgern. Wichtige Videoprojekte bekommen zudem (zur NAS Sicherung) eine eigene HDD, die dann im Schrank verschwindet. Schlussendlich stehen mir also immer 2 Backups zur Verfügung die tages- bzw. wochenaktuell sind, dazu zusätzlich einzelne Projektbackups. Beim Thema Backups würde ich mich also schon als "vorsichtig" bezeichnen und was die Ausfallsicherheit bzgl des NAS betrifft: wie gesagt, da bleib ich dran, noch plane ich ja. Von daher danke für die Links und Hinweise.

 

[Skysnake]

zu den 6k/8k-RAW Aufnahmen: Es handelt sich tatsächlich um bewegte Bilder, die einen enormen Platzbedarf haben. Das eigentliche Editing findet auf einem Desktop PC statt, die Bearbeitung per Zugriff auf das NAS wäre aus meiner Sicht aufgrund der Datenmenge kaum realisierbar und soll auch gar nicht realisierbar sein.

Also ich sehe da an sich keinen Grund, warum das nicht gehen sollte. Was hast du denn im PC an storage hängen?

NVMEs? Wenn ja schau mal nach NVMe oberen fabric.

Ansonsten halt genug Platten und 40/100G und du hast da auch gut bumbs drin.

 

[TechX]

Der Vorteil von Unraid (oder vergleichbaren Lösungen) ist, dass nicht immer alle Disks laufen müssen beim Zugriff sondern nur diese auf denen die gerade benötigten Daten liegen, ergo weniger Lärm und Stromverbrauch

Aber auch dementsprechende Starts der Platten, was deren mech. Verschleiß fördert - deswegen lassen viele die Platten inzwischen durchlaufen u. verwenden eher auch weniger grosse, anstatt viele kleine Laufwerke.

Ich verwende Unraid nicht, manchen Ansatz finde ich aber prinzipiell nicht schlecht. Die Gesamtperformance allerdings gefällt mir da z.B. gar nicht u. wenn ich dann wiederum eine SSD als Cache verbauen muss, um vergleichbare Werte zu bekommen, sehe ich (für mich) keinen echten Mehrwert mehr.

Bei so relativ grossen Datenbeständen würde ich als "Dateisystem" aber wohl ZFS den Vorzug geben u. das NAS auch nur als solches verwenden.

 

[snaxilian]

Wenn du wirklich konsequent tägliche Backups hast und da auch nix verloren geht oder vergessen wird kann man auch mit dem Risiko Raid 5 leben, bzw. ich für mich könnte das. Aber wenn sowieso tägliche Backups da sind könnte man auch schon fast auf das Thema Raid verzichten wenn man die Daten nicht superduper verfügbar braucht sondern warten kann bis Restore aus Backup fertig ist. Ein Raid 5/6 erhöht ja erst einmal nur die Verfügbarkeit, nicht mehr und nicht weniger.

@Skysnake Der TE hat als Budget ~500 angegeben, ich denke damit fällt NVMe over fabric oder 40/100G raus

@TechX Wenn die Disks sehr aggressiv nach 5 Min jeweils parken und 5 Min später wieder aufgeweckt werden ist das nicht hilfreich ja aber wenn das entsprechend eingestellt ist, dass die Dinger vermutlich nur mittags und/oder zum Feierabend sich abschalten ist das vollkommen in den Specs. Nach 5-6 Jahren ist die Lebenszeit sowieso mehr oder weniger vorbei und entweder sollte man da tauschen oder hat da schon getauscht weil Kapazität eng wurde. Ich hab hier auch etwas über 6 Jahre lang ein Raid 5 mit 5x der bösen WD Greens betrieben und ist keine ausgefallen in der Zeit und ja mir ist bewusst, dass meine kleine Stichprobe da signifikant irrelevant ist.
Ich verwende Unraid auch nicht selbst aber wenn die Anforderung lautet: sparsames Datengrab wo IOs einzelner HDDs ausreichen ist es wunderbar. Oder wenn man nur für einen Teil der Daten/VMs/Container IOs braucht nimmst ne SSD und für das Datengrab siehe vorher.
Genauso gibt es Situationen wo Unraid die denkbar schlechteste Wahl ist und man mit einem Linux/BSD und ZFS deutlich besser fährt. Es gibt halt nicht die allumfassend immer richtige Lösung sondern immer den Anforderungen entsprechend das passende Tool. Dafür muss der TE halt seine Anforderungen konkret(er) benennen.

 

[Skysnake]

@Skysnake Der TE hat als Budget ~500 angegeben, ich denke damit fällt NVMe over fabric oder 40/100G raus

Mir ging es nur um diese Allgemeinheit

Zudem wäre da eher angedacht die Disks aus dem Rechner ins Nas zu schieben.

 

[Janne83]

Danke für Eure zwischenzeitlichen Antworten. Ich komme leider erst jetzt dazu, hierauf einzugehen. Hardwareseitig ist die Entscheidung vor ca 2 Stunden gefallen, ich sollte abends wirklich auf Kaffee verzichten 😂

Ich werde die ganze Sache erstmal mit 5x14Tb starten und sehen, wie sich das mit der Zeit entwickelt. Hinsichtlich der Software pendle ich noch zwischen Unraid mit dann 2 Parity Disks und OMV im Raid6 (Der diesbezügliche Hinweis hat mich nach weiterer Überlegung dazu bewogen, mit doppelter Parität zu arbeiten; von daher nochmal danke für den Hinweis). Die Write speeds sind mir ja, wie ich erwähnte, nicht so unglaublich wichtig, weil ich fertige Projekte über Nacht draufschiebe. Zwar landen tagsüber auch Daten drauf, aber die sind im Vergleich sehr viel weniger umfangreich.

Um noch auf die Frage einzugehen, die gestellt wurde: in meinem DesktopPC hängen etwa 5Tb als verfügbarer Speicher für Videoprojekte drin (als SSD).
Und ja, wegen meiner vorsichtigen Backup-Strategie könnte man grundsätzlich daran denken, auf ein RAID zu verzichten. Aber Verfügbarkeit ist für mich sehr relevant und das aktuellste Backup ist eben nicht vor Ort. Natürlich würde ein Restore von dort auf dem selben Weg funktionieren wie das eigentliche Backup, also online. Leider ist der upload auf dieser auswärtigen Backupseite nicht sonderlich hoch, weshalb ich in einem solchen Fall dann eher dort hin müsste , das BackupNas herholen würde und nach einem Restore wieder zurückbringen müsste. Da ich über die Jahre im heimischen NAS schon ein paar Ausfälle hatte, war ich froh, hier ein RAID zu fahren.