ZFS NAS fit machen für 8K video editing

[fk1]

moin!

ich habe aktuell folgendes DYI NAS im Netzwerk hängen:

OS: OMV5
System NVME: 1TB WD SN750
Storage HDDs: 6x 4TB Seagate Ironwolf NAS ST4000 als ZFS RAIDZ1 (RAID5)
64GB ECC RAM
1GBit LAN

Bisher hab ich das NAS nur für Mediastorage und Docker gebraucht. Mittlerweile bin ich Videoeditor für einen Clienten, der mit 8K VR Footage arbeitet. Mein RAID läuft gerade auch wieder voll und ich bin wieder dabei von 6 auf 8 HDDs aufzurüsten bzw. meinen aktuellen pool zu backuppen, zu zerstören um dann einen neuen pool zu erstellen.

Jetzt mache ich das einerseits um mehr Platz auf dem RAID zu haben, andererseits habe ich in diversen youtube videos gesehen dass viele inzwischen all ihre projekte auf ihren NAS ablegen und sogar editing direkt vom NAS über 10GBit betreiben. Mir tun sich da mittlerweile ein paar Fragen auf:

1. Ich habe gelesen dass man bei vielen HDDs die Anzahl an HDDs pro VDEV klein halten soll und lieber mit mehreren VDEVs und wenig HDDS pro VDEV arbeiten soll, da dies die IOPS erhöht. Ich kann mir vorstellen dass throughput nicht alles ist und gerade bei video encoding, wo frame für frame verarbeitet wird, ein hoher IOPS wert den rendering Prozess beschleunigt. Aber wie mach ich aus 8 HDDs 2 VDEVs um dies zu erreichen? Ich habe gelesen dass 3 Disks ideal wären bei raidz1, 4 sogar je nach block/sectorsize kontraproduktiv...

2. Caching: Ich nutze kein SSD Caching bisher. Ich hatte irgendwo mal aufgeschnappt ich sollte erstmal RAM ausbauen (hab ich) und war mit der performance bis hier hin zufrieden und habe dann keinen gedanken mehr dran verschwendet. Sollte ich trotz 64GB RAM eine SSD als (L2)ARC Cache in Erwägung ziehen für video editing performance?

3. Ich brauche definitiv ein LAN Upgrade. Ich frage mich, ob 2.5GBit reichen, da ich hier günstiger wegkomme. Ich habe irgendwo auf youtube gesehen dass jemand bei 4K editing so ca 80MB/s Netzwerk traffic erzeugt. Für 8K vervierfache ich diesen wert und müsste dann knapp mit 2.5GBit hinkommen. Hat da vlt jemand Erfahrungen gemacht?

Wenn ihr auch mit 4K/8K footage arbeitet freue ich mich über eure Tipps, ich wäre auch offen für ein neues OS, bin aber ganz fit mit debian/omv/linux/console.

Grüße

 

[itm]

10 Gbe werfe ich mal in den Raum für direktes Editing könntest du auch nen direkt a-b Link bauen

 

[sikarr]

10 Gbe werfe ich mal in den Raum

Und wie sollen die Platten das liefern?

ein hoher IOPS wert den rendering Prozess beschleunigt. Aber wie mach ich aus 8 HDDs 2 VDEVs um dies zu erreichen?

SSD Cache oder nur auf SSDs setzten

2. Caching: Ich nutze kein SSD Caching bisher. Ich hatte irgendwo mal aufgeschnappt ich sollte erstmal RAM ausbauen

Die Daten müssen ja aber auch erstmal in den Ram, du kannst auch 1TB Ram haben wenn der aber nur mit 100-200MB/s befüllt wird dauert es trotzdem länger als wenn SSDs dies mit dem 10-20 fachen schaffen.

Auch könnte man den Umweg über den Ram sparen und die Daten direkt ins Netz lesen und schrieben lassen.

 

[fk1]

10 Gbe werfe ich mal in den Raum für direktes Editing könntest du auch nen direkt a-b Link bauen

Es müssten 2 Rechner mit dem NAS verbunden werden, es bleibt also ein teurer Spaß

SSD Cache oder nur auf SSDs setzten

Dann SSD Cache weil nur SSDs bei Projekten mit TB Größe finanziell für mich unbezahlbar

Die Daten müssen ja aber auch erstmal in den Ram, du kannst auch 1TB Ram haben wenn der aber nur mit 100-200MB/s befüllt wird dauert es trotzdem länger als wenn SSDs dies mit dem 10-20 fachen schaffen.

Das macht Sinn. Man macht aber schon mit 5x HDDs in raidz1 598MB/s readrate, das entspricht ja in etwa einer SATA SSD wie sie oft als cache bei den qnap lösungen eingesetzt wird. Hier frage ich mich also ob ich mir die Cache SSD sparen kann oder ob der gamechanger nicht in höherer IOPS rate bei SSD im vergleich zu HDD RAID liegt. ich kann dazu keine tests finden, nur eine grobe aussage die IOPS wären in etwa 50x höher.

 

[sikarr]

Hier frage ich mich also ob ich mir die Cache SSD sparen kann oder ob der gamechanger nicht in höherer IOPS rate bei SSD im vergleich zu HDD RAID liegt.

Wenn du IOPS brauchst geht kein Weg an SSDs vorbei. Wenns günstig sein soll dann SSD Cache, am besten mehr als eine, ansonsten alles SSDs.

Ergänzung (3. Februar 2023)

Man macht aber schon mit 5x HDDs in raidz1 598MB/s readrate, das entspricht ja in etwa einer SATA SSD wie sie oft als cache bei den qnap lösungen eingesetzt wird.

Mit denen machst du aber kein 8K Editing oder? Wie groß sind den da Projektdateien?
Aber wie gesagt wenn du "live" auf dem NAS arbeiten willst brauchst du da SSDs. Die herkömmlichen Platten sind zu träge, der Controller muss ja den Lese/Schreibkopf positionieren und dann auch noch warten bis der entsprechender Sektor vorbeiläuft. Dann lesen/schreiben und wieder von vorn, und das ganze Ballett muss dann auch noch mit mehreren Platten synchronisiert werden und in der Zeit wartest du halt. Mit nem SSD Cache hast du das nur beim 1. befüllen des Caches und dann kommts bzw gehts von der SSD.

 

[fk1]

Wenn du IOPS brauchst geht kein Weg an SSDs vorbei. Wenns günstig sein soll dann SSD Cache, am besten mehr als eine, ansonsten alles SSDs.

Ob ich für direktes video editing vom NAS aus auf hohe IOPS setzen muss oder nicht, ist tatsächlich ein bisschen meine Frage ich denke bei timeline scrubbing nicht, da sieht man ja einfach wie das 1GBit LAN der flaschenhals ist. bei rendering kann ich es mir halt vorstellen, weil frame für frame de/encodiert wird. Ich vermute es, würde dann aber aus Kostengründen nur auf SSD Caching setzen.

Mit denen machst du aber kein 8K Editing oder? Wie groß sind den da Projektdateien?

Nein das klappt so bisher natürlich nicht. Beim Editing muss ich vorher Proxyfiles erstellen und damit editieren, dann rendere ich mit dem originalfootage vom nas als source. das ist schon ein wenig lahm im vergleich zu meinen kollegen daher vermute ich das die IOPS eine rolle spielen beim rendern.

footage variiert von 800GB - 1.8TB pro projekt. Canon R5C RAW footage und/oder ProRes files.

Die herkömmlichen Platten sind zu träge, ...

Und das kann ich doch gleichsetzen mit niedriger IOPS rate oder? Rendering sollte also schneller sein. Ich habe teilweise renderings da ist nix richtig ausgelastet im taskmanager und ich vermute einfach das NAS bzw. die IOPS rate der HDDs ist der flaschenhals.

Mich bringt das zur nächsten Frage: Wie groß sollten die cache SSDs sein? reichen SATA SSDs?? sollten es vlt 2 in raid0 sein? Worauf sollte ich hier sonst noch achten?

e: As a general rule, L2ARC should not be added to a system with less than 32 GiB of RAM, and the size of an L2ARC should not exceed ten times the amount of RAM.

 

[sikarr]

Ich muss mich korrigieren. Bei ZFS gibt es kein SSD Cache, der Ram dient hier immer als Ersatz.

Von daher würde ich eher dazu raten, wie du und @itm es schon angedeutet haben die Netzwerkbandbreite zu erhöhen.

Und/Oder aber nur SSDs bzw ein ZFS Pool aus SSDs nutzen. Aber bei ZFS gibt es kein SSD Cache.

 

[Humptidumpti]

Und wie sollen die Platten das liefern?

Er rüstet doch von 6 auf 8 Platten auf. Bei mir machen 7x 6TB im Raid 5 locker über ein Gigabyte die Sekunde.

@fk1
Je nachdem wie nah das NAS steht kann man bei eBay "günstig" 10Gbit/s Sets kaufen. https://www.ebay.de/itm/16587978707...QOln1aAAC9XhsRCfvGZ2jbpncy5H|tkp:BFBMiMKV8sJh

Ist halt SFP+:

 

[sikarr]

Er rüstet doch von 6 auf 8 Platten auf. Bei mir machen 7x 6TB im Raid 5 locker über ein Gigabyte die Sekunde.

Das zweifle ich ja nicht an, aber wenns an IOPS klemmt nützt einem Bandbreite auch nix.

 

[fk1]

Bei zfs gibt es SSD caching auch: ARC ist der primäre cache, der ist immer im RAM. dann gibt es optional den L2ARC Cache, den kann man dann über SSDs realisieren. Der ist wichtig für Read.

Dann scheinen die QNAP user eine zweite SSD für ZIL/SLOG caching einzusetzen, was dem Write zu Gute kommt.

Hier im Detail erklärt

und wenn IOPS bei video editing wichtig sein sollten dann sind auch die HDDs mit ihren paar IOPS (zweistellig) der flaschenhals, SATA SSDs sind ja im zweistelligen tausender bereich angesiedelt.

@Humptidumpti Ich hab nur das kleine Asrock c246m board wo der große pcie slot schon mit nem SATA adapter bestückt ist. ich hab also nur noch platz für 1x pcie sfp adapter.

e: hmm ok aber da könnte ich noch hier zuschlagen ebay und dann die übrig gebliebene karte aus dem set in das zweite system packen

 

[Humptidumpti]

@sikarr
Und wo sollen die IO/s herkommen? Ist ja keine Datenbank die mit Millionen Einträgen gefüttert wird. Er hat ja geschrieben 800GB-TB Bereich. Das werden nicht hunderttausende Dateien sein die da bearbeitet werden.

Wäre mir neu dass beim Videoediting die IO/s einer Festplatte der limitierende Faktor sind.

Generell kommt das ganze wir arbeiten auf dem NAS/DAS ja daher, dass die alle ihre Projekte nicht erst auf den Rechner ziehen wollen, sie dann bearbeiten um sie dann wieder zurück zu schieben. Ist einfach ne Zeitersparnis.

 

[fk1]

Wäre mir neu dass beim Videoediting die IO/s einer Festplatte der limitierende Faktor sind.

Ich bin mir da halt unsicher wie das so beim rendern aussieht:

A: Client fordert beim rendering die Frames an - NAS cached videofile von HDD in den RAM und liefert über Gbit LAN an den RAM vom client, der dann die dekodiert und die einzelnen frames encodiert

oder B: der client fordert frame für frame und das NAS liest jedes mal aus der videodatei die frames aus?

bei B denke ich IOPS spielt eine rolle

 

[Humptidumpti]

Ja und wieviel Frames hast du pro Sekunde? Das ist doch Fliegenschiß.

 

[fk1]

FPS haben die projekte 59.94.

was ich meine ist: wenn bei B wirklich zwischen jedem frame neu geackert wird und das bei HDD sources in nur 0.1s latenz resultiert dann läppert sich das wenn ein komplettes projekt 1.2mio frames beinhaltet.

ich muss zB aus einem 8k masterfile auch noch childrenfiles rendern a 1k 2k 4k resolution etc, so komm ich auf die mio frames

 

[Humptidumpti]

@fk1
Das passiert ja nicht in ner Sekunde. Da renderst du ja stundenlang dran. Ergo immer noch absolut irrelevant pro Sekunde.

 

[fk1]

ok dann scheint caching in meinem fall überflüssig. ich denke dann mach ich aus den 8 disks ein raidz2/raid6 und steck das geld statt dessen in 10Gbit. das set von @Humptidumpti passt ja schonmal, nur brauch das dann wie gesagt für pc1 und pc2, das nas bräuchte entsprechend noch ne dualport karte, idealerweise mit support für linux/debian, das wäre für mich nicht viel teurer als eine 2.5gbit lösung und alle rechner stehen auch nah genug beisammen

 

[dms]

.. die 10 Gbit bekomme ich mit IPERF nur mit mehreren Treads ausgelastet, wo kommste denn her - habe noch ein kleines Laborsystem mit Filer mit Xigmanas und 4Gbit-FC-Karte zur NETAPP DSK14 (14 Fc Disk) 10 Gbit Fähig auf der Abgangsrampe

 

[itm]

Es müssten 2 Rechner mit dem NAS verbunden werden, es bleibt also ein teurer Spaß

Karte mit intel x540 T2 in den Server/NAS werfen

Clients mit nem x540 T1 CAT6(a) Kabel nehmen statisches IP Netz bauen.

Oder: die 3 x520 da dreimal dann je nach Kabellänge Direct Attached Copper Kabel oder fiber cable + SFP+ module und da dann einen Mikrotik Switch zwischen wie den hier: CRS305-1G-4S+IN mit dem kannst du sogar mit dem gigabit port den Traffic ins Web abwickeln

 

[fk1]

.. die 10 Gbit bekomme ich mit IPERF nur mit mehreren Treads ausgelastet, wo kommste denn her - habe noch ein kleines Laborsystem mit Filer mit Xigmanas und 4Gbit-FC-Karte zur NETAPP DSK14 (14 Fc Disk) 10 Gbit Fähig auf der Abgangsrampe

dortmund

 

[dms]

Verdammt viel zu weit weg