NAS-System für Videoschnitt/ Fotobearbeitung

[R50M]

Hallo,

es geht um ein NAS-System für Foto und Videobearbeitung in einem kleinem Studio. Vorraussichtlich werden zwischen 2 und 4 Leuten darauf arbeiten. Es handelt sich ausschließlich um Macbooks. Wichtig ist, dass der NAS das 10Gigabit Netzwerk gut auslasten kann, da die Dateien in der Regel sehr groß sind und in manchen Schritten auch nicht mit Proxies gearbeitet werden kann.
Alle Daten an denen gearbeitet wird sollen zentral auf diesem NAS liegen. Momentan ist es so, dass es mehrere externe Festplatten und USB RAID0 Systeme gibt und da fehlt auf Dauer einfach die Struktur.

Was wichtig ist:

• hohe Leseraten (2-4 Personen Videoschnitt)
• mindestens 8 HDD Plätze (werden wahrscheinlich 8xWD GOLD 8TB im RAID 10)

Ich selbst verwende privat FreeNAS weshalb ich sehr in Richtung der TrueNAS System schiele, vor allen Dingen das TrueNAS Mini XL+. Allerdings ist das in Deutschland kaum verfügbar und nur mit SATA SSD Read Cache ist es fraglich, ob man damit alle vom NAS arbeiten lassen kann. Die Dinger sind ja auf 600MB/s beschränkt, wenn dann 4 Leute darauf arbeiten kommen nur 150MB/s auf den Rechnern an.

Der Preis ohne Platten sollte so bei 1500€ liegen.

Was haltet ihr von FreeNAS? Am "sichersten" wäre wohl das TrueNAS Mini XL+. Meint ihr das reicht für den Anwendungsfall? Oder ist das Fehlen von NVME Lesecache ist zu gravierend? Was empfehlt ihr?


Noch eine wichtige Kleinigkeit. Es soll Möglichkeit auf dem Nas System irgendeine Art von Skript, VM, Docker, was auch immer zu installieren, das einen bestimmten Ordner automatisch in die Drive lädt und dann die hochgeladenen Dateien löscht.

 

[benneq]

Wie steht's mit dem Themen Hardwaredefekt, 4-8 Wochen auf Reparatur/Ersatz warten, Backupstrategie und co.?

Wenn die Arbeit in der Firma von dem Gerät abhängt, würde ich mich beim Systemhaus um die Ecke oder einem großen Anbieter mit entsprechenden Serviceverträgen umschauen, damit die Arbeit nicht wochenlang stillsteht.

 

[wern001]

8 platten im raid10

Wieso nicht einen richtigen Server? incl. richtiges Backup auf Streamer? auf ein LTO band passen inzwischen min. 12 TB

 

[Masamune2]

Ist es für den Arbeitsablauf wirklich so sinnvoll direkt auf dem NAS zu arbeiten? Wäre es nicht besser die benötigten Daten zu kopieren, lokal zu arbeiten und das Ergebnis zurück zu schieben?
Ich kenne mich mit Videobearbeitung nicht so aus, kann mir aber vorstellen, dass das Scrubbing durch Filmmaterial über Netzwerk nicht so toll funktioniert.

Ob FreeNAS, TrueNAS oder sonst etwas hängt hier maßgeblich davon ab was der Administrator (also wohl du) am besten kennt, denn grundsätzlich Dateien bereitstellen können die alle.

Und der Vollständigkeit halber: Backups und/oder ein Archiv gibts auch noch? So ein System kann trotzdem Raid mal komplett kaputt gehen, da sollte dann besser keine Existenz dran hängen.

 

[Piktogramm]

Wichtig ist, dass der NAS das 10Gigabit Netzwerk gut auslasten kann

Meiner Meinung nach sollte die Anforderung sein, dass die Menschen ohne größere Wartezeiten flüssig arbeiten können. Was im Umkehrschluss aber auch bedeutet, dass mal jemand aufschreiben müsste wie die Arbeit aussieht. Also arbeiten immer alle gleichzeitig? Wie groß sind die Videodatein/Projekte?

Was Caches angeht, der beste Cache ist der Ram und danach kommen SSDs. Wenn nur Sata geht, kann man auch auf Raids von SSDs Cachen oder generell vorsehen, dass der Speicher mehrere Level hat. Also alles was heiß ist auf einem SSD Array und alles was seit X Tagen nicht angefasst wurde auf HDDs.

@wern001
So ein Free bzw TrueNAS ist ein "richtiger" Server.


####################################
Das was Masamune2 sagt ist nicht verkehrt. Lokal werden die Latenzen am geringsten sein. Um Ordnung in den Laden zu bringen wird es sich dann lohnen die Daten (teil-)automatisiert aufs NAS zu laden.

 

[R50M]

8 platten im raid10

Hatte das so gelesen, dass wenn Leistung wichtig ist, man lieber auf Mirrors setzten sollte die man Striped. Glaube ich in nem Blog von ixSystems.

Wie steht's mit dem Themen Hardwaredefekt, 4-8 Wochen auf Reparatur/Ersatz warten, Backupstrategie und co.?

Wenn die Arbeit in der Firma von dem Gerät abhängt, würde ich mich beim Systemhaus um die Ecke oder einem großen Anbieter mit entsprechenden Serviceverträgen umschauen, damit die Arbeit nicht wochenlang stillsteht.

Wir haben externe Platten auf denen die Sachen zu einem bestimmten Projekt gebackupt sind. Zur Not wird davon gearbeitet. Das NAS wäre nicht überlebensnotwendig.
Systemhaus anfragen, wegen einer NAS für ne Handvoll Leute ist vielleicht zu viel, falls auch ein fertiges System als FreeNAS Mini reichen könnte dachte ich mir.

Wieso nicht einen richtigen Server? incl. richtiges Backup auf Streamer? auf ein LTO band passen inzwischen min. 12 TB

Das Ding ist nicht wirklich als Backup gedacht. Nur für die Daten auf denen gerade gearbeitet wird um dieses hin und her kopieren von verschiedenen Versionen auf externen Festplatten zu vermeiden. Backup ist in der Drive und in Zukunft wohl auch noch bei amazon. und nochmal auf externen platten.

 

[M.Ing]

Ich glaube auch, dass du mit einem NAS auf "Spatzenhirn"-Basis (also irgendwas mit ARM-Chipsatz, Celeron oder Atom) keine Freude haben wirst. Die Dinger sind nicht wirklich für Sustained Write ausgelegt, davon abgesehen von den vergleichsweise langen Zugriffszeiten.

Wir haben hier (kleiner TV-Sender) ein Storage von Dynamic Drive Pool stehen, da sind die Cutter über iSCSI auf 10G angebunden - das geht ein bisschen flotter und für unser 1080i-Zeug super, allerdings ist das Teil außer deinem Budget (glaub voll bestückt hat das Teil 50k gekostet). Das von dir angesprochene TrueNAS schaut nicht so schlecht aus und kann, soweit ich das gesehen habe, auch auf 4x 10G erweitert werden - somit kann jeder User zumindest theoretisch mit der vollen Bandbreite arbeiten.

Wie ist denn der genaue Workflow? Welche Codecs, welche Software etc.? Wenns "eh nur" Laptops sind, klingt das für mich schonmal nicht nach Hollywood...

 

[TheGreatMM]

Ist es für den Arbeitsablauf wirklich so sinnvoll direkt auf dem NAS zu arbeiten? Wäre es nicht besser die benötigten Daten zu kopieren, lokal zu arbeiten und das Ergebnis zurück zu schieben?
Ich kenne mich mit Videobearbeitung nicht so aus, kann mir aber vorstellen, dass das Scrubbing durch Filmmaterial über Netzwerk nicht so toll funktioniert.

Ja eigentlich muss man es machen wie du es beschrieben hast =).

Würde mir ne
https://www.synology.com/de-de/products/RS1619xs+
holen und dazu Raid 5
Bei 16 TB Platten wärst du bei 48 TB.
(verstehe übrigens nicht den Sinn bei Raid 10 und 8*8 TB Platten)

P.S.
Klingt für mich nach Fotostudio?! Die machen ja gerne mit Macs rum

 

[Loopman]

So ein Free bzw TrueNAS ist ein "richtiger" Server.

Nein, das ist erst mal nur die Software.

 

[IBISXI]

Wäre nicht ein SAN besser als ein NAS für diesen Verwendungszweck?

 

[R50M]

Von der Software her sind es die Adobe Programme (Photoshop, Premiere, After Effects) und DaVinci Resolve. Mit Hollywood hat das wenig zu tun. Wir betreuen die Social Media Kanäle von einigen Mittelständerln und produzieren Content für deren Youtubekanäle, Insta usw.
Ansonten machen wir Videos, Fotos für Webseiten, Onlineshops, Produktvorstellungen, Messen oder auch mal Kinowerbung.

https://www.synology.com/de-de/products/RS1619xs+
holen und dazu Raid 5
Bei 16 TB Platten wärst du bei 48 TB.
(verstehe übrigens nicht den Sinn bei Raid 10 und 8*8 TB Platten)

Gucke mir den NAS mal an, danke.
Aber nur so am Rande, Raid 5 bei großen Platten würde ich vermeiden. Die Wahrscheinlichkeit, dass es zu einem Bitrot etc kam, oder eine Festplatte beim Resilver abschmiert ist viel zu hoch. Minimum Raid6 (RaidZ2).
Wieso Raid 10 (striped mirros)? Ganz einfach aus Performancegründen. Der Freenasentwickler (ixSystems) empfiehlt das so, wenn Performance wichtig ist. Wenn ich das nochmal gefragt werde suche ich den Artikel nochmal raus.

Ergänzung (2. September 2020)

Wäre nicht ein SAN besser als ein NAS für diesen Verwendungszweck?

Was wäre denn ein spezifisches Modell?

 

[Piktogramm]

@M.Ing
Bei den TrueNAS Systemen steckt Atom Technik (Intel Cxxxx) drinnen. Für Storage reicht das auch. Da sollte jeder Kern >1GB/s Durchsatz bei einem Raid5/6 schaffen (lesend wie schreibend, nur beim Recovery wird es wesentlich weniger).


@Loopman
Ob irgend eine Kiste Server ist oder nicht ist in der Regel eine Frage der Software.
Aber ich meinte sowieso die Fertigsysteme die vom TE befragt wurde. Da steckt Hardware drinnen die typischerweise als für Server passend verkauft wird -.-

 

[IBISXI]

Was wäre denn ein spezifisches Modell?

Vergiss das.

Haben die Macbooks denn überhaupt 10GbE?

 

[R50M]

Für alle die sich fragen, wieso Raid 10, habe den Artikel rausgesucht:
https://www.ixsystems.com/blog/zfs-pool-performance-2/

Spoiler: Zitat

Scenario 3: High-resolution video production work via file share

We have a group of video editors that need to work on high-resolution footage stored on our system. They will be editing the footage directly from the pool, as opposed to copying it to local storage first. Streaming speeds will be very important as high-resolution video files can have gigantic bitrates. The more editors we have, the more performance we’ll need. If we only have a small handful of editors, we can probably get away with several RAIDZ2 vdevs, but as you add more editors, IOPS will become increasingly important to support all their simultaneous IO work. At a certain point, Z2 will no longer be worth its added capacity and a set of mirrored vdevs will make more sense. That exact cutoff point will vary, but will likely be between 5 and 10 total editors working simultaneously.

Vergiss das.

Haben die Macbooks denn überhaupt 10GbE?

Standardmäßig nicht, aber es gibt 10GbE NICs für Thunderbolt 3.

 

[IBISXI]

Dir ist auch klar das es niemals so schnell laufen wird, wie auf einer lokalen Platte?
Sequentiell lesen/schreiben geht mit NAS gut, alles andere eher nicht.

Normalerweise zieht man sich ein Projekt vom Server, bearbeitet das und spielt es zurück.
Oder man behält es gleich bis es fertig ist auf dem Rechner.

Zugriff über LAN ist auch nicht das selbe wie direkter Zugriff.
Kann sein das sich Software querstellt per SMB oder AFS zuzugreifen.

Da wäre wie schon erwähnt ISCSI besser.

Ich verwende selber Freenas mit 10Gb Lan.
(Raid Z3)

 

[Loopman]

Irgendwie liest sich der ganze Plan nur halbgar....

Es scheint sich nicht im Voraus genau Gedanken gemacht worden zu sein, was, wie und warum.

Als Teilzeitadmin würde ich da die Finger von lassen und mir Profis holen. Auch was Backup, Verfügbarkeit etc. angeht.
Immerhin geht es hier um mehrere Arbeitsplätze. Wenn da was in die Hose geht, nicht der passende Support (Hard- und Software) verfügbar ist, dann steht schnell mal die ganze Firma für längere Zeit.

 

[IBISXI]

Ich würde vorschlagen das zuerst zu testen.

Kauf mal einen 10Gbe NIC für Macbook, oder zwei.
Dann versuche mal Daten darüber zu bearbeiten. (SMB oder AFS Freigabe)

 

[M.Ing]

Ich hab zu dem Thema mal ein Video eines Fotografen/Videomenschen gesehen, der hat das am iMac Pro gemacht - 425MB (also Byte) pro Sekunde sind schon nicht soooo schlecht, solang du sequenziell liest - das ist ja das schöne, Videofiles sind eh riesig. Das Storage muss das halt bei parallelen Zugriffen auch verkraften, aber dafür müsste uns halt auch mal der genaue Workflow beschrieben werden und nicht nur "Videoschnitt" - das kann von h.264-Material für Youtube und Web bishin zu Kinoproduktion mit RAW-Files und absurden Effekten, die gerendert werden müssen, alles sein.

 

[IBISXI]

x86 Macbooks sind ohnehin schon tot.

Wie sich ein Projekt des Nutzers über AFS/SMB verhält, weiß man nicht.

Was passiert wenn mehrere Nutzer gleichzeitig auf Projekt zugreifen wollen?

SSDs sind immer schneller als HDDs, sobald es nicht um sequentiell geht.

Vielleicht wäre es schlauer ganz etwas anderes zu machen.

Dafür müsste man die genaue Situation kennen.

Welche Software wird verwendet, was wird genau gemacht, warum Apple, wird nur in der "Firma" gearbeitet, warum keine Workstations, wie groß sind die Projekte...?

Videoschnitt direkt auf einem NAS ist ungewöhnlich, zumindest habe ich das noch nie gesehen.
Normalerweise verwendet man das nur als schnelles und zuverlässiges Datengrab.

An die IO Performance einer oder mehrerer M2 PCIe SSDs wirst Du über Netzwerk niemals auch nur ansatzweise rankommen.

 

[R50M]

Das Hauptziel ist es alles zu zentralisieren um Unordnung zu vermeiden und zusätzlich den Fall zu vermeiden das jemand aufgrund deiser Unordnung aus USB Raids und externen Platten mit alten Dateien von jemand anderem weiter arbeitet.

Dabei kam uns der Gedanke, das NAS so zu dimensionieren, dass man gleich davon schneiden kann und somit sich das Plattenwirrwarr spart.
So wie es jetzt hier aus dem Thread rüberkommt ist es wahrscheinlich sinnvoller ne kleine TrueNAS auf der nur Ergebnisse abgelegt werden nach dem Arbeiten zu nehmen. Wenn man die Leute so erzieht, regelmäßig ihr Zeug draufzuladen dürfte das auch so gehen. Sind halt mehr manuelle Arbeitsschritte und weniger als "bequem" direkt auf NAS zu arbeiten, weil man da nicht kopieren muss.

Danke für den Input, wir lassen uns das auf jeden Fall durch den Kopf gehen.

Als Teilzeitadmin würde ich da die Finger von lassen und mir Profis holen. Auch was Backup, Verfügbarkeit etc. angeht.

Backups werden gemacht, würde die NAS ausfallen ist es kein Beinbruch. Wir haben externe Platten auf die regelmäßig die aktuellen Projektdaten gebackupt werden. Zur allergrößten Not ist alles auch noch, maximal ein paar Tage alt auf der Drive, wo man es wieder runterladen kann.
Die Kosten von nem Servicevertrag etc lohnen sich einfach nicht für ein kleines fertiges NAS.

Wir sind keine großen Firma, sondern ein 2 Jahre altes Startup (5 Leute) und arbeiten alle mit unseren eigenen Geräten. Das einzige was es so an IT Infrastruktur gibt ist ein Router und ein Switch. Wieso sollte man für die Wartung von Router, Switch und vielleicht einer NAS ein Systemhaus beauftragen? Da spar ich mir das Geld und hab lieber nen zweiten Switch und Router daneben liegen, falls der eine kaputt geht.

Wir haben es auch die ganze Zeit ohne NAS geschafft, also würden wir es auch wieder ohne schaffen, falls diese kaputt geht bis eine neue da ist. Wir brauchen auch nicht zwingend eine NAS. Es geht darum Ordnung in aktuelle Projektdateien zu bringen.

Ergänzung (2. September 2020)

Welche Software wird verwendet, was wird genau gemacht, warum Apple, wird nur in der "Firma" gearbeitet, warum keine Workstations, wie groß sind die Projekte...?

Software habe ich beschreiben in #11 und was Videomäßig gemacht wird.
Es wird nicht nur in der Firma gearbeitet, manchmal auch aufm Dreh.
Die Video/ Filmprojekte sind sehr unterschiedlich in der Größe. Es ist nicht so viel, als das das ganze Studio voll ausgelastet ist. Meist ist es vermietet. 2 Leute arbeiten hier täglich an Videos, die anderen 2 nur wenn sie gebraucht werden, weil gerade viel ist.

Warum Apple?
Ganz einfach Zufall. Ich war der einzige der kein Apple hatte, sondern mein T430 mit Debian. Weil es dann aber nervig wurde mit den Dateisystemen und, weil auf Linux keine Adobe Programme laufen musste ich dann umsteigen. Wir machen nicht nur Video sondern auch Webdev. Also Webseiten, Webapps etc und da bekommen wir sehr häufig Adobe inDesign/ xD Dateien. Weil ich die nicht öffnen konnte hat mir dann jemand sein altes Macbook geliehen.

Videoschnitt direkt auf einem NAS ist ungewöhnlich, zumindest habe ich das noch nie gesehen.
Normalerweise verwendet man das nur als schnelles und zuverlässiges Datengrab.

Datengrab soll das Gerät ja auch sein.