4K-Aufnahmesystem ab 16 TB?

[Odium]

Hallo zusammen,

ich bereite langsam das Upgrade meines Rechners vor (Videoaufnahme und -bearbeitung) und bin jetzt bei der Datenaufnahme. Gestern habe ich mit Rimworld auf 3840x2160 60 FPS erzielt (GTX 780 und Vektorgrafiken sind schon toll ;D), aber bei meinem kleinen Software RAID0 aus zwei 4TB-Platten (sie waren zu 70% voll) wird schon die Segel gestrichen: 120 MB/s haben die beiden geschafft. Zu wenig, Dxtory meinte das da nur mit 17-18 FPS geschrieben wird. 33 Sekunden Aufnahme waren dabei 6,1 GB - nur zur Info. Und ja, die Grafikkarte kriegt natürlich auch ein Upgrade falls wer fragt.
Edit: 6,1 GB bei 33s sind ja 189 MB/s was das RAID0 schaffen müsste, aber der Ressourcenmanager von Win10 hat nur 120 MB/s angezeigt.

Die Idee
Also, ich möchte mindestens 16 TB zur Verfügung haben und ich rechne damit, dass für 4K-Aufnahmen anderer Spiele mindestens 250 MB/s als Untergrenze gegen Ruckler notwendig sind. Wie kriege ich das jetzt möglichst kostengünstig hin? Ich werde wahrscheinlich 10 SATA-Plätze auf dem Motherboard zur Verfügung haben und 5-6 Platten werde ich für den Datenexport, OS+Programme, Spiele und für Datengräber brauchen, so dass maximal 4 Anschlüsse zur Verfügung stehen was die Datenquelle angeht.

Ich dachte jetzt an 4 Platten á 6 TB als Software-RAID5, so dass ich auf 18 TB komme (die ich bis 14 TB beschreiben könnte) und damit auf 1280 Minuten bzw. 21 Stunden komme (Rechnung: 1 Minute 4K-Aufnahme sind etwa 11,2 GB) - mehr als genug.
Bei ca. 200€ / HDD sind das 800€, außerdem eine identische Backup-Platte, also Roundabout 1000€.

Wie klingt das? Machbar? Hab ich was übersehen?
Danke vorab für das Feedback!

 

[HominiLupus]

Wie lange sollen die Clips sein die aufgezeichnet werden? In welchem Datenformat und Codec?
3840x2160x3x60 = 1424 Megabyte/s
Das 33 Sekunden lang wären ~47 Gigabyte. Also kann es schon mal nicht unkomprimiert sein.

 

[eRacoon]

Vier HDDs in einem Software Raid5 werden nicht so viel schneller sein (eventuell sogar langsamer) wie zwei in einem Raid0.
Wie lange musst du am Stück aufnehmen?

Ich würde es irgendwie versuchen mit SSDs abzufangen und die Daten anschließend auf HDDs zu schieben.
Billigste SSDs nehmen, 1TB gibt es "schon" für 250€, davon dann 2-3 Stück und du solltest schon mal gut Puffer haben.

 

[sultans_cross]

Die benötigte Bandbreite lässt sich mit dem Durchschnitt leider nicht genau festhalten,
solange du nicht mit konstanter Bitrate aufnimmst.
Bei variabler Bitrate und RGB24 unkomprimierter Aufnahme können das,
je nach Bildinhalt, schon auch mal Gbit/s werden.

Mit einem RAID10 wärst du was Schreibraten angeht besser bedient, würde ich aber lassen.

Schau dass du wie eRacoon schon sagt, mit SSDs arbeitest.
Vorzugsweise nicht die "billigste" aber die günstigste mit MLC Chips und möglichst hoher TBW.

Bei deinem Schreibaufkommen kann es sehr gut sein,
dass SSDs mit TLC Speicher von der Schreibgeschwindigkeit einbrechen und dann ist der ganze Zirkus sinnfrei.

Hier mein Vorschlag: Kingston SSDNow KC400 1TB, SATA (SKC400S37/1T), R/W:550/530 MB/s, TBW 1,6 PB

Musst du wirklich bis zu 12h+ am Stück aufnehmen können?
Wenn nicht, lieber 2 davon plus vllt. 2x 6/8TB um große Mengen abzulegen.

Alternativ dein gewünschtes RAID5 mit 3 HDD's plus eine SSD als Cache, dann landen die Daten zuerst auf der SSD und die Schreibrate stimmt auch (jedoch nur bis der Cache voll ist)

Gruß

 

[Odium]

Wie lange sollen die Clips sein die aufgezeichnet werden? In welchem Datenformat und Codec?
3840x2160x3x60 = 1424 Megabyte/s
Das 33 Sekunden lang wären ~47 Gigabyte. Also kann es schon mal nicht unkomprimiert sein.

Ich hab mir angewöhnt, jede Stunde die Aufnahme zu unterbrechen. Ich verwende den Dxtory - Codec in der mittleren Qualität (und ich denke ich kann vielleicht auf niedrige Qualität wechseln). Bei 30 FPS gehe ich davon aus, dass eine Minute nicht mehr als 12 GB beanspruchen werden. An 60 FPS habe ich noch gar nicht gedacht. Das dürften dann wohl 500 MB/s, mh?

Ich würde es irgendwie versuchen mit SSDs abzufangen und die Daten anschließend auf HDDs zu schieben.
Billigste SSDs nehmen, 1TB gibt es "schon" für 250€, davon dann 2-3 Stück und du solltest schon mal gut Puffer haben.

Also, ich denke mit SSDs geht es nicht. Da wäre dann nach spätestens einer Stunde Schluss und ich müsste es rüberschieben. Und währenddessen kann ich dann auch nicht mit den Platten arbeiten oder noch mehr aufnehmen, das würde den Workflow killen - und mein Portmonee auch ^^

 

[Necareor]

Ohne SSDs wirst du das kaum schaffen bei 4 freien SATA-Anschlüssen, mind. 250MB/s schreiben klappt da weder bei einem RAID 5 noch einem RAID 10.

Vermutlich müsstest du dafür 3 oder sogar alle 4 Platten in einem RAID 0 (Stripe) betreiben. Da muss dir aber dann klar sein, dass du die 4-Fache Ausfallrate und keinerlei Redundanz hast.

 

[HominiLupus]

Ich hab mir angewöhnt, jede Stunde die Aufnahme zu unterbrechen. Ich verwende den Dxtory - Codec in der mittleren Qualität (und ich denke ich kann vielleicht auf niedrige Qualität wechseln). Bei 30 FPS gehe ich davon aus, dass eine Minute nicht mehr als 12 GB beanspruchen werden. An 60 FPS habe ich noch gar nicht gedacht. Das dürften dann wohl 500 MB/s, mh?

Wenn die Qualität sowieso nicht so ultra hoch sein muss: Nimm Quicksync oder nvenc.
Dxtory bezeichnet weder ein Datenformat noch Codec. Also nochmal: welcher Codec?

 

[Humptidumpti]

Ein Software Raid 5 unter Windows schreibt im Raid 5 keine 200MB/s. Und wenn dann nur kurz bis der cache voll läuft. Aber mit 4 Festplatten an nem Hardware Raid Controller im Raid 5 schreibst du locker ~350MB/s. Mein Raid 5 aus 4*Seagate 3TB Desktop Platten schreibt im Schnitt etwa 400MB/s.

Generell würde ich hier aber nicht den Weg gehen und die Festplatten aufblasen sondern mit nem Codec und ein wenig rumgerechne die Schreiblast einfach derart zu senken, dass du mit einer schnellen Festplatte hinkommst.

 

[sultans_cross]

Wie Humptidumpti sagt, wäre eine Anpassung deiner Einstellung + Codec die beste Methode um günstig weg zu kommen.

In Sachen RAID täte es dann nur noch ein vernünftiger HW-RAID-Controller.

Hier mal ein paar extrem Beispiele (dauer je 10s; lossless):

• UHD@60fps,YV12-VBR -> ~3Mb/s
  
• UHD@60fps,RGB24-VBR -> ~5Gb/s
  
• UHD@60fps,RGB24-CBR -> ~ 10Gb/s
  

Ist im Endeffekt natürlich eine Frage des persönlichen Kosten/Nutzen Spiegels.

 

[Odium]

​

Ein Software Raid 5 unter Windows schreibt im Raid 5 keine 200MB/s. Und wenn dann nur kurz bis der cache voll läuft. Aber mit 4 Festplatten an nem Hardware Raid Controller im Raid 5 schreibst du locker ~350MB/s. Mein Raid 5 aus 4*Seagate 3TB Desktop Platten schreibt im Schnitt etwa 400MB/s.

Generell würde ich hier aber nicht den Weg gehen und die Festplatten aufblasen sondern mit nem Codec und ein wenig rumgerechne die Schreiblast einfach derart zu senken, dass du mit einer schnellen Festplatte hinkommst.

Ich hab noch keine Infos über RAID5 gesammelt, es war bloß eine Idee, dass ich so Performance und Redundanz kombinieren könnte. Ich meine, ein RAID0 wäre eigentlich auch möglich, allerdings ist mir das nicht wohl bei Kundenprojekten. Ehrlich gesagt wäre es ziemlich dämlich.

Das ich die Schreiblast minimiere bei gleichbleibender Qualität ist natürlich gut. Auf der anderen Seite brauche ich spätestens bei der Videobearbeitung später eine hohe Performance, wenn man durch 4K-Material scrubben will. Premiere unterstützt inzwischen auch "Stellvertreter-Dateien", aber ich habe noch keine Erfahrung damit gemacht und 6 Stunden Material erstmal zu 720p konvertieren, wird sicher auch Zeit benötigen.

Dxtory bezeichnet weder ein Datenformat noch Codec. Also nochmal: welcher Codec?

Das weiß ich nicht. Ich dachte das sei ein von ExKode entwickelter Codec speziell für Dxtory.
​

 

[Holt]

Hier mein Vorschlag: Kingston SSDNow KC400 1TB, SATA (SKC400S37/1T), R/W:550/530 MB/s, TBW 1,6 PB

Die würde ich nicht empfehlen, denn die hat einen Phison Controller der aber hat eine Datenkompression und im Datenblatt stehen nur Werte die mit IOMeter, also extrem komprimierbaren Daten, ermittelt wurden und ein Review von der findet sich dort auch nicht.

 

[sultans_cross]

​
Ich meine, ein RAID0 wäre eigentlich auch möglich, allerdings ist mir das nicht wohl bei Kundenprojekten.

Das ganze soll auch für gewerbliche Zwecke genutzt werden?


Wenn SSDs grundsätzlich nicht für dich in Frage kommen, würde ich über einen gescheiten HW-RAID-Controller mit nachdenken. Daran klemmst du dann die von dir gewünschten HDDs.

Damit stimmt dann auch die Performance, wenn du noch etwas an deinen Settings schrauben kannst.


edit:

Wenn die Dateien durch angepasste Einstellungen insgesamt schon kleiner werden,
ist auch die benötigte Performance beim scrubben geringer.

 

[HisN]

Ist es denn wichtig, dass Du mit dieser riesigen Datenrate praktisch unkomprimiert aufnimmst?
Wird doch später bestimmt noch zig mal bearbeitet. Warum nicht Shadowplay? Damit sieht zwar 130Mbit bei schnellen Bewegungen immer noch etwas blockig aus, aber dafür kostet es praktisch keine Performance und auch keinen Platz auf den HDDs und schon gar keine Bandbreite^^

 

[Odium]

Ist es denn wichtig, dass Du mit dieser riesigen Datenrate praktisch unkomprimiert aufnimmst?
Wird doch später bestimmt noch zig mal bearbeitet. Warum nicht Shadowplay?

Nein, eigentlich ist das nicht wichtig. Die meisten Inhalte werden sowieso bei Youtube bzw. Twitch landen, also müssen es keine 250.000 KB/s sein. Ich bin allerdings etwas an Dxtory gebunden wegen der Fähigkeit, mehrere Tonspuren gesondert aufzunehmen. Ich vermute OBS kann das inzwischen auch, aber das muss ich diese Woche noch mal recherchieren.
Meine bisherige Erfahrung mit Shadowplay dürfte über zwei Jahre alt sein: Zieht wenig Performance, aber unzureichende Qualität.

Ich werde mal schauen, ob ich einen gescheiten Hardware-Controller auftreibe, werde mich noch etwas schlau machen über die verschiedenen RAID-Möglichkeiten und ob ich für 1000€ ein System zusammenschieben kann, mit der konstant 300+ MB/s und ~20 TB möglich sind.

Für alle die noch sofort an SSDs denken: In der Theorie mag es sinnvoll sein, aber nach jeder Aufnahme alle Daten zu kopieren oder überhaupt sie sichten oder sich damit befassen zu müssen ... Hab ich mal zwei Wochen probiert, macht einfach keinen Spaß.
Manchmal will man auch einfach etwas Puffer haben und dafür alles an einem freien Tag abarbeiten. Selbst wenn ich jetzt davon ausgehe, dass mit dem richtigen Codec und der richtigen CPU-Auslastung eine Stunde 4K-Material nur 600 GB groß ist, dann reicht eine 300€-SSD (1 TB) nicht mal für einen Abend. Auch wenn die HDDs schon länger ihren Abgesang hören müssen, also ich werde definitiv noch ein paar Jahre auf sie angewiesen sein.

Ich danke erstmal für alle Antworten, hat mir sehr geholfen.

 

[Holt]

Beachte das HDDs auf den äußeren Spuren mehr Sektoren haben als auf den inneren, etwa doppelt so viele und daher auch auf den äußeren etwa die doppelte Datentransferrate wie auf den inneren Spuren erreichen. Die schnellsten 3.5" HDDs mit 7200rpm und einer sehr hohen Datendichte kommen auf den äußeren Spuren auf so 240 bis 250MB/s, für 300MB/s und 20TB müsste man also nur zwei mit 10TB wie die Seagate IronWolf 10TB oder SkyHawk 10TB in einem RAID 0 verwenden, was so 720€ kosten würde und an einem ausreichend aktuellen Intel Chipsatz als Fake-RAID machbar wäre. Man würde dann aber eben nicht die vollen 20TB auch mit 300MB/s ansprechen können, selbst ohne Fragmentierung wäre es vielleicht nur 15 oder 16TB und auf dem Rest wäre die Schreibrate etwas darunter, was man aber mit HD Tune (nicht die Freewareversion 2.55, die kann nur die ersten 2TiB benchen) ermitteln könnte. Laut den Werten hier müssten es knapp 15TB sein, da eine HDD bis etwa 7500GB über 150MB/s bleibt, laut diesem hier schafft eine die 150MB/s bis zu 8000GB, damit wäre es etwa 16TB über ein RAID 0 auf zweien 300MB/s schaffen könnte.

Für ungefähr das gleiche Geld wären 3 Ironwolf 8TB zu haben, die sind etwas langsamer, sollten aber pro Stück mindestens 100MB/s über die ganze Kapazität schaffen, man bräuchte aber 3 Ports und hätte mit 3 HDDs im RAID 0 eben auch eine höhere Leistungsaufnahme und ein erhöhtes Ausfallrisiko, was beim RAID 0 den totalen Datenverlust bedeutet. Mit einer 4. HDD und einem RAID 5 könnte man letzteres mindern, RAIDs ersetzen aber auch keine Backups und man wäre nicht nur nahe am oder leicht über dem Preislimit, sondern müsste ggf. auch ein noch extra einen nicht so ganz billigen HW RAID Controller verwenden, wenn es nicht genug Ports gibt oder das RAID am Chipsatz nicht die nötige Performance liefert.

 

[Odium]

Ja, die IronWolf von Seagate hatte ich auch schon im Visier wegen ihrer guten Schreibrate bei der 8er und 10er Variante. Die Sache mit der Temperatur hätte ich im Griff. Die Performance bei einem RAID0 aus drei Ironwolf 8 TB kann man ja leicht berechnen, nur leider weiß ich nicht, wie es in einem RAID5 aussieht. Und dann lese ich auch noch davon, dass wegen Sektorfehler RAID5 eine zunehmende Wahrscheinlichkeit hat, dass das System nicht wiederhergestellt werden kann.

Tja, ich würde sagen für meine Ansprüche sind 40% Performance, 40% Speicherplatz und 20% Sicherheit wichtig. Wenn ich wüsste welche Schreibrate und Leserate bei vier Festplatten im RAID5 erreicht werden kann, wär das schon gut.

 

[Holt]

Ein RAID 5 mit n Platten sollte im besten Fall die Schreibperformance eines RAID 0 aus n-1 Platten erreichen können, ob dies konkret erreicht wird, hängt sehr von der jeweiligen RAID Lösung, also ggf. dem HW RAID Controller, ab und davon wie die Einstellung des Schreibcaches ist. Was die Wiederherstellbar, also die Chance auf ein erfolgreiches Rebuild angeht, so hängt diese sehr von der UBER, also der Unrecoverable Bit Error Rate ab. Die 8TB und 10TB Seagate Ironwolf und SkyHawk haben eine von 1:10^15, was bedeutet das man ja etwa 120TB gelesener Daten mit einem Lesefehler rechnen muss, was i.d.R. zu einem Abbruch des Rebuilds eines RAIDs führt. Die Fehler müssen nicht so häufig kommen, können es aber ohne das die HDD ihre Spezifikationen deshalb verletzen würde.

Damit wäre die Chance auf ein erfolgreiches Rebuild eines RAID 5 aus 4 solcher 8TB HDDs mit einer UBER von 1:10^15 dann also bei etwa 81,3%, hätten die HDDs nur eine UBER von 1:10^14 wie z.B. die WD Red (Pro, dort also 10:10^15 angegeben), wären es nur 3,7%, die bessere UBER macht da also sehr viel aus und wer dies nicht berücksichtigt, der sollte sich besser nicht zu dem Thema äußern. Die Frage wäre aber primär wie wichtig die Daten sind, denn egal wie hoch die Chance auf ein Rebuild ist, RAIDs ersetzen keine Backups! Wenn nur die unbearbeiteten Aufnahmen auf das RAID sollen, dann würde ich mir gut überlegen ob der Aufwand eines RAID 5 hier gerechtfertigt ist oder man nicht im Zweifel den Verlust der noch nicht bearbeiteten Mitschnitte verkraften könnte.

Sollen dort auch die fertig bearbeiteten Video gelagert werden, so würde ich zumindest eine weitere Partition dafür (im hinteren Bereich) anlegen, alleine schon um dem Problem der Fragmentierung des Filesystems aus dem Wegen zu gehen, da dadurch Einbrüche der Schreibrate passieren können.

 

[Odium]

Ja, ein RAID mit redundanten Komponenten die am Ende ihren Job nicht machen können, bringt natürlich richtig viel. RAID5 wäre noch vom Preis her möglich gewesen, aber RAID6 ... eher nicht.

Ich hab's mir überlegt und werde wohl ein RAID0 aufbauen für unkritische 4K-Rohdaten und alle wichtigeren Komponenten (z.B. die prproj-Dateien selbst) werden über irgendeine Software automatisch verschoben und kopiert einmal pro Tag.

Mein Zwischenstand
3x 8TB als RAID0 + weitere 8TB für mittelkritische Daten als regelmäßiges Backup des ganzen Systems. Und Holt, die Exportdaten werden beim rendern immer auf einer separaten Platte gespeichert. Das wäre ja noch schöner, wenn jetzt bei einer dreimal so hohen Ausfallwahrscheinlichkeit von 24 TB auch noch die schicken Arbeitsergebnisse über den Jordan gehen

Wenn ich von 3x 175MB/s als Untergrenze ausgehe bei einer maximalen Auslastung von 50% des ganzen Systems (12 TB), dann dürfte das mit dem richtigen Codec und 60 FPS wohl machbar sein, hoffe ich. Ansonsten muss halt eine weitere Platte rangesteckt werden, mit Hardware-Controller versteht sich.

Also wie gesagt, danke für die Hilfe. Fühle mich gut beraten.