Diskussion: QLC oder TLC für Video Capture, Editing und Render großer sequenzieller Dateien (> 100 GB)

[tackleberry]

Hallo

Ich bin immer noch auf der Suche nach der richtigen SSD Lösung. Ich denke aber, dass ich erstmal die grundsätzliche Frage der benötigen Technologie statt des benötigten Produkts klären sollte. QLC hat ja eine extrem schlecht Reputation in den Consumer Foren. Vermutlich zurecht wenn die es um die einzige SSD im System geht auf der OS, Programme und Daten laden sollen. Wie sieht aber aber nun aus wenn man einfach schnelle Datengräber braucht für den Einsatz Video Editing benötigt? Also als zweite, dritte, vierte oder fünfte SSD?

Konkretes Einsatzgebiet sind bei mir Videodateien uncompressed oder lossy (ProRes, DNxHD / DNxHR, Cineform, Uncompressed). Da reden wir von Bitraten um 500 bis 1000 Mbit/s und Dateien von 100 - 1000 GB Größe. H264 und Co. sind keine Alternative weil Inter-Frame (wie Bsp oben) statt Intra-Frame Codecs (z.B. H264) Vorteile beim Editing, Videoqualität und Exportgeschwindigkeit (Rendern) bieten.

Workflow wäre folgender.

1. Dateien werden durch Screen Capture auf die spezielle Daten SSD geschrieben. Da kann mehrere Stunden andauern. Schreibgeschwindigkeit dürfte irgendwo zwischen 50 und 300 Mb/s liegen. Es wird also nur sequenzielles Schreiben benötigt und das nicht mit Top Speed. Die SSD muss aber verlässlich diesen Speed halten können.

2. NVMe ist nun kritisch beim Einlesen der Daten in ein Videobearbeitungsprogramm. Das dauert sonst einfach zu lange. Wenn die Datei dann 600 GB hat, dauert das selbst mit M.2 NVMe i bei 3000 MB/s 200 Sekunden bis die Datei voll eingelesen ist.

3. Beim Export wird nun diese große Video Datei mit mehreren anderen Dateien Videodateien und Standbildern eingelesen, von CPU/GPU gerendert und auf irgendeinen anderen Speicher geschrieben. Ich suche gerade noch die anderen Flaschenhälse im System weil aktuell maximal mit 300 MB/s geschrieben wird obwohl CPU, RAM und GPU nicht voll ausgelastet sind. Folgende Szenarien wären aber denkbar.

3.a. Direktes Kopieren der Datei oder Sequenzen von Laufwerk A nach Laufwerk B. Hier sollte also mit voller Lesegeschwindigkeit gearbeitet werden können. Der Cache von QLC limitiert aber nur beim Schreiben wenn ich das richtig verstanden habe.

3.b. Direkter Transcode der Datei oder Sequenzen von Laufwerk A nach Laufwerk B (z.B. uncompressed zu ProRes in 4K etc.). Hier sollte also mit voller Lesegeschwindigkeit gearbeitet werden können solange die restliche Hardware keinen Flaschhals setzt.

3.c. Direktes Transkodieren in H264 oder ähnliche komprimierte Format. Ziellaufwerk ist eine andere SSD. Hier werden nun CPU/CPU zum Flaschenhals.

3.d. Verwendung als einzige Datei in Videoediting und Export, geschnittenes Material wird im gleichen lossy Format geschrieben. Auch wieder nur sequenzielles Lesen von der SSD nötig.

3.e. Verwendung als Hauptdatei in Videoediting und Export, geschnittenes Material wird im gleichen lossy Format geschrieben. Restliche Dateien liegen auf Laufwerk SSD 5. Auch wieder nur sequenzielles Lesen von der SSD nötig.

3.f. Verwendung als Hauptdatei in Videoediting und Export, geschnittenes Material wird im gleichen lossy Format geschrieben. Restliche Dateien liegen auf gleichen Laufwerk wie Haupt SSD. Hier würden sich nun sequentielles Lesen der Hauptdatei und diverser anderer Dateien ablösen. Wie stark würde eine QLC im Vergleich zu einer TLC hier einbrechen?

Im gegebenen Szenario, gibt es Argumente gegen QLC statt TLC wenn man Punkt 3f. offen lässt? Vermutlich können die SSD Spezialisten Punkt 3f aber auch schnell abklären. Zu bedenken wäre vermutlich aber auch die Lebensdauer wenn man am Tag locker 2-4 TB auf die SSD schreibt.

 

[ghecko]

Je nach SSD und Größe kann bei QLC die Schreibleistung unter 100MB/s fallen, sobald der SLC Cache und DRAM erschöpft ist.
Ich würde einen Bogen um QLC machen, bei allen Anwendungen die über normale Systemlaufwerke hinausgehen. Die geringere Haltbarkeit von QLC ist auch nicht banal, wenn auf dem Laufwerk Fortlaufend Daten geschrieben werden.

Günstigere TLC Laufwerke sind kaum teurer als QLC, ich verstehe also nicht warum du QLC für diese Anwendung überhaupt in Betracht ziehst.
Für deine Anwendung sind eigentlich NVMes mit PCIe Gen4 genau das richtige, da kannst du aktuell mit bis zu 7GB/s einlesen.

 

[Xechon]

Schreibgeschwindigkeit dürfte irgendwo zwischen 50 und 300 Mb/s liegen. Es wird also nur sequenzielles Schreiben benötigt und das nicht mit Top Speed. Die SSD muss aber verlässlich diesen Speed halten können.

Und da hast du dein erstes Problem. Sobald der SLC-Cache weg ist, der zudem bei den gängigen QLC-Vertretern (z.B. Samsung 860/870 QVO) variabel (z. B. bis zu 72 GB bei einer 2 TB Samsung 860 QVO und nur 6 GB „fix“ davon. Der Rest ist vom Füllgrad der SSD abhängig) je nach Füllgrad der SSD ist, bricht die dir Leistung auf bis zu unter HDD-Leistung ein (also weniger als 160 MB/s). Der nächste Punkt ist, das beantwortet dir dann auch gleich 3f, TLC (SATA), zumindest eine gute, bricht dir eben nicht ein. Die hält ihre ~ 500 MB/s.

Sollten wir 3f mal ignorieren, dann kommt halt noch hinzu, dass QLC nicht so haltbar ist wie TLC. Für deinen Anwendungsfall eher suboptimal, würde ich behaupten.

QLC ist als Spieleplatte ganz gut, weil du ein Spiel i. d. R. nur einmal installierst (= egal wie groß es letztendlich ist) und dann nur noch liest (= keine Abhängigkeit vom SLC-Cache).

 

[Bard]

Die geringere Haltbarkeit von QLC ist auch nicht banal

Dem würd ich widersprechen.
Man wird nie an das Ende der Lebenszeit irgendeiner SSD kommen, noch nicht mal bei QLC, ausser die SSD verreckt aus anderen Gründen.

 

[tackleberry]

Je nach SSD und Größe kann bei QLC die Schreibleistung unter 100MB/s fallen, sobald der SLC Cache und DRAM erschöpft ist.
Ich würde einen Bogen um QLC machen, bei allen Anwendungen die über normale Systemlaufwerke hinausgehen. Die geringere Haltbarkeit von QLC ist auch nicht banal, wenn auf dem Laufwerk Fortlaufend Daten geschrieben werden.

Günstigere TLC Laufwerke sind kaum teurer als QLC, ich verstehe also nicht warum du QLC für diese Anwendung überhaupt in Betracht ziehst.
Für deine Anwendung sind eigentlich NVMes mit PCIe Gen4 genau das richtige, da kannst du aktuell mit bis zu 7GB/s einlesen.

Weil ich SSDs ab 4 TB brauche und es da kein einziges Modell im M.2 Format auf dem europäischen Markt gibt. Ich bin also bei M.2 eh stuck mit PCIe 3.0. Ich prüfe alternativ auch schon die Verwendung der U.2 / U.3 Schnittstelle auf einem X570 Board. Eine weitere Überlegung sind mehrere M.2 SSDs im RAID 0 auf einer PCIe (4.0) Erweiterungskarte. Dann müsste aber eine Capture Karte rausfliegen und die habe das nächste Beschaffungsproblem (Capture Card mit 2 HDMI in und einem HDMI out mit geringst möglicher Latenz...).

 

[Bard]

Da biste aber bei AM4 auf der falschen Plattform, da brauchste eher ein Threadripper-System oder das Intel-Pendant, wenn du soviele PCIe-Lanes für SSDs haben willst.

 

[tackleberry]

Da biste aber bei AM4 auf der falschen Plattform, da brauchste eher ein Threadripper-System oder das Intel-Pendant, wenn du soviele PCIe-Lanes für SSDs haben willst.

Ja, ich weiß. Ich warte auch schon auf den Threadripper 5000... Das sind aber noch mindestens 2 Monate für die ich eine Zwischenlösung brauche bzw. die SSDs würde ich ja auch mit dem Threadripper verwenden. Als 4 TB PCIe 4.0 SSD wäre die PNY XLR8 CS3040 angekündigt aber ich finde weltweit keinen Händler, der das Ding liefern kann.

 

[ghecko]

Und wenn du so eine PCIe zu M.2 Adapterkarte benutzt?
8x Gen4 reicht für 2 NVMe die du dann zu einem Volumen zusammenfügen kannst.
//ah, die Idee hattest du selbst schon.
Wenn dein Netzwerk schnell genug ist würde ich diese Datenmengen aber direkt Auf einen Netzwerkspeicher auslagern.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[lokon]

Auf Youtube gibt es zB bei LTT regelmäßig Updates wie ihr Produktions-Setup aussieht : von der Editing-Workstation bis zum Serverraum mit Datengrab.

Bei den SSD werden iirc teilw. Datacenter-SSDs (die mehr DWPD spezifiziert haben) und Optane SSD eingesetzt.
Die 2fach/4fach NVMe Trägerboards oder neulich gepostete bis zu 8in1 in 1 5.25 Icydock Tougharmor f. SATA/SAS/NVMe sort dafür dass genug Bandbreite genutz werden kann - keine "Platzprobleme" mehr.

Das Raid macht mit richtiger Backupstrategie ("Kameranegativ" ins Archiv und dieses mit Backup sichern) / Arbeiten über 25G/40G/100G LAN nur auf den "Temporärdateien" keine Probleme.

 

[peter.hahn]

Eine weitere Überlegung sind mehrere M.2 SSDs im RAID 0 auf einer PCIe (4.0) Erweiterungskarte. Dann müsste aber eine Capture Karte rausfliegen und die habe das nächste Beschaffungsproblem (Capture Card mit 2 HDMI in und einem HDMI out mit geringst möglicher Latenz...).

2x 2TB m.2 pci-e 3.0 x4 würde doch auch gehen, z.b. 970 evo plus 2tb als günstige Möglichkeit und zur Not im Raid auch ordentlich schnell.
oder halt anderes x570 board mit mehr pci-e slots

alles besser als QLC

 

[LadykillerTHG]

Wenn ich das so lese, würde ich fast über ein sata Raid von schnellen Festplatten nachdenken, die 300mb sind bei 2 platten 150mb pro platte, kein Problem. Tb gibt auch genug, nimmst ein raid5 mit 3 platten, hast noch eine gewisse Redundanz dazu, aber dein Anwendungfall, ist halt nicht der Standard, und da könnte man sowas echt überlegen, weil 300mb Konstant, macht keine ssd wenn der slc cache zu ende ist. Was den Datenmengen immer der fall sein wird, egal welcher Dram Typ.

https://ratgeber.pcgameshardware.de/festplatten-test-rangliste-beste-hdd

schau mal in die liste jede von denen liegt über den 150mb konstant, sollte also auch in betracht kommen, preislich natürlich auch noch billiger.

 

[6666david]

Für SSD's https://geizhals.de/?cat=hdssd&xf=1...52_7680~4930_10000&sort=p&hloc=at&hloc=de&v=e

Für HDD's https://geizhals.de/?cat=hde7s&xf=1...uerbetrieb~961_512&sort=p&hloc=at&hloc=de&v=e

 

[Dig.Minimalist]

Du bist einer der ersten der einen sinnvollen Usecase für PCIe 4.0 hat
TLC ist quasi gleich teuer wie QLC - daher TLC

Wenn dir eine 4TB SSD reicht kein Problem
Wenn du in den Bereich >4TB möchtest: PCIe Adspterkarte, z.B. https://www.asus.com/Motherboards-Components/Motherboards/Accessories/HYPER-M-2-X16-GEN-4-CARD/