40TB SSD Rechner speed beim kopieren teils bei nur 30MB/sec - zu wenig Lanes?

[photom]

• Prozessor (CPU): 9700k
• Arbeitsspeicher (RAM): 64GB DDR4
• Mainboard: Gigabyte Z390 Aorus Pro
• Netzteil: …
• Gehäuse: …
• Grafikkarte: …
• HDD / SSD: Crucial P5, Crucial P3, Kingston NV2, Sandisk SATA, Samsung QVO usw.
• Weitere Hardware, die offensichtlich mit dem Problem zu tun hat(Monitormodell, Kühlung usw.):

Hallo Leute,
ich bin Hauptberuflich Fotograf und habe von den letzten 20 Jahren meiner Tätigkeit ca. 35TB Daten (hauptsächlich Shootings mit Models) auf die ich gern immer Zugriff hätte (ab und zu - fast jeden tag- muss ich Fotos aus den Archiven raussuchen und in den Archiven durchblättern)
Bis vor paar Monaten hatte ich nur 2x M.2 und 2xSATA SSD und sonst alle daten auf 2x18TB HDD
SSDs sind jetzt aber extrem günstig geworden, also habe ich in den letzten Monaten aufgerüstet.
Das alles ging sehr gut und flott bis ich die letzten 2 Stück M.2 4TB SSD in den zwei 1x Adaptern angesteckt haben. Seit dem habe ich böse Performance Probleme.
Hier verschiedene Szenarien wenn man Daten kopiert:
Wenn man z.B. Daten (Viele 25MB Dateien) von einer externen HDD (USB) auf die obere M.2 im 1x Adapter kopieren will, geht es nur mit 30MB/sec

Wenn man aber die gleichen daten von der gleichen externen HDD auf z.B. eine SATA oder eine andere M.2 SSDs kopiert geht es schon mit 200MB/Sec. (viel mehr gibt die HDD ja nicht her) Da könnte man natürlich meine dass die M.2 SSD im 1x Adapter was hat, aber wenn man z.B. von einer anderen M.2 auf sie kopiert gehen schon 600-3000MB/Sec. Von manchen SSD aber auch nur mit 150MB/sec haha
Mir ist bewusst, dass manche der günstigeren SSD wie z.B. die P3, NV2 oder gar die 870QVO von der SLC-Cache Problematik betroffen sind. Aber 1. passiert die langsame übertragungsrate schon am Anfang und 2. sollte es dann doch mehr als 30MB/sec sein
Wenn man beide M.2 1x Adapter entfernt und die SSD per USB in einem externen Gehäuse betreibt. Sind die übertragungsraten bereits bei 800-900MB/sec von anderen SSD und bei 200MB/sec von der HDD.
Da wäre in Ordnung aber scheint mit keine Dauerlösung zu sein. Vor allem deshalb nicht, weil die externen M.2. SSD ohne dass man auf die zugreift bereits 45 Grad haben und selbst wenn der PC aus ist (USB wird ja weiterhin versorgt) noch 40 grad.
Das ist zwar keine hohe Temperatur für eine SSD aber muss auch nicht sein.
(Werden die M.2 SSD im Externen Gehäuse eigentlich von sich auch langsamer wenn Sie zu heiss werden? Weil die Temperatur kann ich dann mit Crystal Info nicht mehr auslesen sobald die über das USB Gehäuse angebunden sind)

Gibt es da eine Lösung für mich ausser einen neuen PC zu kaufen? Weil mit der CPU Speed von meinem bin ich sehr zufrieden
HDD mag ich im System nicht mehr (Verwende nur 4x18TB als Backup) weil die
1. zu laut sind und 2. zu langsam sind
Versteht mich nicht fallsch...ich brauche keine 5000MB/sec in Wahrheit reicht mir von ich von einer SSD auf eine andere mit 500MB/Kopieren kann...30MB/sec ist aber eindeutig zu wenig.
Wenn ich einen neuen PC kaufe dann wohl einen AMD oder?
ps. auf 8TB SSD M.2 umzusteigen ist keine Option weil die verglichen mit 4TB absurd viel kosten.
ps2. alles ist Bitlocker verschlüsselt aber ich glaube nicht, dass es eine Rolle spielt
ps3. leider kann mein rechner keine pcie bifurcation sonst wäre das natürlich eine MEGA LÖSUNG
https://www.amazon.de/Adapter-RIITO...id=1690723337&sprefix=nvme+4x,aps,132&sr=8-10

LG aus Wien

 

[madmax2010]

Crucial P3, Kingston NV2

bei denen sind 30MB/s zu erwarten. Ist zwar schon worst-case, aber passiert schnell. Das sind QLC SSDs die darauf ausgelegt sind, dass daten 1x drauf abgelegt und dann eigentlich nur noch gelsesen werden. Mixed load oder viel schreiben ist da nicht so smart. MB/s vom dtenblatt sind dieunwichtigste Metrik fuer die Performance deiner SSD
Selbes gilt bei den QVO


Warum hast du dir nicht einfach 2 bis gescheite NVMe16TB SSDs gekauft? weniger hacky und funktioniert..

 

[Yibby]

Das alles ging sehr gut und flott bis ich die letzten 2 Stück M.2 4TB SSD in den zwei 1x Adaptern angesteckt haben. Seit dem habe ich böse Performance Probleme.

Wenn man beide M.2 1x Adapter entfernt und die SSD per USB in einem externen Gehäuse betreibt. Sind die übertragungsraten bereits bei 800-900MB/sec von anderen SSD und bei 200MB/sec von der HDD.

Also zusammengefasst:
Sobald zu viele SSDs im PC sind, dann bricht die performance ein? Oder ist die Performance auch bei einzelnen SSDs schlecht?

 

[photom]

bei denen sind 30MB/s zu erwarten. Ist zwar schon worst-case, aber passiert schnell. Das sind QLC SSDs die darauf ausgelegt sind, dass daten 1x drauf abgelegt und dann eigentlich nur noch gelsesen werden. Mixed load oder viel schreiben ist da nicht so smart. MB/s vom dtenblatt sind dieunwichtigste Metrik fuer die Performance deiner SSD
Selbes gilt bei den QVO


Warum hast du dir nicht einfach 2 bis gescheite NVMe16TB SSDs gekauft? weniger hacky und funktioniert..

Hallo, ich denke du hast mich falsch verstanden.
Die Geschwindigkeit ist abhängig von der Quelle.
Selbst die QVO geht aber nach dem Cache noch 160MB/sec. Aber QLC ist in dem Fall nicht das Problem.
"2 bis gescheite 16TB SSD?" Was meinst du damit`?

Ergänzung (30. Juli 2023)

Also zusammengefasst:
Sobald zu viele SSDs im PC sind, dann bricht die performance ein? Oder ist die Performance auch bei einzelnen SSDs schlecht?

Hallo, nur wenn viele SSD im System sind. Einzeln sind die SSD alle schnell genug

 

[madmax2010]

"2 bis gescheite 16TB SSD?" Was meinst du damit`?

https://geizhals.de/samsung-oem-datacenter-ssd-pm9a3-15-36tb-mzql215thbla-00a07-a2785342.html

 

[photom]

die habe ich schon gesehen. Die ist wirklich sehr günstig.
Der U.2 anschluss und keine Garantie da OEM sind aber ein Problem

 

[zivilist]

Ich würde einen neuen Rechner mit ausschließlich NVMe 4.0 SSDs mal zusammenschrauben. Hier dann überhaupt kein QLC verwenden. Dein Rechner hat schon ein paar Jahre auf dem Buckel, kann man aber bestimmt noch gut verkaufen (mit einer SSD um das Betriebssystem zu installieren).

Dann sind 35 TB aufzubewahren gar nicht so günstig. Richtig schnelle HDDs schaffen auch locker über 100 MB/s. In einem 1 Gbit/s Netzwerk, beispielsweise in einer flotten NAS, wäre doch das auch eine gute Möglichkeit der Aufbewahrung?

Viele kleiner Dateien lesen/schreiben reduziert die Datenrate. Große Dateien sind schneller Hinrunde her kopiert bzw. verschoben.

 

[FUSION5]

Gibt ja noch andere Hersteller abseits Samsung, die sich mit der Garantie gegenüber Endkunden nicht so anstellen.

Und dann einen U.2 auf M.2 Adapterkabel oder PCIe Adapterplatine.

 

[photom]

leider zu absurden Preisen. Schau mal auf Geizhals

 

[FUSION5]

Ich kenne die Preise. Ab wie viel Euro pro TB ist der Preis für dich absurd?

 

[schneup]

Bei sovielen Daten wuerde ich ein vernuenftige NAS mit SSD Cache in Erwaegung ziehen, z.B. das Asustor AS6706T. Mit 6 HDD/SSD Einschueben + 4 M.2 NVMe Slots kannst Du relativ flexibel ein fuer Dich passendes System aufbauen. Mit 2x2.5 Gb/s (oder optional 10 Gb/s) Ethernet geht auch der Transfer zum PC recht flott. Mit passendem RAID Modi hast Du auch eine Redundanz gegen HDD/SSD Ausfaellen (separates Backup natuerlich weiterhin noetig).

 

[DJMadMax]

habe von den letzten 20 Jahren meiner Tätigkeit ca. 35TB Daten (hauptsächlich Shootings mit Models) auf die ich gern immer Zugriff hätte (ab und zu - fast jeden tag- muss ich Fotos aus den Archiven raussuchen und in den Archiven durchblättern)

Ohne den Rest, den du noch geschrieben hast (keine Bange, habs natürlich trotzdem gelesen und gehe gleich darauf ein) an dieser Stelle zu berücksichtigen, würde jeder vernünftig denkende Mensch hier ein NAS an's Netzwerk hängen und zwar mit klassischen Festplatten, die einen günstigen Preis pro TB bieten. Gleichzeitig aber bitte an ein adäquates, dezentrales Backup denken, sei es ausgelagerte Festplatten, Cloud, was auch immer.

Bis vor paar Monaten hatte ich nur 2x M.2 und 2xSATA SSD und sonst alle daten auf 2x18TB HDD
SSDs sind jetzt aber extrem günstig geworden, also habe ich in den letzten Monaten aufgerüstet.

Das war meiner Meinung nach ein Fehler. SSDs haben gewiss nicht die Aufgabe, einfach nur knappe 40 TB an Fotos vorzuhalten und permanent verfügbar zu machen. Klar kann man das mit SSDs erschlagen, aber dann tut man das nicht mit gefühlt 20 verschiedenen Datenträgern, sondern immer mit so wenigen wie möglich, gleichzeitig aber so vielen wie nötig.

bei denen sind 30MB/s zu erwarten. Ist zwar schon worst-case, aber passiert schnell. Das sind QLC SSDs die darauf ausgelegt sind, dass daten 1x drauf abgelegt und dann eigentlich nur noch gelsesen werden.

Korrekt. Zumal es stark davon abhängig ist, wie voll die SSDs sind. Je voller eine QLC-SSD, desto weniger profitiert sie noch von ihrem Cache, falls überhaupt vorhanden.

Warum hast du dir nicht einfach 2 bis gescheite NVMe16TB SSDs gekauft? weniger hacky und funktioniert

Entweder das, oder eben mehrere 4 TB M.2 auf einer einzelnen Riser-Card, wenn denn unbedingt der ganze PC dafür laufen muss.

Erneut: ein NAS wäre hier deutlich ratsamer.

Der U.2 anschluss und keine Garantie da OEM sind aber ein Problem

Der U.2-Anschluss ist weder problematisch, noch interessiert irgend eine Herstellergarantie. Du kaufst doch beim Händler, also hast du auch zwei Jahre Gewährleistung - zumindest in DE und den meisten EU-Ländern.

 

[madmax2010]

Der U.2 anschluss und keine Garantie da OEM sind aber ein Problem

warum ist u.2 ein problem?
Warum ist OEM ein Problem? Du hast doch ein Gewerbe..

 

[photom]

Ich würde einen neuen Rechner mit ausschließlich NVMe 4.0 SSDs mal zusammenschrauben. Hier dann überhaupt kein QLC verwenden. Dein Rechner hat schon ein paar Jahre auf dem Buckel, kann man aber bestimmt noch gut verkaufen (mit einer SSD um das Betriebssystem zu installieren).

Dann sind 35 TB aufzubewahren gar nicht so günstig. Richtig schnelle HDDs schaffen auch locker über 100 MB/s. In einem 1 Gbit/s Netzwerk, beispielsweise in einer flotten NAS, wäre doch das auch eine gute Möglichkeit der Aufbewahrung?

meine Rechner die zu alt sind bekommen immer meine Eltern...Geld gibt es dafür kaum.
HDD ist für mich wirklich keine Option. HDD schaffen schon lange über 100MB/sec. Selbst meine externen 18TB WD Bringen 200-250mB/sec. Aber ich möchte einfach keine HDD (Ausser für Backup)
QLC ist mir eh ein Dorn im Auge. Aber in der Praxis habe ich kein Problem damit. Vorallem die P3 wird erst nach 1TB (!!!) auf einmal schreiben langsamer. Das kommt in der Praxis echt nie vor. Ausser beim ersten mal voll machen.
Die 8TB SATA Samsung hat leider nur 80GB schnellen speicher und dann nur mehr 160mB/sec.
Was aber auch noch ok ist. Leider gibt es aber bei 8TB echt keine wirklichen alternativen

 

[DJMadMax]

@photom
Dann solltest du vielleicht einfach auf eine Riser-Card umsteigen und dort sechs bis acht NVME M.2-SSDs verbauen und sie im RAID5 laufen lassen, dann hast du weiterhin den gewünschten Dadendurchsatz bei gleichzeitig gehobener Ausfallsicherheit und möglichst bestem TB pro Euro-Verhältnis.

 

[photom]

Ohne den Rest, den du noch geschrieben hast (keine Bange, habs natürlich trotzdem gelesen und gehe gleich darauf ein) an dieser Stelle zu berücksichtigen, würde jeder vernünftig denkende Mensch hier ein NAS an's Netzwerk hängen und zwar mit klassischen Festplatten, die einen günstigen Preis pro TB bieten. Gleichzeitig aber bitte an ein adäquates, dezentrales Backup denken, sei es ausgelagerte Festplatten, Cloud, was auch immer.

Ich habe alles mehrfach gesichert (sogar an einem anderen ort wegen wasser, diebstahl und brand)

Das war meiner Meinung nach ein Fehler. SSDs haben gewiss nicht die Aufgabe, einfach nur knappe 40 TB an Fotos vorzuhalten und permanent verfügbar zu machen. Klar kann man das mit SSDs erschlagen, aber dann tut man das nicht mit gefühlt 20 verschiedenen Datenträgern, sondern immer mit so wenigen wie möglich, gleichzeitig aber so vielen wie nötig.


Korrekt. Zumal es stark davon abhängig ist, wie voll die SSDs sind. Je voller eine QLC-SSD, desto weniger profitiert sie noch von ihrem Cache, falls überhaupt vorhanden.

ich habe es ausprobiert. Meine SSD haben die gleiche speed selbst wenn sie fast voll sind.

Entweder das, oder eben mehrere 4 TB M.2 auf einer einzelnen Riser-Card, wenn denn unbedingt der ganze PC dafür laufen muss.

Die Karte geht bei mir leider nicht da mein PC keine Bifurcation unterstütz

Erneut: ein NAS wäre hier deutlich ratsamer.


Der U.2-Anschluss ist weder problematisch, noch interessiert irgend eine Herstellergarantie. Du kaufst doch beim Händler, also hast du auch zwei Jahre Gewährleistung - zumindest in DE und den meisten EU-Ländern.

Du meinst wohl ein NAS mit HDD?
Danke für die ausführlichen Antworten

Ergänzung (30. Juli 2023)

warum ist u.2 ein problem?
Warum ist OEM ein Problem? Du hast doch ein Gewerbe..

kann man kaum wieder verkaufen und leider braucht man Adapter weil es mein Board nicht kann
Ja, aber garantie ist dann tzrotzdem kürzer mir scheint.

 

[DJMadMax]

Die 8TB SATA Samsung hat leider nur 80GB schnellen speicher und dann nur mehr 160mB/sec.
Was aber auch noch ok ist. Leider gibt es aber bei 8TB echt keine wirklichen alternativen

https://geizhals.de/corsair-force-series-mp600-pro-nh-8tb-cssd-f8000gbmp600pnh-a2829393.html

Es gibt hervorragende 8 TB SSDs und wie so oft gilt: you get what you pay for.

Womit fotografierst du? Mit einer Disney Kinderkamera oder unter anderem halt doch mit der Nikon aus deinem Avatar? Ich weiß, dass ein guter Fotograf auch mit weniger gutem Equipment dennoch gute Fotos schießen kann, aber gleichzeitig kann man eben auch mit langsamen, schlechten SSDs bzw. einem total verkorksten Anschlusskonzept selbiger (wie in deinem Fall) dennoch Daten speichern - es dauert halt seine Zeit.

 

[photom]

@photom
Dann solltest du vielleicht einfach auf eine Riser-Card umsteigen und dort sechs bis acht NVME M.2-SSDs verbauen und sie im RAID5 laufen lassen, dann hast du weiterhin den gewünschten Dadendurchsatz bei gleichzeitig gehobener Ausfallsicherheit und möglichst bestem TB pro Euro-Verhältnis.

meins das ? Mein PC kann leider keine Bifurcation
https://www.amazon.de/Adapter-RIITO...id=1690723337&sprefix=nvme+4x,aps,132&sr=8-10

 

[DJMadMax]

Die Karte geht bei mir leider nicht da mein PC keine Bifurcation unterstütz

Und auch das ist ein Umstand, der sich ändern lässt.

 

[zivilist]

Dann habe ich dein Problem nicht verstanden: Flotte SSDs holen (mit Cache!), oder flotte HDDs. Die SSDs oder HDDs in den Rechner einbauen oder in eine NAS. Ab ca. 125 MB/s in der NAS brauchst du eher 2,5 GBit/s oder schnelleres Netzwerk und natürlich dann eine passende NAS. Es gibt auch NAS Systeme die nutzen SSDs als Cache und haben sonst HDDs. Wäre vielleicht auch ne Überlegung. U.a. Synology können das.

Backup: glaub nicht dass du immer Zugriff auf den vollen Bestand in hohen Datenraten brauchst. Da reichen doch ganz locker HDDs.

Ab besten nichts mit irgendwelchen Adapterkarten machen, kann Performance ausbremsen.