Komprimierbare und nicht komprimierbare Daten

Hi,

oftmals lese ich in Tests von SSDs etwas von komprimierbaren und nicht komprimierbaren Daten. Bei Letzteren soll oftmals die Performance einer SSD massiv einbrechen. Was hat es damit auf sich? Zu was zählen z.b. komprimierbare Daten? Wie präsentiert sich das im Alltag?

na ja archive die bereits gepackt sind z.b vor allem die archive wie rar, zip etc die eh schon stark gepackt wurden lassen sich nicht weiter komprimieren. mp3 z.b auch nur marginal etc ...

Guck dir die Tests der Sandforce-basierten SSDs (insbes. mit 2xxx Controller) und dort von AS-SSD und ATTO an. Da siehst du an den Ergebnissen dann den Unterschied zwischen komprimierbaren und nicht komprimierbaren Daten.

AS-SSD ist in der Hinsicht wesentlich alltagstauglicher als ATTO, weil AS-SSD keine bzw. nur sehr wenig(e) komprimierbare Daten für den Benchmark (be-)nutzt.

Z.B. sind jpgs und/ oder mp3s bereits komprimiert und lassen sich nur unwesentlich weiter komprimieren. Gleiches gilt für Archive wie z.B. .zip, rar, etc.. Auch die lassen sich nicht mehr wirklich stark komprimieren.

Verstehe, im alltäglichen Umgang z.B. beim Erstellen neuer Videos (Videobearbeitung), Bilder (Photoshop) usw. hat das also keine Auswirkungen, weil dies alles komplett komprimierbare Daten sind? Weswegen ist der Transfer "komprimierbarer Daten" denn schneller als von denen, die doch eigentlich bereits komprimiert sind? Die komprimierbaren Daten werden doch dementsprechend (wenn ich es richtig verstehe) "komprimiert", so dass schnellere Datentransfers möglich sind? Richtig? Dann müssten doch im Grunde die Daten, die bereits komprimiert SIND doch noch schneller transferiert werden, da diese nicht vorher noch komprimiert werden müssen?

Oder ist da ein Denkfehler?

Bilder, Musik, Videos etc sind nicht komprimierbare Daten - da diese schon komprimiert sind.

(Kleiner Test: ZIP mal eine JPEG/MKV/AVI/MP4/MP3/AAC-Datei - da wirst du sehen, dass die komprimierungsrate im niedrigen einstelligen Bereich ist)

Komprimierbare Dateien sind i.d.R. Textdateien, Datenbanken etc...


Die komprimierbaren Daten lassen sich schneller übetragen, da diese WÄHREND der Übertragung komprimiert werden können - so lässt sich also ein Flaschenhals durch zu geringe Bandbreite vermeiden.

Um es mal ganz einfach zu erklären:
Man nehme ein Regenrohr:
Komprimierbare Daten: Sand (Wenig Luft dazwischen, kann man kleiner drücken)
Nicht-komprimierbare Daten: Kieselsteine (Luft dazwischen, Größe nicht veränderbar)

Daten, oder Dateien, sind eigentlich nix anderes als aufeinanderfolgende Zeichenfolgen, und im weiteren Verlauf nix anderes als Zahlenfolgen oder Nullen und Einsen. Komprimierung macht sich diese Tatsache zunutze und bewerkstelligt mit div. Algorithmen Deduplizierungen oder mathematische Hashes, dass die Menge kleiner wird. Mit manchen Dateien klappt das besser, weil sie recht "plain" sind (z.B. Textdateien, Datenbanken,...). Andere wiederum werden bereits aufgrund ihrer Natur komprimiert abgespeichert (.jpg z.B.). Deshalb spricht man von gut komprimiertbaren und schlecht komprimierbaren Dateien.

Manche SSD Controller (z.B. Sandforce) arbeiten mit diesem "Trick", indem sie die logische Dateimenge zuerst komprimieren, was darin resultiert dass sie physisch weniger zu schreiben haben. Das macht sie schneller, aber eben nur dann, wenn sich Daten verkleinern lassen.

Andere SSDs haben das nicht nötig, da sie auch so schnell genug sind, ohne sich einer Komprimierung zu bedienen (die Samsung Pro z.B.). Wenn du also Leistungstechnisch auf der sicheren Seite sein willst greifst du zu einer SSD, die einen Controller ohne diese Technik verwendet und trotzdem die Leistungsdaten bringt.

Und bei diesen Daten brechen die SSDs in der Leistung ein? Das sind doch im Alltag durchaus relevante Dateien... merkwürdig. Es geht in meinem Fall z.B. explizit um die Samsung 850 Pro... trifft dieses Verhalten bezüglich komprimierbarer und nicht komprimierbarer Daten hier auch zu? Ich sehe irgendwie nicht den Grund, warum Datentransfers bei z.B. Videos oder JPGs, MP3s usw. langsamer sein sollen als z.B. irgendwelcher unkomprimierter Daten...

Bei komprimierbaren Daten ist die Datenübertragungsrate deshalb höher als bei nichtkomprimierbaren Daten, weil von der Nichtkomprimierten Datenmenge ausgegangen wird, tatsächlich aber die komprimierte geschrieben wird. Beispiel:

Eine Datei (z.B. Datenbank, ideal zum Komprimieren) ist 100 GB groß. Die kopierst Du auf die SSD, dabei wird sie durch den Controller komprimiert, sagen wir mal optimistisch Faktor 10. Also müssen nur 10 GB auf die SSD geschrieben werden. Diese 10 GB schafft die SSD bei 500 MB/s in 20 sec - Das Kopierprogramm sieht aber nur die 100 GB (unkomprimierte Größe) und die 20 sec Kopierzeit und rechnet Dir also 5 GB/s als Übertragungsrate aus. Sicher kostet das Komprimieren selbst auch noch ein bisschen Zeit, aber in dem Beispiel blieben dann trotzdem bestimmt noch 4 GB/s übrig.

Wenn du 1GB komprimierte Daten hast und 1GB unkomprimierte Daten hast,
dann ist bas bei den 1GB unkomprimierte Daten schneller weil diese ja von der SSD noch
komprimiert werden können und somit effektiv gar kein 1GB mehr ist. Die 1GB Daten
die bereits komprimiert sind bleiben 1GB.

Nein, bei der Samsung 850pro trifft das nicht zu, das war vor allem ein Problem der Sandisk SSDs.

Die Samsung Pro hat keinen Sandforce Controller und arbeitet afaik nicht mit der Komprimierungstechnik, sollte daher die Leistung unabhängig der Beschaffenheit der Dateien bringen. Jedenfalls war das bei den Vorgängern (830pro, 840pro) so.

Solange die CPU schneller die Daten komprimieren kann als ein Medium sie wegspeichern lohnt es sich die Daten zu komprimieren da weniger Daten geschrieben werden müssen so => ergo steigt die Geschwindigkeit bei komprimierbaren Daten.

Da kannste sogar ne bitmap Datei schneller übertragen als der Sata3 Standard es hergibt, sprich mit über 600MB/s

Die CPUs sind mittlerweile so schnell dass sie sowas "nebenbei" erledigen können. Bei ZFS gibts zb LZ4 Komprimierung. Es steigert die Leistung

Okay, also bin ich unterm Strich mit der Samsung 850 Pro auf der sicheren Seite mit guter Schreib/Lese-Leistung?

die samsung 850Pro ist als sata ssd mit
eines der besten in sachen mainstreamhardware

Okay, gut zu wissen. Mein Board kann auch M.2, aber meines Wissens nach sind diese SSDs nicht bootfähig, richtig?

Selbst- und eigenständig z.B. den Test hier auf CB suchen und lesen https://www.computerbase.de/2014-07/samsung-850-pro-ssd-test-vergleich-840-128-gb-1-tb/ und natürlich auch noch einen Blick in den extra oben angepinnten [Sammelthread] Kaufberatung und Fragen zu SSD werfen und sich die dort gelisteten Empfehlungen aufgrund der Tests der Redaktion ansehen und anschließend entscheiden!

Jain, eine M.2 ist dann Bootfähig, wenn sie entweder vom UEFI nativ unterstützt wird oder einen nativen Controller oben hat.

Die Plextor M6e z.B ist generell bootfähig, während die Samsung XP941 das nicht ist, es aber MoBos gibt, deren UEFI sie unterstützten und sie dadurch bootfähig machen (z.B. einige ASUS Boards).

nittels schrieb:

[...]Komprimierung macht sich diese Tatsache zunutze und bewerkstelligt mit div. Algorithmen Deduplizierungen oder mathematische Hashes, dass die Menge kleiner wird.[...]

Zum Vergrößern anklicken....

Das ist Blödsinn. Einmal gibt es keine nicht-mathematisch/logischen Hashes, und zweitens sind Hashes nur zur Validierung ausgelegt und besitzen eine feste Größe, und werden daher bei Komprimierungs-Algorithmen nur zu Validierungszwecken (in Form einer Prüfsumme) benutzt.

Senfgeist schrieb:

Verstehe, im alltäglichen Umgang z.B. beim Erstellen neuer Videos (Videobearbeitung), Bilder (Photoshop) usw. hat das also keine Auswirkungen, weil dies alles komplett komprimierbare Daten sind?

Zum Vergrößern anklicken....

Extrem komprimierbare Daten enthalten alle den gleichen Wert und damit keine Informationen, wie ein Bild das nur weiß ist. Wenn Du das als bmp speicherst, dann sind alle Werte gleich und damit extrem gut komprimierbar. Speicherst Du es in einem Format welches selbst schon komprimiert ist, wie png, jpg, etc, (eigentlich alle üblichen Formate, außer den Rohformaten), dann wird die Datei sehr klein und diese schon komprimierte Daten lässt sich nicht mehr weiter komprimieren.

Mediendateien sind praktisch immer schon komprimiert und lassen sich nicht mehr verlustfrei weiter komprimieren und die verlustbehaftete Komprimierung, das ist was die ganze Codecs machen, darf so ein Controller einer SSDs nicht machen, das wäre viel zu aufwändig, Du würdest Dich nett bedanken statt hochauflösenden Material plötzlich z.B. ein Bild oder Video mit geringere Qualität zu haben und es bei anderen Archiven und Programmen auch tödlich wenn da auch nur ein Bit geändert würde.

Senfgeist schrieb:

Dann müssten doch im Grunde die Daten, die bereits komprimiert SIND doch noch schneller transferiert werden, da diese nicht vorher noch komprimiert werden müssen?

Zum Vergrößern anklicken....

Daten die schon komprimiert sind, kann man nicht weiter komprimieren. Probiere es mal mit einem zip Archiv aus, dass können auch rar und 7z dann meist nicht mehr nennenswert komprimieren, selbst wenn sie das Ausgangsmaterial viel besser komprimiert bekommen hätten.

Senfgeist schrieb:

Und bei diesen Daten brechen die SSDs in der Leistung ein? Das sind doch im Alltag durchaus relevante Dateien... merkwürdig.

Zum Vergrößern anklicken....

Nur die, bei denen eine Datenkompression verwendet wird und das sind ie Sandforce. Bei dem Phison S8 bin ich mir nicht ganz sicher ob der nicht eine einfache Datendeduplizierung hat, denn bei extrem komprimierbaren Daten hat der in einige Tests komischerweise sehr viel bessere Werte als bei teilweise oder gar nicht komprimierbaren Daten.

Senfgeist schrieb:

Okay, gut zu wissen. Mein Board kann auch M.2, aber meines Wissens nach sind diese SSDs nicht bootfähig, richtig?

Zum Vergrößern anklicken....

Welches Board ist es denn und um welche SSD geht es? Die allermeisten M.2 SSDs haben nur ein SATA 6Gb/s Interface, da gibt es keine Bootprobleme, aber auch keine Geschwindigkeitsvorteile gegenüber den 2.5" SSD mit SATA 6Gb/s, da ändert sich ja auch nur die Bauform, also der Formfaktor. Die Plextor M6e hat ein PCIe 2.0 x2 Interface und mit der gibt es keine Bootprobleme, aber man bekommt auch nur etwa 200MB/s mehr Bandbreite, was den Aufpreis eigentlich nicht rechtfertigt. Lohne tut sich als M.2 allenfalls die Samsung XP941, aber das ist eine OEM SSD, die hat kein Option ROM und botet nur auf Systemen der UEFI dies explizit unterstützt, wie dem ASRock Z97 Extreme 6.

Es ist ein ASUS X99 Deluxe, das unterstützt M.2 x4 und ist damit pfeilschnell.

Und welche SSD und welche GPUs sind noch verbaut?

So oder so merkt man in der Praxis keinen Unterschied. Ob M.2 x2, M.2 x4 oder SATA III. Nur wenn Du den ganzen Tag GB hin un her kopierst.