Winrar Dateien komprimieren sehr langsam

[djsnoob]

Kann mir jemand mal das prinzip von Winrar erklären?

Ich möchte eine Film Datei in größe von 1,35GB komprimieren.

Winrar.exe, Temp Ordner befinden sich auf C:\ auf der SSD

Die Film Datei befindet sich auf D:\ auf dem Raid Laufwerk.

Wenn ich aber nun ein Winrar Archiv auf Laufwerk C:\ errichte und die Film Datei mit der rechten Maustaste einfügen und Laufwerk C anwähle, komprimiert er diese Datei auch. Aber das verfahren dauert viel zu lange. Habe beste Komprimierung ausgewählt.

CPU Auslastung ist bei 35%. Laut Windows 7 Leistungsüberwachung schreibt er diese Datei mir nur 8MB/s. Normalerweise müsste da doch die Sequentionelle Schreibrate der SSD stehen und das in meinem Fall bei ca. 200MB/s

 

[Yuuri]

Von wo wird denn gelesen? Und warum sollte sequentiell gelesen werden? Lies dich mal in Fragmentierung ein. Nur weil es Raid heißt, muss nicht sequentiell gelesen werden können. Übrigens bringt dir ein zippen von bereits komprimierten Daten nichts, außer Overhead und somit einen erhöhten Speicherbedarf.

 

[djsnoob]

Hi Yuuri, hübsches Bild .

Das archivieren mit Winrar macht er innerhalb einer Partition bzw HDD.

Meiner Vorstellung nach, sollte er die archivierende Datei von D nehmen und ins Temp Ordner packen und von da aus dann ins archiv packen. Wenn das falsch ist was ich denke, erschießt mich.

So siehts im Arbeitsplatz aus.


So siehts es aus, wenn ich mit Winrar archiviere. Wie man da sieht, geht das ganze mit ca. 3MB/s



und so, wenn ich mit Winzip archiviere.



mit Winzip gehts zwar etwas schneller, aber müsste mehr drin sein.
Es ist ja keine 4kb Datei sondern eine über 1GB große Datei.

Hier mal ein bench meiner SSD (links) sowie der Raid (rechts)

 

[LinuxMcBook]

Na was kann denn so einen Archivierungsvorgang noch bremsen, wenn es nicht gerade die Festplatte ist? Richtig, die Auflösung. Ach nein falsch, die CPU. Du müsstest mal gucken, wieso deren Auslastung bei nur 35% liegt? Vielleicht nur 1oder 2 Kerne, dafür die aber 100%?

Ich sag dir aber gleich, normalerweise reicht es, wenn man eine Filmdatei mich geringster Kompression packt. Und auch nur um sie danach als Splitarchiv auf Rapidshare zu laden.
Bei fast jeden Codec (die dafür da sind, eine Datei so klein wie möglich zu machen - na, welches Programm macht sowas noch?) ist einfach nichts mehr durch 7-zip etc. zu komprimieren.

 

[Holt]

Wie ist denn die Auslastung der einzelnen CPUs im Taskmonitor? 35% gesamt sagt ja nicht viel, wenn WinRAR nur zwei Thread startet und die maximal ausgelastet sind, dann wird eben nur 33% (plus 2% für andere Windows Threads) im ganzen benutzt, aber die CPU ist trotzdem der limitierende Faktor. Probier es mal durch Reduzierung der Kompressionsrate aus.

 

[djsnoob]

Es geht mir eigentlich garnichts ums Packen oder hochladen und verteilen, sondern mich hat es gerade erwischt und interessiert gerade, warum so lahm.

Mir gehts gerade darum, das ich die SSD neu gekauft habe, um meine Videocodierungen wegen meines Nebenjobs, schneller zu codieren bzw, die SSD sollte als Schreibplatte für temp. Dateien sein.

Zu der frage mit der CPU, es werden am 1055T X6 3,5GhZ alle 6 Kerne fast gleichermaßen ausgelastet. Dabei liegt die Auslastung jetzt bei ca. 50%. Mehr als 50% ist aber nicht drin.

Kurz gesagt ist, ich komme mit dem Windows Leistungsüberwachungsdienst nicht ganz klar. Ich möchte sehen, das da steht, mit wieviel MB/s die datei gerade archiviert wird .

Winrar 64x.

 

[LinuxMcBook]

Probier mal 7-zip aus zum Beispiel, das nutzt eigentlich die Kerne recht gut aus.

 

[djsnoob]

habe ich soeben mal installiert.

Das Archivieren auf C ist genauso langsam wie auf D.



Wenn ich aber c nach d archiviere mit der kompressionsrate speichern, dann sieht das so aus .



Ich hoffe ihr könnt mir weiterhelfen.

 

[Hardkorn]

Hast Du in Winrar auch Multithreading aktiviert?


Edit:

Zu der frage mit der CPU, es werden am 1055T X6 3,5GhZ alle 6 Kerne fast gleichermaßen ausgelastet. Dabei liegt die Auslastung jetzt bei ca. 50%. Mehr als 50% ist aber nicht drin.

Hab ich nicht gesehen.

 

[djsnoob]

ja ist aktiviert. Sonst würden ja nicht alle Kerne anspringen

 

[Nutzer_50300]

Das da nicht die volle Übertragungsrate daherkommt ist doch völlig klar

Es wird ja nix kopiert sondern es wird ja komprimiert, das ist halt CPU und RAM Arbeit und daher hast du nicht den vollen Speed

Ich kann 7-Zip nur empfehlen und ansonsten ist Speicherplatz so oder so so günstig geworden wenn es nicht immer ne' SSD sein muss sodass sich das eh nicht lohnt.

Das einzige was man noch mitnehmen kann ist vom NTFS dieses Komprimierung die scheint ein bisschen etwas zu bringen, lustigerweise macht diese sogar die Laufwerke schneller.
Anscheinend weil die Dateien bevor sie verwendet werden können schneller von den Platten übertragen werden zum 1. und zum 2. dabei nur sehr wenig vorige CPU-Arbeit anfällt damit die Dateien dann auch wirklich verwendet werden können. (USB-Platten werden sogar ein wenig schneller)


Gruß Dennis_50300

 

[djsnoob]

Ja aber warum wird CPU und Ram nicht ausgenutzt? Wofür geben andere Leute hunderte von euros aus, um solche arbeiten schneller machen zu lassen. Also das kann ja nicht die antwort dafür sein.

 

[HisN]

Wenn man von Ramdisk in Ramdisk packt/entpackt dann kommt bei mir so etwa 85% Prozessorlast zusammen (bei einem 4-Kerner). Ich schließe da von mir auf andere: In der Regel ist ein Komprimierungs-Vorgang Storage-System-Limitiert.

Von der SSD auf die Ramdisk sind es sogar nur noch 65% bei einem 4-Kerner.

 

[Yuuri]

In der Regel ist ein Komprimierungs-Vorgang Storage-System-Limitiert.

Oben beschriebenes Szenario: 7z, LZMA2, 4 Kerne, Film von RAMDisk auf RAMDisk:

Speichern = > 400 MB/s
Schnellste = 16 MB/s
Schnell = 9 - 10 MB/s
Normal = 8 - 9 MB/s
Maximum = 8 - 9 MB/s
Ultra = 8 - 9 MB/s

@ DJSnooker: Weil es nicht nötig ist. Wozu sinnlos die CPU belasten? 7z belastet alle Kerne, trotzdem steigt die Geschwindigkeit nicht. Da werden wohl auch die Kompressionstärken des Algorithmus hervorgehoben, da 7z ein klein wenig besser komprimiert als rar.

Für was geben Leute hunderte Euro aus? Packprogramme gibts wie Sand am Meer und Kostenlose, welche besser sind als Kostenpflichtige (7-Zip, FreeArc, PeaZip u.s.w.).

 

[djsnoob]

Ich habe das ganze mit einer Avi datei gemacht. Sollte ich es vielleicht mal mit einer anderen Datei ausprobieren?

 

[Yuuri]

Bringt auch nichts. Wenn du Daten nimmst, welche sich besser komprimieren lassen (Text-Dateien bspw.) sinken die MB/s nur, da die CPU mit Komprimieren beschäftigt ist. 50 MB Textfile in der RAMDisk bringen bei mir im Ultra-Setting 2 MB/s.

 

[Nutzer_50300]

Zumal eine AVI sehr wahrscheinlich Xvid oder Divx mit mp3 als tonspur drin haben werden in dem Container.
Das ist ja schon komprimiert da bringt es eigentlich rein garnix

Genauso mit mp3-Dateien, bei Flac macht es noch ein bissle was her und *.txt-Dateien gehen richtig gut.
Wie das mit *.doc u.s.w. aussieht weis ich nicht, am besten ist einfach die Partition vom NTFS aus komplett zu komprimieren und danach passt eigentlich schon alles.

Diese ganze Packerei ist eigentlich so im grossen und ganzen total sinnlos, Speicherplatz ist einfach viel zu günstig um das man da Geld in's System investieren muss damit das nun schneller geht.

Für so Sachen wie Rapidshare (Ich weise ganz vorsichtig mal auf Urheberrechte hin, so von wegen AVI ohne Anschuldigungen in den Raum stellen zu wollen ), es gibt auch Programme womit man Dateien direkt splitten kann und auch wieder zusammenführen.

Das geht dann so oder so um einiges schneller und macht dann auch mehr Sinn, das ganze könnte so aussehen;

Originaldatei: Sylvester 1999-2000.avi 500MB

Gesplittet: Sylvester 1999-2000 Part1.avi.000 und Sylvester 1999-2000 Part2.avi.001 jeweils 250MB


Gruß Dennis_50300

 

[Holt]

ja ist aktiviert. Sonst würden ja nicht alle Kerne anspringen

Das sagt alleine mal garnichts aus, denn Windows bindet nicht einen Tread an einen Kern sofern man das nicht im Programm selbst gemacht hat oder MS dies wegen der Turbotechnologien moderner CPUs nicht jüngst gepatcht hat. Hat man bei 4 Kernen immer nur knapp über 25% Auslastung, so ist in Wirklichkeit nur ein Thread aktiv und wie der über die Kerne verteilt wird, sieht man im Taskmanager.

Was Du willst ist den Flaschenhals im System finden und da gibt es 3 Kandidaten:
1. I/O System wobei Quell- Ziel- und/oder Templaufwerk in Frage kommen.
2. CPU wobei hier die Auslastung aller Cores durch mangelnde Parallelität der Anwendung ggf. nicht erfolgen kann
3. RAM Durchsatz denn der spielt gerade bei WinRAR und anderen Packer eine große Rolle

Wie kannst Du jetzt jeden einzelnen Punkt prüfen?
1. Hier einfach mal einen Datei von Qulle noch Ziel direkt und einmal über Temp kopieren und die Zeit stoppen, die Anzeige im Explorer wird bestenfalls gegen Ende des Kopiervorgangs einigermassen stimmen, am Anfang ist sie immer sehr ungenau und meißt zu hoch.
2. Die Kompressionsraten hier einfach mal schrittweise bis "Schnell" und "Store" stellen und sehen, wie sich der Durchsatz dann gegenüber der bisherigen Kompressionrate ändert.
3. Das geht eigentlich nur über die Ausschlussdiagnose, wenn weder 1. noch 2. die Ursache sind könnte der RAM Durchsatz limitierend sein.

Außerdem ist zu beachten, dass Antivirenprogramme etc. natürlich auch die Ursache sein können, wenn diese etwa jede Datei scannen die gelesen und geschrieben wird. Also im Taskmanager nicht nur die CPU Auslastung beobachten sondern auch mal die einzelnen Prozesse und hierfür sollte man sich die Porzesse aller Nutzer anzeigen lassen.

 

[Yuuri]

3. RAM Durchsatz denn der spielt gerade bei WinRAR und anderen Packer eine große Rolle

Naja mit > 1 GB/s (Schreiben) dürfte der RAM nicht der Flaschenhals sein.

 

[Holt]

Wenn ich aber c nach d archiviere mit der kompressionsrate speichern, dann sieht das so aus .

172MB/s sieht doch gut aus, da fällt IO doch schon mal raus, zumindest Quelle und Ziel (ob Speicher über TEMP läuft müsste man erst prüfen um auch das ausschlissen zu können, z.B. mal den Resource Monitor starten und sehen, ob TEMP auch entsprechende Übertragungsraten zeigt).

Ergänzung (15. April 2011)

Naja mit > 1 GB/s (Schreiben) dürfte der RAM nicht der Flaschenhals sein.

Genau mit der Logik kommt man nicht weiter wie Du siehst: Die SSD ist so schnell und das RAIID schafft diese Transferrate, die CPU hat n x m GHz und trotzdem ist der Durchsatz ja geringer als er erwartet hat. Natürlich ist RAM nicht der erste Kandidat und seht ja deshalb auch am Ende der Liste.