Datenkomprimierung langsam

Technikfreund

Banned
Registriert
Okt. 2018
Beiträge
152
Ich benutze Linux Mint 19 (Cinnamon) und exportiere gerade ein "Appliance" einer virtuellen Maschine. Mir ist aufgefallen, dass die Dateien komprimiert werden, und das dauert mir zu lange. Der Blick in den Prozeßmanager offenbart, dass allerdings die Ressourcen auch nicht richtig genutzt werden. Der Prozessor wird im Schnitt nur zu 20% benutzt, die übrigen 80% bleiben unbenutzt. Warum? Gerade Datenkomprimierung müsste doch ein Vorgang sein, der vor allem vom Prozessor erledigt werden muss. Ich denke das ist nicht nur unter Linux so, dass das so lange dauert. Warum weisen moderne Systeme solchen Aufgaben nicht die volle Leistung zu, oder zumindest nicht nur ein Fünftel der Leistung? Kann man das unter Linux beschleunigen?
 
Danke, dass du für dich behältst welche Software du einsetzt.

Das was du zu verwechseln scheinst ist Betriebssystem und einzelne Anwendungen die auf einem Betriebssystem laufen. Das Betriebssystem kann für die Anwendungen in der Regel nichts / sehr wenig.
 
Zuletzt bearbeitet:
Du musst schon das richtige Tool dann nehmen. Für GZIP dann z.B. pigz
 
Zuletzt bearbeitet von einem Moderator: (Kaputten Link entfernt)
  • Gefällt mir
Reaktionen: Technikfreund
Technikfreund schrieb:
Ich benutze Virtualbox. Die entstehende Datei ist eine tar.gz-Datei.
Du nutzt mit sher hoher Wahrscheinlichkeit kein VirtualBox, wenn am Schluss ein gepacktes Tarfile bei rauskommt.

Wie auch immer, zum packen gäbe es auch 7zip (Paketname kann abweichen)
 
Piktogramm schrieb:
Du nutzt mit sher hoher Wahrscheinlichkeit kein VirtualBox, wenn am Schluss ein gepacktes Tarfile bei rauskommt.
Dochdoch. Virtualbox hat eine Funktion namens "Appliance exportieren". Wenn man dort das "richtige" Format auswählt, wird wirklich eine .tar.gz gebaut.

@Technikfreund
Du gehst davon aus, dass bei der Packerei nichts zu tun ist außer dem Packen selbst. Damit liegst du ziemlich sicher falsch. Die zu packenden Daten müssen z.B. erstmal aus dem Virtualbox-eigenen Format (meist einem .vdi) rausgepopelt werden. Das ist (in Voreinstellung) auch was gepacktes, also kein reines Plattenabbild. Das Lesen daraus könnte ziemlich ineffizient sein und mit so viel I/O daherkommen, dass die CPU gar nicht fix genug Daten bekommt, um mit den Kompressionsberechnungen ausgelastet zu werden. Viele andere Ursachen sind denkbar.

Vielleicht sind die 20% Auslastung auch auf die gesamte CPU-Leistung eines Quadcores bezogen, wo ein Kern mit immerhin 80% ausgelastet ist. 100/4*80%=20.

Auf Linux kannst du sehr genau analysieren, was genau ein Prozess tut oder worauf er wartet. Das kostet bischen Einarbeitung und Hintergrundwissen. Dann könntest du qualifiziert meckern. :) Dann könntest du auch in den Virtualbox-Quellen nachschauen, was bei diesem Export passiert und ihn ggf. umbauen. Dieser Export ist sicherlich kein Programmteil, bei dem die Entwickler wert auf Performance gelegt haben.

Wenn du dieses Exportieren nicht ständig machen musst: Einfach die Zeit aussitzen.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Technikfreund
@mensch183
Stimmt, die Option "Oracle Public Cloud Format" spuckt tar.gz aus. Mein Fehler (und Blindheit immer wenn irgendwo "Oracle" drauf steht..).
 
Zurück
Oben