Daten während sie geschrieben werden zippen

[Silence4eveR]

Hallo zusammen,

die Forensuche und google habe ich schon bemüht, bin aber leider nicht fündig geworden.

Folgendes Problem:
Ich habe einen Win2008 Server auf dem ein IIS läuft und eine Anwendung. In der Anwendung selbst befindet sich eine Art Datenbank mit ca 50GB. In der Datenbank sind eine unmenge an Daten. Nun muss ich einen Extrakt aus der DB fahren. Das gibt viele .txt und .xml Dateien mit sehr vielen GB. Die gut und gerne ein paar hundert GB groß werden. Mit 7zip werden daraus dann wieder 10-500MB. (Im Schnitt werden aus 100GB extrahierten Daten ca. 100MB 7z Archive). Nun ist mein Problem, das der Plattenplatz des Servers begrenzt ist. Ich habe für den Extrakt lediglich eine 500 GB Platte zur Verfügung und das reicht mir nicht mehr, Netzlaufwerke oder dergleichen scheidet leider auch aus. Ich suche also eine Möglichkeit bereits während der Extrakt läuft die Daten zu zippen. Datenträgerkomprimierung ist aktiviert, die hilft mir auch nichts. Da das eine Hostet Server ist, habe ich auch keine Möglichkeit mir einfach eine USB Platte anstöpseln zu lassen. Ich muss Hardwaretechnisch mit dem auskommen was ich habe (eben 500GB).

Gibt es die Möglichkeit mit 7z oder sonst wie bereits während dem Extrakt die Daten zu zippen?

lg S4R

 

[Lawnmower]

das Zip öffnen ohne extrahieren und das rausnehmen was Du willst geht nicht?

 

[SpiII]

Von einem Archiv ins andere Archiv ziehen?

 

[Silence4eveR]

Ich glaube ihr versteht mich falsch, bzw. ich habs schlecht verständlich geschrieben.

Datenbank -> extrahiert die Daten in .txt und .xml Dateien -> diese Daten muss ich zippen während sie aus der DB extrahiert werden.

 

[Lawnmower]

Du brauchst aus dem Zip nur einige (wenige) Dateien oder komplett alles?

 

[Madman1209]

Hi,

er will IN das ZIP schreiben, nicht etwas heraus holen! Er will den Datenbankdump direkt in ein ZIP umleiten wenn ich das richtig verstehe.

Eine out-of-the-box Methode kenne ich nicht.

VG,
Mad

 

[Lawnmower]

was ist das denn für eine Datenbank? SQL Server?
Nochmals: Er macht einen DB Dump und will dieses direkt gezippt (in ein bestehendes oder neues Zip?) haben?

 

[6shop]

hätte es auch wie madman verstanden. aber hab leider auch keine lösung für den TE

 

[1668mib]

NTFS-Dateisystemkomprimierung nehmen?
Diese arbeitet in Echtzeit, ist zwar nicht so effizient wie 7zip, aber für das Vorhaben sollte es reichen... danach wie gewohnt mit 7zip packen...

 

[Madman1209]

Hi,

@1668mib

NTFS-Dateisystemkomprimierung nehmen?

Datenträgerkomprimierung ist aktiviert, die hilft mir auch nichts

VG,
Mad

 

[Silence4eveR]

Madman du hast es erfasst. Ich müsste den Dump direkt in ein Zip umleiten. Habe aber keine Idee wie ich das anstellen kann...

 

[1668mib]

Mist, es ist wohl noch zu früh am morgen :-)

Wie viele Text- und XML-Dateien gibt es denn bei einem Dump?

 

[Lawnmower]

ohne Infos was bei "dieser Art von Datenbank" für Möglichkeiten beim Dump vorhanden sind (z.B. Kommandozeile, etc) ist es nahezu unmöglich hier zu helfen, eine "normale Datenbank" vom Typ SQL Server oder MySQL oder sowas scheints ja nicht zu sein.

 

[Zwickl-Pain]

Lawnmower hat da Recht.

Entweder nähere Infos zur DB oder du machst es "leicht" und schreibst dir selber kleines Program / Script

 

[Silence4eveR]

Die Datenbank ist eine DB in Version M$ SQL 2008 R2. Filemäßig bin ich bei ca. 100 Files mit einem Dump von 400 GB.
Der Dump erfolgt über die Kommandozeile. Im Prinzip müsste ich den Dump direkt in ein Zipfile schreiben. Geht sowas?

Ich sags gleich dazu. Ich bin nicht Osrams Hellste was Scripten / Dumpen betriefft ich bin eigentlich Win Admin.

 

[Lawnmower]

Die Datenbank ist eine DB in Version M$ SQL 2008 R2

und das bezeichnest Du als eine "Art Datenbank"

Der Dump erfolgt über die Kommandozeile

und das gibt dann Dateien mit der Endung .bak oder was verstehst Du unter Dump (damit alle vom gleichen reden)?

 

[Silence4eveR]

Ich musste erst nachfragen, um was für eine DB es sich handelt. Deswegen war es noch eine Art Datenbank. Ist nicht mein Fachgebiet aber ich habs aufs Auge bekommen... (is quasi niemand anders da)...

Nein. Das gibt einen Ordner mit einer .txt Datei und die restlichen sind alle .xml

 

[1668mib]

Er sagte doch bereits, dass beim Dump TXT- und XML-Dateien rauskommen...

 

[Lawnmower]

Er sagte doch bereits, dass beim Dump TXT- und XML-Dateien rauskommen...

vorher war es auch eine "Art Datenbank", frage daher lieber 2x

Nein. Das gibt einen Ordner mit einer .txt Datei und die restlichen sind alle .xml

Dann wird das bereits mit einem eigenen Backup/Extrakt Skript durchgeführt? Wie gehst Du da vor um das "Dump" zu machen? Gibts dafür ein Batch oder verwendest Du dafür das SSMS?

 

[Silence4eveR]

Da gibts eine Batch die ich verwende, die ruft ein Stück Software auf (eben das Prog in dem die Datenbank läuft) und das spuckt mir dann die xml Dateien aus.