Powershell, csv nach json convertieren

obiwhite · 23. April 2015

Ich muss was mit Datenbanken testen und brauche dafür die Daten aus einer .csv Datei.
Nach etwas google schien die Konvertierung über die powershell einfach, offenbar nicht für mich.
Ich hab ne csv auf C liegen c:\test.csv
mit get-content test.csv gibt er mir die auch aus (ist 21MB dauert ne Weile ohne Abbruch)
Aber ich bekomme den convertTo-json nicht gebacken. Kann mir jemand die genau Syntax in dem Fall nennen?

bananajoe2k4 · 23. April 2015

Probier mal

get-content .\Mappe1.csv | ConvertFrom-Csv | ConvertTo-Json

obiwhite · 23. April 2015

ok er macht was, so wie es aussieht schreibt er den ram voll, bei 600 mb ist er schon
Vorhin ist er nach ner zeit abgeschmiert als ich rumprobiert hab wegen speicherüberlauf. Und das trotz 8GB Ram

Ergänzung (23. April 2015)

ich sollte vllt erwähnen die csv hat mehrere 100k zeilen
dabei sind etwa 2000 zeilen 1 messdaten-block und Diese aneinandergereiht
kann man die evtl splitten und in separate json objekte ablegen?

Ergänzung (23. April 2015)

das kann doch auch nicht so lange dauern 20mb zu konvertieren oder? vor allem belegt powershell mittlerweile 1 gb ram

bananajoe2k4 · 23. April 2015

Dass die Powershell recht viel Overhead produziert ist allgemein bekannt. Mit Import-csv läufts deutlich schneller:

Code:

import-csv .\Mappe1.csv | ConvertTo-Json -Compress | out-file test.out

Braucht bei mir für 10 MB Daten 3GB Ram O.o

obiwhite · 23. April 2015

ohje, dann probier ich das morgen nochmal, vielen dank

AlbertLast · 24. April 2015

Die meisten Datenbanken können direkt eine csv einlesen,
daher ist der umweg den du hier angehst vielleicht unnötig.

Suche

Powershell, csv nach json convertieren

obiwhite

Lt. Junior Grade

bananajoe2k4

Lt. Junior Grade

obiwhite

Lt. Junior Grade

bananajoe2k4

Lt. Junior Grade

obiwhite

Lt. Junior Grade

AlbertLast

Lieutenant

Ähnliche Themen