Mehrere Messdateien mit unterschiedlichen Spalten zusammenführen

[Knuddelbearli]

Hallo,
habe ein Problem, habe hier mehrere Exceldateien mit Messergebnissen, zu 80% sind die Spalten identisch, aber es gibt je nach Messdatei leichte Unterschiede, da wenn ein Wert nicht gemessen wurde, die Spalte in der Datei einfach übersprungen wird und somit nicht vorhanden ist.

als schnelles Beispiel:

A

B

C

E

H

I

J

K

L

N

C

D

E

F

G

H

I

J

M

N

nun möchte ich die in eine Datei zusammenführen. So das beide C untereinander sind, aber wenn es eine Überschrift in Spalte 1 nur 1-mal gibt, es bei den anderen leer bleibt. Gibt es dafür eine Funktion in Excel?

 

[Wo bin ich hier]

Gibt es dafür eine Funktion in Excel?

Nö (vermutlich werde ich gleich eines Besseren belehrt ).

Suchst du eine einmalige Lösung (mit etwas manueller Arbeit; dann vermutlich Power Query) oder eine dauerhafte Automatisierung?

 

[dermoritz]

wenn du das als csv hast - oder allgemein txt und sie nicht zu groß ist, kann sowas wunderbar die KI wie chatgpt, claude.ai etc.

wenn du es aber immer mal wieder brauchst und automatisieren willst kann die die ai auch ein script schreiben (cmd, powershell, bash)

all das wie gesagt nur mit text dateien. bei komplexeren dingen (xml - excel format) - ist das risiko höher das es kaputt geht

 

[nutrix]

Verwende eine Datenbank, und dann ist das ganz einfach. Mit ELT Tools geht das auch relativ fix zu lösen.

 

[madmax2010]

+1 Fuer Datenbanken.Zeitserien Datenbanken um genau zu sein.

 

[Knuddelbearli]

Suchst du eine einmalige Lösung (mit etwas manueller Arbeit; dann vermutlich Power Query) oder eine dauerhafte Automatisierung?

Normal sind die Messdaten nicht so groß, dass ich sie in mehrere aufteilen muss, da eine Messreihe normal nur über 1-1,5 Wochen geht, was sich knapp ausgeht. Diesen Sommer wird das aber wohl öfters geschehen, da ein größeres Projekt das um die 3-4 Monate dauern wird.

Bin eigentlich nur ein Elektrotechniker, von Programmieren, Datenbasen usw habe ich leider nicht viel Ahnung. Normal muss ich in Excel nur alle nicht benötigten Daten löschen und es bisschen formatieren, damit es für den Kunden lesbar und durchsuchbar ist.

 

[nutrix]

Normal sind die Messdaten nicht so groß

Das heißt konkrekt in Zeilen oder Anzahl der Datensätze pro Tag/Woche? Weißt Du schon vorher, welche Datei welche Spalten enthält oder siehst Du das erst darin selbst? Sind dann die unterschiedlichen Spalten so direkt in der Datei drinnen (was blöde wäre) Dann müßte man mit einen Preprozess arbeiten, der diese Dateien vorsortiert.
Hast Du einen Einfluß auf die Erzeugung der Daten? Dann dafür sorgen, daß leere Werte entsprechend gekennzeichnet sind, sei es durch ;; oder ,, (je nach Trennzeichen), mit "" oder mit 0.

 

[Knuddelbearli]

@nutrix

Das heißt konkrekt in Zeilen oder Anzahl der Datensätze pro Tag/Woche?

Anzahl der Messergebisse/Zeilen, nach ~2500 Messungen muss man eine neue Datei machen

Weißt Du schon vorher, welche Datei welche Spalten enthält oder siehst Du das erst darin selbst?

Nein, das verschiebt sich eben leider immer dadurch, dass, wenn diese Datei das Messergebnisse X nicht hat, die Spalte einfach ausgelassen wird

Sind dann die unterschiedlichen Spalten so direkt in der Datei drinnen (was blöde wäre) Dann müßte man mit einen Preprozess arbeiten, der diese Dateien vorsortiert.

Auf die Originaldatei habe ich aufgrund fehlendes Lizenzabos keinen Zugriff, kann es nur als Excel exportieren

Hast Du einen Einfluß auf die Erzeugung der Daten? Dann dafür sorgen, daß leere Werte entsprechend gekennzeichnet sind, sei es durch ;; oder ,, (je nach Trennzeichen), mit "" oder mit 0.

Nein leider nicht

 

[madmax2010]

, nach ~2500 Messungen muss man eine neue Datei machen

warum das?
Ich habe schon Projekte betreut, bei der Sensoren im Wald 6-Stellig pro sekunde Messwerte eingeliefert haben.
was produziert die messwerte und wie kommen sie von a nach b?

Nein, das verschiebt sich eben leider immer dadurch, dass, wenn diese Datei das Messergebnisse X nicht hat, die Spalte einfach ausgelassen wird

du kannst zeitstempel setzten. relativ oder absolut

 

[Knuddelbearli]

@madmax2010
Laut Hersteller da Auslesezeit der Messung sonst zu lange dauert, da es exponentiell steigt. Per RS-232 --> USB Wandler dauert es auch ewig, sobald man sich dem Limit nährt, wobei ich einfach immer über den Umweg über SD-Karte macht und es da innerhalb weniger Sekunden geht. Kann das aber leider nicht beeinflussen, die Limitierung wurde auch erst später per Update eingebaut, wobei ich normalerweise eh nie Probleme deshalb hatte, da selten soviele Messungen.

 

[nutrix]

Nein leider nicht

Ok, dann mußt Du vorsortieren bzw. trennen, und es dann selbst auffüllen, und getrennt unterschiedlich bearbeiten. Aufgefüllt wäre dann die bessere Alternative, die könntest Du dann in einem Rutsch in Excel einlesen.

ChatGPT fragen, wie man einen solchen Datensatz mit unterschiedlichen Spalten auftrennt per Powershell, Bash (Linux, WSL), und die fehlenden Fehler dann mit "" oder anderem auffüllt, damit alles die gleiche Spaltenanzahl hat. Sind nur ein paar Zeilen in Powershell wie in Bash.

Wobei tausende von Zeilen in Excel zwar machbar, aber nicht schick sind.

 

[AwesomSTUFF]

Auf die Originaldatei habe ich aufgrund fehlendes Lizenzabos keinen Zugriff, kann es nur als Excel exportieren

Kannst Du es als TXT oder CSV mit Trennzeichen exportieren?
Wenn es keinen "gemeinsamen Nenner" in der Ausgabedarstellung gibt kann man nicht automatisieren.

 

[madmax2010]

hm.
Womit wird gemessen? Und wie viel Aufwand lohnt sich in dem Projekt?

Im prinzip kann man die Daten auch mit einem Arduino / ESP32 aus der Seriellen schnittstelle holen, via GPS die Uhrzeit bestimmen und mit protokollieren und das dann auf die SD Karte schreiben.Funktioniert mit vielen millionen zeilen.

Jenach datalogger, muss man jedoch noch steuerbefehle an die sensoren schicken, oder wassie melden erst einmal dekodieren. Kommt halt auf die Hardware an

Die meisten (die ich je genutzt habe) nutzen jedoch eh SDI-12 und das ist recht gut dokumentiert

 

[Conqi]

Wenn es eine Liste mit allen Überschriften gibt, ist das mit XVERWEIS eigentlich nicht so schwer.

Hier beispielhaft mit den Formeln =XVERWEIS(A7;1:1;2:2) und =XVERWEIS(A7;4:4;5:5)

Wenn es keine komplette Liste gibt und man dynamisch die vorhandenen löchrigen Listen zusammenführen muss, wird's schwierig.

 

[Knuddelbearli]

@AwesomSTUFF nein nur Excel, alles andere müsste ich aus Excel exportieren

@madmax2010 Sowenig Zeit wie möglich . Würd schätzen manuell würde ich so 15-20 Minuten brauchen pro Datei, damit die Datei so weit ist, dass ich sie zusammenführen kann. x15 wäre dann was um die 5 Stunden.
Ich hasse nur unnötige Arbeit und wer weiß, ob wir in Zukunft eventuell wieder so ein Projekt bekommen. (Geschäftsführung will das wir uns andauernd auf große Projekte bewerben, obwohl ich der einzige bin, der diese Art der Arbeit machen kann, und eigentlich schon zu 90% mit fixen jährlichen Projekten ausgelastet bin)
Was ich sonst noch eventuell probieren könnte, wäre den Hersteller anzuschreiben, aber da befürchte ich er wird einfach auf das Abo / eigen Software verweisen ... Aber versuch macht klug.

Ergänzung (24. Juni 2025)

Wenn es eine Liste mit allen Überschriften gibt, ist das mit XVERWEIS eigentlich nicht so schwer.

Anhang anzeigen 1631588
Hier beispielhaft mit den Formeln =XVERWEIS(A7;1:1;2:2) und =XVERWEIS(A7;4:4;5:5)

Wenn es keine komplette Liste gibt und man dynamisch die vorhandenen löchrigen Listen zusammenführen muss, wird's schwierig.

Hmm, das könnte klappen, auf den ersten Blick sieht es zumindest gut aus.

 

[sthyen]

Ich check‘s nicht. Also nochmal langsam:
Du hast verschiedene Messdateien, die du in Excel übernimmst.
Bei einer Datei (1) mit den Spalten A, B, D, E
und in der anderen Datei (2) mit A, C, D, E, F (oder ähnlich)

Sind das unterschiedliche Excel Dateien? Denn dann könnte ich ja einfach in Datei (1) die Spalten C, F etc. mit der Tastenkombination Alt und + (Ziffernblock) einfügen. Entsprechend ähnlich in Datei (2) verfahren. Und anschließend die Messwerte in einer Datei zusammenführen.

ODER sind es in einer Datei viele verschiedene Messreihen, in denen unterschiedliche Spalten untereinander stehen. Dann würde ich auch nicht weiterhelfen können.

Edit: Beschreibung verbessert.

 

[Knuddelbearli]

@sthyen
Wenn ich dich richtig verstanden habe ersteres, wobei wir da über 50++ Spalten reden, also manuell ist es auf Dauer ne Qual, vor allem da es ja nicht so einfache Überschriften sind, sondern komplexe, wo man erstmal schauen muss, wo die zusätzlichen Zeilen hineinmüssen usw

Das Bild von Conqi zeigt es ihmo ganz gut, muss gerade noch was anderes fertig machen und werde dann seine Lösung ausprobieren.

 

[sthyen]

Bei über 50 Spalten und komplizierten Überschriften fällt mir auf die Schnelle auch nichts sinnvolles ein und Handarbeit würde ich da auch vermeiden wollen.

Beim zweiten Hinschauen bin ich auch für die XVerweis Variante.

 

[nutrix]

@madmax2010 Sowenig Zeit wie möglich . Würd schätzen manuell würde ich so 15-20 Minuten brauchen pro Datei, damit die Datei so weit ist, dass ich sie zusammenführen kann.

Deshalb sagte ich es Dir doch, mache es per Script. Ich machte so Zeugs jahrelang täglich, Du wirst Dir damit viel Zeit sparen. Es geht nicht vernünftig ohne Vorarbeiten, alles andere direkt zu verarbeiten macht es nur komplizierter.

 

[AwesomSTUFF]

An XVERWEIS und SVERWEIS denkt man ja als allererstes, aber wenn die Daten in einer Zeile Mal in Spalte C stehen und in der nächsten Zeile stehen die Daten in Spalte E und dann wieder in Spalte C oder F dann ist da halt keine Kontinuität um den Vorgang zu automatisieren bzw zu verformeln.