[AZURE] Textdateien automatisiert von Blob-Storage in SQL-DB übertragen

[palaber]

Hallo Leute,

ich häng hier momentan an einem Problem und hoffe ich bekomm hier einen Denkanstoss oder Lösungsansatz.

Ausgangszustand:
Aus verschiedenen Quellen werden Textdateien die spaltenorientierte Werte besitzen in den Blobspeicher geladen.
Also z.B. Datei QuelleA_Info1, QuelleA_Info2,..., QuelleN_InfoN ich möchte nun alle x-Minuten alle Dateien aus dem Blobspeicher auslesen und deren Inhalt in einen SQL-DB Table schreiben. Wurde der Inhalt einer Datei erfolgreich in die SQL-DB übernommen soll die Datei vom Blob-Speicher verschoben / gelöscht werden.

Lösungsansatz:
Ich habe nun mit einer DataFactory einige Versuche angestellt. Das Übertragen der Dateiinhalte funktioniert mit einem relativ simplen Kopier Data Flow. Allerdings werden die Dateien immer wieder eingelesen und dann redundant in den SQL-Table eingetragen. Einen Data-Flow wie Datei verschieben gibt es leider nicht.
Ich dachte dann ich kann mit einer Iteration (ForEach) duch jede Datei des Blobs iterieren. Das funktioniert aber leider (noch) nicht so ganz.
Hat hier jemand ähnliche Probleme oder kennt Tutorials die in diese Kerbe schlagen? Oder Tipps mit welchen Tools man dies einfach und besser lösen kann?

Vielen Dank vorab!

 

[parats]

Hast du mal versucht das ganze per SSIS zu lösen? Entsprechende ETL Pakete laufen in Azure und ermöglichen eigentlich alles was Du gefordert hast.