Synchronisation von "Ordner".d

[ceagel]

Hallo,

ich bin auf der Suche nach einem Tool, mit dem ich eine Einweg-Synchronisation zwischen zwei Ordnern über ein lokales Netzwerk erstellen kann. Das Tool muss unter Windows 7 laufen. Solche Programme gibt es ja viele. Zusätzlich muss das Programm aber bestimmte Ordner erkennen können.
Bei den Daten, handelt es sich um Analyse-Daten, die immer als Ordner mit der Endung *.d gespeichert werden. Bsp. "Analyse12.d"
Wärend der Datenaufnahme und Prozessierung einer Analyse werden in diesem Ordner Daten geschrieben und auch gelöscht. Deshalb soll das Tool diese *.d Ordner erst dann kopieren, wenn keine einzige Datei im Ordner mehr geöffnet ist. Es soll immer nur der ganze *.d Ordner kopiert werden und keine Unterdateien, da dies zu Problemen führt.

Ein Tool mit grafischer Oberfläche ist zu bevorzugen, damit auch andere User das Programm starten, stoppen oder überprüfen können.
Das Programm darf gerne etwas kosten und muss auch Logfiles erstellen.

Ich freue mich auf eure Vorschläge.

 

[cumulonimbus8]

Ich selbst mag mir RoboCopy helfen können.

Eine GUI gibts da natürlich nicht. Und wie soll der Laie dort qualifiziert eingreifen können? Das würde ich mir nicht mal zutrauen weil das Programm sicher schneller durch als dass ich das Treiben überblicken könnte. Allenfalls Vorher-Nachher wäre vorstellbar.

Besonders kritisch aber ist für mich die Frage nach noch offenen Dateien. So was würde ich in dem Sinne selber gern (als Kommandozeile) haben um an einigen Baustellen eingreifen zu können.

Ein kommerzielles Tool das all diese Feinheiten kann ist mir noch nicht untergekommen. Zudem, in dem Sinne, müsste es den Job auf Knopfdruck starten (ohne mühsam Eingaben abzuverlangen - rat mal warum) was am ende eine Batch auch leistet.
Möglicherweise wäre die Strategie zu überdenken.

CN8

 

[ceagel]

Der User selbst braucht eigentl. nur die Syncro stoppen und starten können und sehen ob sie aktiv ist.
Robocopy habe ich schonmal benutzt und es per Tasksheduler regelmäßig laufen lassen. Aber ich konnte Robocopy nicht beibringen diese *.d Ordner als eine Datei zu betrachten und nur komplett zu kopieren.

 

[ceagel]

Gibt es eine Möglichkeit, dass Robocopy nur Ordner kopiert, in denen keine Datei geöffnet ist?

 

[cumulonimbus8]

Genau das habe ich als den Riesenstolperstein genannt.
RoboCopy kann das nicht, und Kopiertools die das können scheint es nicht zu geben. Denn RoboCopy setze man (vereinfacht) nach der Arbeit an und nicht unbedingt während.
Schlussfolgerung: eine Kopie ist so aktuell wie die physische Datei. Wenn ich kopiere und danach fummelt jemand an der Quelle rum bin ich auch keinen Schritt weiter.

Und nun noch mal für Doofe wie mich. Es geht um Ordner mit einem Punkt im Namen. Welcher DOS-Filter (*.? oder *.d) ist denn nicht fähig alles was exakt so heißt zu greifen? Wenn es nichts am Ziel zu löschen gibt (oder nur dann und wann) kann sogar tumbes XCOPY reichen.
Stoppen geht natürlich nur mit Strg+C/Pause.
Was also muss da gesdchaukelt werden? Zusätzliche (neue Ordner die auf .d enden mitsamt aller Dateien aber ohne Unterordner, korrekt? Kann sein, dass das nur in 2 Rutschen geht; Odner und dann Inhalte. RoboCopy ist aber fähig n Ebenen tief zu kopieren (ich muss nachsehen, 1 wäre der Ordnerinhalt ohne Unterordner).

CN8

 

[ceagel]

Bei der Aufzeichnung der Daten wird alles in einem Ordner mit der Endung .d gespeichert. Nach der Datenaufnahme werden auf dem selben Rechner die Daten noch prozessiert. Dabei werden Dateien geschrieben, verändert und auch manche gelöscht. Damit die Dateien in so einem .d Ordner immer zueinenader passen darf halt nur der ganze Ordner kopiert werden. Es sollen dann alle Unterordner von so einem .d mit kopiert werden.
Es laufen aber permanent Analysen, sodass die Syncro auch permanent laufen muss, da man nicht weiß, wann eine Analyse durch ist.
Am Ziel muss nicht gelöscht werden.
XCOPY hätte doch die gleichen Probleme mit der der Ordnerstruktur wie Robocopy. Es würden ja auch die Einzeldateien kopiert werden. Oder bin ich da auf dem falschen Dampfer?

Wenn ich einen Ordner umbennen oder verschieben möchte, dann mach Windows ja eine Abfrage, dass eine Datei im Ordner geöffnet ist. Sowas in der Art bräuchte ich auch.

 

[cumulonimbus8]

Oje…
Wenn du das mit dem Explorer machst kann das passieren, ein Kommandozeilentool wird erst mecken wenn es eine offene Datei erwischt; i.d.R. klappt ein kopieren des letzten Ist-Zustands dennoch.

Sorry - wenn dauernd Analysen laufen (ist bei uns im Endeffekt auch so) dann bleibt nur der Biss in den Sauren Apfel eben das jetzt zu nehmen was jetzt vorhanden ist.

Und - ich kapiere es immer noch nicht…
Ein Irgendetwas schreibt Daten in irgeinen Ordner der mit «.d» endet. OK. Dabei werden Datendateien bewegt - angelegt, geädert, gelöscht - nehme ich mal an. Wo kommen nun Unterordner ins Spiel? Wer erzeugt die?
Und diese sollen ebenfalls mit weggesichert werden?

Was soll wie/wann gesichert werden? Szenario: je Tag wird in einen täglich neuen Container gesichert - das wäre u.U. eine Volumenfrage (Idee des erhaltens u.g zurückgezogener Files). Wie auch immer ist es an dir zu definieren, dass RoboCopy mit /MIR sichert und von der Anwendung ›zurückgezogene‹ Files mit verschwinden - oder du nutzt XCOPY /F/I/D/S/C/H/Y was eine Art Mülleimer anlegt und Zurückgezogenes im Backup nicht löscht.
Das Problem mit den offene Dateien ist nur dann eins wenn nicht deren letzter Stand zu kopieren möglich ist. Denn ist sie völlig gelockt - ja, was? Die Anwendung stoppen oder eben hinnehmen, dass nichts kopiert wird. (Bei uns gehts es stündlich mit abholen - und mit nichtkopierbaren Dateien hatten wir keinen Ärger.)

CN8

 

[ceagel]

Und - ich kapiere es immer noch nicht…
Ein Irgendetwas schreibt Daten in irgeinen Ordner der mit «.d» endet. OK. Dabei werden Datendateien bewegt - angelegt, geädert, gelöscht - nehme ich mal an. Wo kommen nun Unterordner ins Spiel? Wer erzeugt die?
Und diese sollen ebenfalls mit weggesichert werden?

CN8

Konkret handel es sich um Daten die von einem Massenspektrometer erzeugt werden. Es gibt einen Unterordner, in dem verschiedene Methoden abgelegt werden. Nach dem eine Analyse (z.B. 30min) durch ist werden die Daten auf dem Aquisitionsrechner automatisch wieder geöffnet und Berechnungen durchgeführt. Dann werden die Daten wieder geschlossen. Bei diesem Bearbeiten werden die Dateien bearbeitet und neue geschrieben und alte gelöscht. Der Unterordner wurde bisher einfach mit kopiert und bereitete keine Probleme.

Was soll wie/wann gesichert werden? Szenario: je Tag wird in einen täglich neuen Container gesichert - das wäre u.U. eine Volumenfrage (Idee des erhaltens u.g zurückgezogener Files). Wie auch immer ist es an dir zu definieren, dass RoboCopy mit /MIR sichert und von der Anwendung ›zurückgezogene‹ Files mit verschwinden - oder du nutzt XCOPY /F/I/D/S/C/H/Y was eine Art Mülleimer anlegt und Zurückgezogenes im Backup nicht löscht.
Das Problem mit den offene Dateien ist nur dann eins wenn nicht deren letzter Stand zu kopieren möglich ist. Denn ist sie völlig gelockt - ja, was? Die Anwendung stoppen oder eben hinnehmen, dass nichts kopiert wird. (Bei uns gehts es stündlich mit abholen - und mit nichtkopierbaren Dateien hatten wir keinen Ärger.)

CN8

Leider kann ich dem RoboCopy keine Berechtigung geben Dateien im Ziel Ordner zu löschen (was ja /MIR täte), da es sonst weiterhin überschreibt, wenn User die Daten im Ziel Ordner weiter bearbeiten. Die Daten auf dem Aquisitions-Rechner dürfen nicht durch Robocopy bearbeitet werden, da diese als kurzfristiges Backup dienen, falls beim Kopieren etwas schief läuft o. ä.
Deshalb sprach ich von einer Einweg-Synchronisation und kann keine normale Syncro benutzen.
Auf diese Art und Weise tauchen aber die Daten aus der Bearbeitung auf dem Server auf, die das nicht hin sollen, da sie auf dem Aquisitions-Rerchner ja teilweise wieder gelöscht werden.

 

[cumulonimbus8]

Ich hatte irgendwie mit so einer Sorte Gerätschaft gerechnet.
Mir ist aber das Prinzip nicht klar wie das System seine Daten ablegt. Also stelle ich mich dumm. Es mag n «Messbereiche» geben (für einzelne Stoffe). Da landet jeder in seiner Datei. Dann ist der reine Messzyklus durch und die Daten werden von dem System korreliert.
Hiernach vermutlich müsste das Datensichern loslegen. Nun kommt ein neuer Meszyklus. Dabei werden die Dateien überschrieben - der dümmste Zeitpunkt für ein Backup.

Gibt es, statt zeitgesteuert (?!), nicht irgendeinen festzumachenden Moment an dem man die Daten wegsichern kann? Wenn sich die Dateinamen nicht ändern müsste man allerdings am Ziel jeweils Container mit Zeit & Datum im Namen anlegen und voll kopieren.
Dass das System des Geräts da keine Chancen oder eine Software bietet erstaunt mich.

CN8

 

[ceagel]

Die Daten werden eigentl. recht einfach alle pro Analyse in so einem *.d Ordner gespeichert. Dabei enthält die analysis.baf die eigentl. Rohdaten und es gibt viele weitere Datein mir Parametern. Ganz oben ist der einzige Ordner zu sehen in dem die Analysenmethode gespeichert wird (*.m) Nach der Aufnahme ist so ein *.d Ordner eigentl. fertig und kann auch vom Nutzer ausgewertet werden. Wir lassen es aber durch die Software des Herstellers automatisch wieder öffnen und einige zeitaufwändige Berechnungen ablaufen und auch speichern. Dabei werden halt einige Dateien in so einem Ordner bearbeitet. Dass scheint die Probleme bein Synchronisieren zu verursachen, da nicht alle Dateien gleichzeitig kopiert werden.
Bei der nächsten Analyse werden keine Datein überschrieben sondern in einem neuen *.d Ordner gespeichert.
Deshalb würde ich Robocopy auch gerne sagen, dass *.d Ordner als File zu betrachten sind. Dann würde es die einzelnen Datein nicht kopieren, sondern immer den ganzen *.d Ordner.

Der Hersteller bietet für unseren Einsatz noch keinen "Data-Mover" an.

 

[cumulonimbus8]

Moment… Das kann sein… RoboCopy kann anscheinend nicht Ordner neu anlegen wenn diese nicht existieren und in dem Zusammenhang die oberste Ebene sind. RoboCopy mir /MIR ist gut Backups frisch zu halten, aber zum Wegsichern neuer Daten müsste eher XCOYP (diesmal mit /K/I/R/S/C/H/E) diese Vollsicherung eines neuen Ordners bewältigen.

CN8