Backupsoftware MIT Fehlerprüfung aber OHNE Abo?

[nutrix]

Kann ein Backupprogramm das nicht auch, sehen ob eine Datei verändert wurde vom User, oder verdorben ist?

Richtig. Dafür mußt Du beim Kopieren ein Verify machen (welches im Ziel die neu angelegte Datei prüft), was eben das verlinkte FreeFileSync und Co. können. Es kann aber auch nicht feststellen, ob eine Datei defekt ist, das mußt Du selbst vorher prüfen. Bei Bildern kannst Du https://imagemagick.org/index.php über einen Batchlauf verwenden.

 

[Spawnie112]

@nutrix Nur damit ich dich richtig verstehe: FreeFileSync & Co. können das bieten?
Die erzeugen bei einer Kopie eine Prüfsumme und gleichen das ab?

Sie wissen also wenn eine bestehende Datei verändert wurde, ob diese bewusst verändert wurde (z.B. da das ein Neuschreiben der Prüfsumme triggert?) oder ob es Bitrot ist, und die Prüfsumme eben nicht mehr passt?

Habe ich das richtig verstanden?
Dann müsste das Programm ja nicht nur syncen, sondern auch die gesicherten Folder monitoren um bei validen Änderungen die Prüfsummen anzupassen?

 

[Merlin352]

@Spawnie112 Nein, das kann KEIN Backupprogramm. Wie soll das denn gehen? Was ist das Kriterium um zu bestimmen ob eine Änderung gewollt oder ungewollt geschrieben wurde? Soll das Programm die Gedanken des Benutzers lesen?

Backupprogramme können nur prüfen ob die Kopie die sie geschrieben haben identisch zu dem Original ist das sie gelesen haben. Wenn das Original bereits defekt ist, ist auch die Kopie defekt.

Um solche Fehler zu entdecken wurde dir in #12 ja eine Möglichkeit beschrieben. Das könnte man z.B. mit einem Watchdog-programm automatisieren, das auch einige der vorgeschlagenen Backuplösungen anbieten.

 

[Kasjo]

Nur damit ich dich richtig verstehe: FreeFileSync & Co. können das bieten?
Die erzeugen bei einer Kopie eine Prüfsumme und gleichen das ab?

Ja und nein.
Programme wie terra copy usw. können abgleichen wenn du zum beispiel ein bild von a nach b kopierst, anhand von prüfsummen, das die datei auch so geschrieben wurde. Aber nur zum zeitpunkt des kopierens.
DIe Programme können nicht erkennen ob die datei auf seite A bereits defekt ist.
Es wird sozusagen nur der Kopiervorgang, einmalig beim kopieren selbst überprüft.

Bitrot is interessant für die langzeitlagerung. Und da kommen die Raidsysteme wie zfs ins spiel. Die können Prüfen das dass was sie damals bekommen haben auch heute noch dem entspricht. Diese können aber ebenfalls nicht erkennen ob die datei bereits defekt an sie übergeben wurde.

Datein können Auf seite A entweder bereits defekt sein, oder beim Kopieren durch Bitflips im Ram beschädigt werden. Auf site B mit zfs usw. wird im idealfall das mit ECC speicher abgefangen. Aber auch hier, seite B also ZFS prüft nur aha, ich habe von seite A: 110110 bekommen und schreibe das so. Ob 110110 funktioniert ist ZFS was das betrifft völlig egal. es nimmt, was es zu fressen bekommt. Es legt sich ne notiz an das besagte datei 110110 ist und ahnand dessen kann es später prüfen ob das noch der fall is (vereinfacht ausgedrückt)


Die erkennung von Bitflip und Bitrot finden auf einer ganz anderen ebene statt. Die haben mit der eigentlichen funktion deiner datei, bsp jpeg, mp3 oder video ja erstmal nix zu tun.

 

[Spawnie112]

Falls ich auf dem Schlauch stehe, sorry dafür.

Genau aus dieser Raid-System-Mechanik komme ich ja vom Gedanken her.
Dort ist es ja eben möglich, dass das System eine Datei geliefert oder überschrieben bekommt, dann eine Prüfnotiz anlegt, und anhand derer später sieht, dass sich der Platteninhalt verändert haben muss oder nicht.
Das System bekommt hier ja auch mit, dass eine neue bzw. veränderte Datei "bewusst" eingeht.

Mein Hoffnung war, dass die Backuprogramme, die eine Fehlerprüfung bewerben, ähnlich arbeiten.
Bei einer durch den User neu geschriebenen Datei wird von mir aus eine Prüfnotiz angelegt. Gammelt das Bit "passiv" weg passt diese nimmer, also wird die File nicht gesynct, obwohl sie das auf Grund der "Andersartigkeit" sollte.

Was genau macht denn dann eine Fehlerprüfung im Backuptool?

Ergänzung (3. Juli 2025)

Kurz noch mal gefragt, vielleicht verstehe ich eure Antwort ja wirklich einfach nicht

Zu Acronis wird folgendes gesagt:

Acronis Cyber Protect (ehemals Acronis True Image) kann Bitfehler (Bitrot) erkennen, indem es Datenintegritätsprüfungen während des Sicherungs- und Wiederherstellungsprozesses durchführt. Die Software verwendet Prüfsummen und andere Methoden, um sicherzustellen, dass die gesicherten Daten mit den Originaldaten übereinstimmen und keine Fehler aufweisen

Das ist doch eigentlich genau das was ich will, passive Veränderungen erkennen über Prüfsummen?

Dann wäre ich wieder bei der Eingangsfrage: Wer kann das genauso gut oder besser als Acronis? Denn: Kaufsoftware ist ok, Qualität kostet Geld - aber ich will nicht ständig Abos aufgezwungen kriegen.

Ergänzung (3. Juli 2025)

Bei Bildern kannst Du https://imagemagick.org/index.php über einen Batchlauf verwenden.

Das wäre eine Idee, ich war mal auf der Seite. Aber ich sehe da nicht wie man die Integrität von Bildern prüfen könnte mit dem Tool, welche Funktion ist das denn?

 

[dewa]

Mein Hoffnung war, dass die Backuprogramme, die eine Fehlerprüfung bewerben, ähnlich arbeiten.
Bei einer durch den User neu geschriebenen Datei wird von mir aus eine Prüfnotiz angelegt. Gammelt das Bit "passiv" weg passt diese nimmer, also wird die File nicht gesynct, obwohl sie das auf Grund der "Andersartigkeit" sollte.

Aber woher soll das Backup Programm wissen, ob die Datei bewusst oder unbewusst geändert wurde? Vielleicht hast du das Bild ja gerade bearbeitet

Das wäre eine Idee, ich war mal auf der Seite. Aber ich sehe da nicht wie man die Integrität von Bildern prüfen könnte mit dem Tool, welche Funktion ist das denn?

https://imagemagick.org/script/identify.php

 

[Evil E-Lex]

Was genau macht denn dann eine Fehlerprüfung im Backuptool?

Sie vergleicht, ob die im Backup geschriebene Datei A, der Datei A auf der Quelle entspricht. Nicht mehr, nicht weniger. Da wird nichts periodisch überprüft, warum auch? Dafür gibt es versionierte Backups und die 3-2-1-Regel.

 

[mchawk777]

Aber woher soll das Backup Programm wissen, ob die Datei bewusst oder unbewusst geändert wurde?

Richtig, das wäre wenn Flickwerk.
Selbst wenn ich annehmen würde, dass sich bei einer Änderung des "Änderungsdatums" der HASH-Wert der Datei identisch bliebe, wäre dass kein absolut zuverlässiges Kriterium.

 

[nutrix]

@nutrix Nur damit ich dich richtig verstehe: FreeFileSync & Co. können das bieten?
Die erzeugen bei einer Kopie eine Prüfsumme und gleichen das ab?

Richtig, aber nur intern bzw. im Speicher, FFS legt nichts weiter dazu ab.

Sie wissen also wenn eine bestehende Datei verändert wurde, ob diese bewusst verändert wurde (z.B. da das ein Neuschreiben der Prüfsumme triggert?) oder ob es Bitrot ist, und die Prüfsumme eben nicht mehr passt?

Nein, FFS hat eine eigene Datenbank und merkt sich vermutlich (deshalb die Profile), was er schon rüberkopiert hatte.
https://freefilesync.org/manual.php?topic=all

Synchronization Variants​

There are three basic synchronization variants:

• If both left and right folders contain files you're working on, and you want changes (creates, updates, and deletes) to flow in both directions, then select Two way.
  Database files ("sync.ffs_db") will be created after the first sync and be used to compare the current file system state against the last synchronization in order to determine the sync directions.

Es prüft nicht mehr nachträglich, ob die bereits kopierten Dateien noch valide sind.

Habe ich das richtig verstanden?
Dann müsste das Programm ja nicht nur syncen, sondern auch die gesicherten Folder monitoren um bei validen Änderungen die Prüfsummen anzupassen?

Moment, da haben wir jetzt unterschiedliche Dinge. Jedes Programm, was synct, egal ob robocopy, FFS usw, schaut beim Abgleich nur, was an Dateien geändert wurde, und gleicht das miteinander ab. Keines davon bekommt mit, ob ein Dateifehler durch das Dateisystem, OS, Datenträger sonstwas verursacht wurde.

Ein aktives Monitoring müßte man hier selbst gestalten und verwalten.

Ergänzung (3. Juli 2025)

Das ist doch eigentlich genau das was ich will, passive Veränderungen erkennen über Prüfsummen?

Richtig. Aber woher weißt Du nun, ob die Originaldatei noch das Original ist oder nicht? Und das kann kein Programm prüfen, außer man protokolliert vorher alle Aktionen incl. Prüfsummen und legt sich in eine Datenbank ab.

Dann wäre ich wieder bei der Eingangsfrage: Wer kann das genauso gut oder besser als Acronis? Denn: Kaufsoftware ist ok, Qualität kostet Geld - aber ich will nicht ständig Abos aufgezwungen kriegen.

Ergänzung (3. Juli 2025)

Wie schon oben erwähnt, Du kannst seit letztem Jahr wieder eine permanente Lizenz von Acronis TI erwerben, nix Abo.

Das wäre eine Idee, ich war mal auf der Seite. Aber ich sehe da nicht wie man die Integrität von Bildern prüfen könnte mit dem Tool, welche Funktion ist das denn?

Hast Du Dir denn den Link schon mal genauer angeschaut? Anscheinend nicht, sonst hätte sich die Frage gelöst.

https://imagemagick.org/script/identify.php

Richtig. Du installierst das Paket, und dann kannst Du das Programm magick als Kommandozeile starten, welches mit Optionen die Konsistenz von Grafikdateien prüfen kann. Ich hatte hier auch noch eine alte Raid-Sicherung vorliegen, wo viele Bilddateien kaputt waren. Dafür hatte ich mir dann eine Batchdatei für Cygwin in Bash geschrieben, welches alle in einem Ordner liegende Unterordner und Dateien durchsucht und prüft, welche Dateien kaputt sind, und sie dann mit den Ordnernamen in einen neuen Ordner mit Kaputt schiebt.

Für alles weitere müßtest Du zu Dingen wie ein DMS oder Bildverwaltungssoftware à la Lightroom oder ACDSee Photo Studio Ultimate greifen, wobei ich aber nicht sagen kann, ob ACDSee prüft und merkt, wenn Bilddateien kaputt sind. Auf die Schnelle habe ich aber in der Doku nichts gefunden (z.B. bei Katalogisieren von Dateien, Seite 54) https://help.acdsystems.com/de/acdsee-pro-18/acdseepro18.pdf, daß es sowas kann.

Ich weiß nur, das wir das in einer für einen Kunden entwickelten DMS Lösung eingebaut hatte, ob das anderen DMS auch so können, weiß ich gar nicht.

 

[Spawnie112]

Aber woher soll das Backup Programm wissen, ob die Datei bewusst oder unbewusst geändert wurde? Vielleicht hast du das Bild ja gerade bearbeitet

Wie machen die Raid-Systeme das denn?
Dort wird ja auch beim bewussten Schreiben der Hashwert neu generiert, also vermutlich bei allem was das "letzte Bearbeitung" Datum ändert.

Fault dir die Datei nun weg, dann wird das ja nicht ausgelöst, und so würde dann doch die Datei nimmer zum Hash passen.

Diese Prüfung liese sich doch bei einem Sync vorschalten?
Wenn die Notwendigkeit eines Syncs (A weicht von B ab) erkannt wird, wird die Quelle erst geprüft. Ist der Hash falsch, stoppt das Ganze.

So grob in der Art habe ich Acronis verstanden, denn die wollen ja ausdrücklich auf Bitrot/-flip/was auch immer erkennen können und einen Sync dessen verhindert.

Ergänzung (3. Juli 2025)

Hast Du Dir denn den Link schon mal genauer angeschaut? Anscheinend nicht, sonst hätte sich die Frage gelöst.

Richtig. Du installierst das Paket, und dann kannst Du das Programm magick als Kommandozeile starten, welches mit Optionen die Konsistenz von Grafikdateien prüfen kann. Ich hatte hier auch noch eine alte Raid-Sicherung vorliegen, wo viele Bilddateien kaputt waren. Dafür hatte ich mir dann eine Batchdatei für Cygwin in Bash geschrieben, welches alle in einem Ordner liegende Unterordner und Dateien durchsucht und prüft, welche Dateien kaputt sind, und sie dann mit den Ordnernamen in einen neuen Ordner mit Kaputt schiebt.

Ich habe die oben verlinkte Anleitung im Scan mal angeschaut, aber das ist ja leider Kommandozeilen-basiert.
Das gibt einen Text aus im Beispiel dort, wenn man ein Bild damit scannt, aber ich weiß nicht mal wo der Text landen würde.
Von einer Stapelverarbeitung von tausenden Bildern reden wir garnicht erst...
Und dem autom. Schieben defekter Bilder eh nicht.

Da bin ich wohl leider raus, auch wenn es gut wäre, aber ich krieg das so nicht bedient.

 

[Evil E-Lex]

Wie machen die Raid-Systeme das denn?
Dort wird ja auch beim bewussten Schreiben der Hashwert neu generiert, also vermutlich bei allem was das "letzte Bearbeitung" Datum ändert.

Quark. Ein RAID kennt keine Dateien. Es arbeitet auf Block-Ebene, also "unterhalb" von Partitionen und Dateisystemen. Zudem werden Zeitstempel nicht in der Datei, sondern im Dateisystem gespeichert und haben daher keinen Einfluss auf den Hashwert einer Datei.

 

[Banned]

Wie machen die Raid-Systeme das denn?
Dort wird ja auch beim bewussten Schreiben der Hashwert neu generiert, also vermutlich bei allem was das "letzte Bearbeitung" Datum ändert.

RAID arbeitet normalerweise mit Partität (außer RAID 1 und 0 - hier wird dann ein dirketer Vergleich gemacht bzw. kann gar nicht geprüft werden bei der letzteren Variante). Ändert sich ein Bit, passt die Parität nicht mehr. Beim einfachen RAID wird dann anhand der Prüfsumme des Sektors des Laufwerks auf Firmware-Ebene versucht, zu prüfen, welcher Teil korrumpiert ist.
Bei Dateisystemen wie wie ZFS, BTRFS oder ReFS (bzw. deren RAID-Varianten) wird zusätzlich noch mit (erweiterten) Prüfsummen auf Dateisystemebene gearbeitet - so kann auch angezeigt werden, welche Datei betroffen ist.

Fault dir die Datei nun weg, dann wird das ja nicht ausgelöst, und so würde dann doch die Datei nimmer zum Hash passen.

Dafür macht man Scrubs. Dabei werden die Paritäten (bzw. Prüfsummen, wenn auf Dateisystemebene vorhanden) mit den Daten abgeglichen, und falls möglich, wird korrigiert aus der Redundanz (über die Parität). Bei Dateisystemen wie ZFS, BTFS und ReFS wird außerdem bei jedem einfachen Lesevorgang mit der Prüfsumme auf Dateisystemebene verglichen.


Generell gibt es keine sichere Möglichkeit, die Integrität einer Datei nachträglich (also ohne, dass zuvor schon eine Prüfsumme bzw. Signatur angelegt wurde) zu prüfen. Man kann nur bestimmte Strukturen überprüfen (z.B. bei MP3s oder bestimmten Bildformaten), aber nicht den kompletten Dateiinhalt.

Ergänzung (3. Juli 2025)

Zudem werden Zeitstempel nicht in der Datei, sondern im Dateisystem gespeichert und haben daher keinen Einfluss auf den Hashwert einer Datei.

Ich habe ihn so verstanden, dass er Aktionen meint, welche diesen Wert bzw. das Datum ändern, und nicht die Metadaten selbst.

 

[nutrix]

Ich habe die oben verlinkte Anleitung im Scan mal angeschaut, aber das ist ja leider Kommandozeilen-basiert.
Das gibt einen Text aus im Beispiel dort, wenn man ein Bild damit scannt, aber ich weiß nicht mal wo der Text landen würde.
Von einer Stapelverarbeitung von tausenden Bildern reden wir garnicht erst...
Und dem autom. Schieben defekter Bilder eh nicht.

Da bin ich wohl leider raus, auch wenn es gut wäre, aber ich krieg das so nicht bedient.

Noch nie mal einen Batch in der CMD in Windows erstellt? Wie gesagt, Du mußt nur die Software installieren, den Pfad auf magick bekannt machen, und dann kannst Du es mit Hilfe von ChatGPT schnell in ein .bat etc. einbinden, so schwer ist das nicht. Und ja, ich hab damit locker tausenden von Bilder durchbekommen.

 

[mchawk777]

Zudem werden Zeitstempel nicht in der Datei, sondern im Dateisystem gespeichert und haben daher keinen Einfluss auf den Hashwert einer Datei.

Danke DIE Info hatte ich benötigt. 👍

 

[rg88]

Genau aus dieser Raid-System-Mechanik komme ich ja vom Gedanken her.
Dort ist es ja eben möglich, dass das System eine Datei geliefert oder überschrieben bekommt, dann eine Prüfnotiz anlegt, und anhand derer später sieht, dass sich der Platteninhalt verändert haben muss oder nicht.
Das System bekommt hier ja auch mit, dass eine neue bzw. veränderte Datei "bewusst" eingeht.

Du scheinst RAID-Systeme nicht wirklich verstanden zu haben und dich auch null damit befasst zu haben, oder?

 

[Hardkorn]

Bvckup 2 unterstützt Fehlerprüfung inklusive Delta copying. Ist rein für Datei Backups, keine System-Images. Hat aber ein, für den ein oder anderen Nutzer, gewöhnungsbedürftiges GUI und ist nur auf englisch.

https://bvckup2.com/features

Kostet $49.99 pro PC, Upgrade auf den nächsten Major Release $20.

 

[konkretor]

https://duplicati.com/ find ich super und unterstützt lokale Platten USB etc und Cloud Speicher. Die Daten werden direkt verschlüsselt hoch geladen. Sync geht inkrementell . Kann auch x Versionen vorhalten

 

[Spawnie112]

Noch nie mal einen Batch in der CMD in Windows erstellt? Wie gesagt, Du mußt nur die Software installieren, den Pfad auf magick bekannt machen, und dann kannst Du es mit Hilfe von ChatGPT schnell in ein .bat etc. einbinden, so schwer ist das nicht. Und ja, ich hab damit locker tausenden von Bilder durchbekommen.

Das Problem ist, selbst mir ChatGPT, dass ich nicht weiß was ich dem Magick erzählen soll.
Ich muss ihm ja sagen was er tun soll und da hängts schon, das klar zu definieren.

Ich kann ja schlecht sagen "Schreib eine BAT die mit Magick alle Bilder im Pfad X scannt und korrumpierte Dateien auflistet"... oder geht das?

Ergänzung (4. Juli 2025)

Noch mal zu Acronis: Was genau ist denn nun diese Fehlerprüfung, die sie bewerben, was bietet die denn?
Was findet die, was nicht, wie arbeitet die?

 

[nutrix]

Das Problem ist, selbst mir ChatGPT, dass ich nicht weiß was ich dem Magick erzählen soll.
Ich muss ihm ja sagen was er tun soll und da hängts schon, das klar zu definieren.

Ich kann ja schlecht sagen "Schreib eine BAT die mit Magick alle Bilder im Pfad X scannt und korrumpierte Dateien auflistet"... oder geht das?

Ergänzung (4. Juli 2025)

Ok, also Programmiernoob, kein Thema. Einfach das Problem logisch aufteilen.

Du brauchst im Prinzip 3 Schritte (als grobe Skizze)

1. Schreib mir eine bat-Datei (Powershell, vielleicht besser, weil moderner und mehr Möglichkeiten?) , welche mir alle Bilddateien in einem in der Kommandozeile übergebenen Ordner sucht. Z.B. finde_kaputte_bilder.bat "D:\Meine_Daten\Meine_Bilder"
2. Jedes gefundene Bild wird mit einem Programm geprüft, dieses Programm soll inklusive Programmparameter als Variable übergeben werden. Das wäre in diesem Fall beispielsweise eine Zeile set PROGRAMM="magick.exe identify -verbose"
3. Wenn das Programm einen Fehler wirft, so die aktuelle geprüfte Datei in einen Ordner verschoben werden.

Dann erstellst Du Dir ein Testverzeichnis, mit dem Du vorher ein paar kleine Bilder, wo Du weißt, daß sie korrupt sind. Dort testet Du erst mal selbst eine Datei mit dem Programm oben

> magick.exe identify -verbose X:\Dein-Pfad\Datei.jpg

Ich für meinen Teil war faul, ich verwende Unix und ich habe mir mit find alle Dateien gesucht, geprüft und die fehlerhaften Dateien in eine Liste gepackt.

find . -type f \( -iname "*.jpg" -o -iname "*.jpeg" -o -iname ".gif" \) -exec magick.exe identify -verbose {} 2>>kaputt.txt 1>>search.log \;

Und die Liste habe ich dann bei mir einfach durch ein Bash-Script gejagt, was mir dann die gefundenen fehlerhaften Dateien woanders hin verschiebt.

Ansonsten frag doch mal Bekannte und Verwandte, ob jemand da Programmier/IT-Kenntnisse hat, oder engagiere einen Studenten Schüler, der Dir das schreibt.

Noch mal zu Acronis: Was genau ist denn nun diese Fehlerprüfung, die sie bewerben, was bietet die denn?
Was findet die, was nicht, wie arbeitet die?

Es ist ein Konsistenzcheck.
https://www.softguide.de/funktion/backup-ueberpruefung

 

[Spawnie112]

OK, das ist aber genau das was ich nicht wollen würde, dass ungeprüft Fehler gesynct werden.