Schutz vor Duplikaten

[oh-leut]

Moin,

ich habe ca. 7 Tage benötigt meine Bilder & Dukumente von Duplikaten zu entfernen und zu sortieren !
Geholfen haben mir Dublikate File Detektiv 6 , Visipics , ACDSee & Treesize Danke dafür :-)

Gibt es ein Programm was meine Platten überwacht und meldet wenn ich versuche eine Kopie / Duplikat zu Speichern ???
So ne art Prog. was ne Datenbank erstellt, muss nicht unbedingt ne Free Version sein ...

 

[garbel]

Irgendwas machst du falsch...

 

[oh-leut]

Irgendwas machst du falsch...

kann möglich sein !

Mein Problem war ich habe einfach Daten auf platten abgelegt und nie wirklich ne Ordnung drin gehabt, ich musste quasi ca. 1,5TB Daten durchforsten und mir erstmal nen überblick verschaffen, und das sind paar 1000 Ordner !

1. Angefangen hab ich mit Treesize um mir ein Überblick zu verschaffen Platten/Ordner Größen usw.
2. Dublikate File Detektiv 6 -> Alles Doppelte Ext. Archivieren
Dublikate File Detektiv 6 hat da Probleme Bilder richtig als Doppelte zu erkennen trotz 512 bit suche !

3. Visipics über Bilder laufen lassen falls Doppelt -> mit exakter Bestimmung !
4. ACDSee Bilder Sortiert, gesichtet & in Alben Erstellt/Verschoben
5. Treesize Dokumente & andere Daten gefiltert und in Ordner abgeheftet


Also jetzt frag ich mich was hab ich Falsch gemacht ????

Ich suche lediglich ein Prog. was ggf. ne Datenbank erstellt und mir sagt wenn ich versuche
Bild1 / Datei1 auf Platte zu kopieren wenn es schon vorhanden ist !

 

[STEz3ro2]

Ich glaube ehrlich gesagt nicht, dass es so ein Programm gibt, würde denk ich auch gewaltige Mengen Leistung fressen. Um ehrlich zu sein hört sich das aber auch sehr chaotisch an. Würde vielleicht eher darüber nachdenken, wie man die Ordnung hält (Ordnersysteme, die zum Beispiel nach Sinn der Datei sortiert sind (jeweilige Projekte o.Ä.), eindeutige Dateinamen vergeben und versuchen der Sache so Herr zu werden. Will dir nicht zu nahe treten, aber das ist nicht normal

 

[von Schnitzel]

[...] ich habe einfach Daten auf platten abgelegt und nie wirklich ne Ordnung drin gehabt, [...] und das sind paar 1000 Ordner !
...
Also jetzt frag ich mich was hab ich Falsch gemacht ????

Frage selbst beantwortet.
Windows gibt ne Meldung raus, wenn es sich bei doppelten Dateien (Name + Endung) um den selben Ordner handelt, aber so ist das vollkommen zulässig.

Mir ist aber leider kein Programm bekannt, das die gewünschte Funktion hat.
Da bist du selbst gefragt, Ordnung zu halten.

 

[oh-leut]

Ja das war richtig Caos , ich hab es gemerkt weil ich Bilder gesucht habe von 2011 und habe sie einfach nicht gefunden !!

Ab und zu hat Windows mir gesagt das es die Datei schon gibt, aber immer nur dann wenn sie gleich benannt waren !
Viele hatten aber unterschiedliche Namen waren aber gleiche Bilder/Dokumente

Ein Mammut Projekt war das mit den Bildern Sortieren/Organisieren/Löschen
Einige Bilder hatten das Falsche Datum oder gar keins mehr , somit wusste ich nicht genau wann es gemacht wurde.

Ich lege einfach alles nur in Ordner ab...

Ich würde ja auch Monatlich die Platten Scannen auf Doppelte Daten nur dauert das Ewig !!!
Schön wäre wenn das Prog. ne Datenbank erstellt damit es nicht jedes Mal die Platten komplett Neu scannen muss, sondern weiß was drin ist .

Ich muss mich einfach daran halten alles richtig zu beschriften und abheften

 

[STEz3ro2]

Mit dem richtigen Benennen und Ablegen der Dateien das wär wahrscheinlich schon die halbe Miete. Im Zweifel musst du halt trotz langer Dauer die monatliche Suche in Betracht ziehen, da sich ja zumindest niemand zu Wort gemeldet hat, der ein solches Programm kennt. Wenn du aber schon was Ordnung auf den Platten hälst ist das Postprocessing nach den Durchläufen wenigstens nicht so aufwändig

PS: Auf den Dreh bin ich auch erst nach ner Weile gekommen, gab Zeiten, in denen sich die "Neuen Ordner" bis unters Dach gestapelt haben und hab dann selbst auch mal ein paar Wochen investiert, um mir ein vernünftiges System zuzulegen und aufzuräumen...anders gings halt leider nicht man findet ja beim besten Willen nix mehr, wenn das Chaos den PC beherrscht

 

[sthyen]

Mir ist auch kein Programm bekannt, welches deine gesuchte Funktion unterstützt.
Bei Bildern mache ich es bspw. so, dass ich für jedes Jahr einen Ordner habe und innerhalb der Ordner für jedes Ereignis einen Ordner mit Datum und Bezeichnung. Zusätzlich einen Ordner "unsortiert" wenn ich gerade nicht die Zeit habe, alles einzusortieren.
Das sieht dann etwas so aus

2016
    2016-01-01 Neujahr
    2016-04-03 Ostern
    2016-07-03 Urlaub
    2016-12-24 Heiligabend
2017
    2017-02-28 Geburtstag Werner
    2017-09-21 Herbstanfang
unsortiert

Aber da ist jeder seines eigenen Glückes Schmied

 

[STEz3ro2]

@sthyen klingt nach nem vernünftigen System, meins basiert eher auf Projektnamen (wie vorher schon angedeutet)

2016
    Projekt Stauchversuch Flasche
        Bilder
        Dokumente
        HM-Dateien
        ...
        
2017
    Projekt Tutorials
        Bilder
        Dokumente
        HM-Dateien
        ....

aber das mit dem unsortiert finde ich nen interessanten Ansatz, hab für meine unsortierten Dateien einen USB-Stick, von dem ich dann immer bei Gelegenheit die unsortierten Dateien einsortiere. Aber warum der Stick, wenn man auch einen Ordner erstellen kann

 

[sthyen]

Es geht bei dem Beispiel ja auch nur um Bilder.
Meine berufliche Ordnung sieht ganz anders aus. Als Lehrer habe ich das nach Fächern sortiert.

Chemie
    Metalle
    Kohlenstoffdioxid
Physik
    Elektrizität
    Verbrennungsmotoren
Informatik
    Word
    HTML
    Videobearbeitung

Aber für jedes Anwendungsgebiet gibt es bestimmt verschiedene sinnvolle Strukturen. Aber wie oben schon geschrieben wurde: manchmal braucht man seine Zeit, bis man sein System gefunden hat. Eins sollte aber klar sein, jede Sortierung benötigt auch Zeit. Dafür geht dann die Suche umso schneller.

By the Way: Meine E-Mails habe ich früher auch genau sortiert in verschiedene Ordner. Das habe ich wieder eingestellt, da die Suchfunktion von Outlook viel besser ist, als mein System. Nur 2-3 wichtige Projekte sortiere ich noch aus.

 

[STEz3ro2]

Bei Outlook sortiere ich schon noch, da ich verschiedene Anliegen mit verschiedenen E-Mail-Konten handhabe und ich sonst in meiner E-Mail-Flut untergehe aber wie du schon sagst: jeder muss da sein eigenes System finden. So und jetzt müssen wir aufpassen, dass das nicht zu weit ins Offtopic abdriftet, sonst gibts noch Ärger

 

[IT_Genius]

Ein Mammut Projekt war das mit den Bildern Sortieren/Organisieren/Löschen
Einige Bilder hatten das Falsche Datum oder gar keins mehr , somit wusste ich nicht genau wann es gemacht wurde.

Bei den Fotos kann ich Lightroom Classic CC (kostet monatlich) oder Lightroom 6 (Lizenz bei eBay ab 50€) empfehlen. Man kann damit Fotos sehr gut organisieren. Es arbeitet mit der Ordnerstruktur von Windows zusammmen. Es gibt verschiedene Plug-ins um Duplikate zu finden. Man kann mithilfe der EXIF Informationen alles sortieren nach Ordnern. Ich würde z.B. erst einmal alle Bilder ohne Exif ausfindig machen, diese in einen separaten Katalog einfügen. Danach versuchen die fehlenden Exif Daten (Datum und Uhrzeit) zu rekonstruieren (z.B. mithilfe von Dateinamen, oder sich an den Bildern mit Exif-Daten orientieren).

 

[oh-leut]

ich bin kein Fan von der Abo Politik, und mir noch extra Lightroom Kaufen mag ich auch nicht !
Ich habe letztes Jahr von meiner Frau ACDSee Photostudio Standard 2018 geschenkt bekommen aber noch nie benutzt, wäre das vergleichbar wie mit Lightroom ???

 

[Twostone]

Bei Bildern könnten die EXIF-Daten bei der Sortierung helfen, vorausgesetzt, die stimmen und wurden nicht verändert.

Für alles Andere: Richtig benennen und ein sauberes Konzept sind unabdingbar. Unterstützen kann Dich hier ggf. auch ein cron-job, der regelmäßig mal nach doppelten Dateien sucht. Auch Dateisysteme, die dedup unterstützen, könnten hier helfen, zumindest den verbrauchten Speicherplatz zu reduzieren (nicht aber die Anzahl der doppelten Dateien zu verringern).

Sollte Dir partout kein Programm einfallen, kannst Du das Ganze auch über Datenbanken lösen, wobei das in vielen möglichen Szenarien eher die atomare Lösung wäre.

Fernab vom Namen können Dir auch Prüfsummen helfen, doppelte Dateien zu finden, aber: Nur ein bit anders, und die doppelte Datei ist keine doppelte Datei mehr.

Bei allen Möglichkeiten, doppelte Dateien zu finden und zu verringern, sollte es stets der Ansatz sein, diese erst zu vermeiden. Und da kommt es um ein Konzept einfach nicht mehr herum. Wenn dieses steht und eingehalten wird, dann kann man sich mit anderen Methoden helfen, sollte doch einmal eine Datei durchrutschen.

Sollte mal eine Datei in mehreren Ordnern gebraucht werden, empfiehlt sich, mit symlinks zu arbeiten. Kommt dies sehr häufig vor -> Datenbank.

 

[Tenchi Muyo]

2. Dublikate File Detektiv 6 -> Alles Doppelte Ext. Archivieren
Dublikate File Detektiv 6 hat da Probleme Bilder richtig als Doppelte zu erkennen trotz 512 bit suche !

Oh, dass ist mir neu!

Hast Du den Entwickler mal kontaktiert?

Gerade mit den 512Bit hätte ich mich 100%ig drauf verlassen!

 

[oh-leut]

Oh, dass ist mir neu!

Hast Du den Entwickler mal kontaktiert?

Gerade mit den 512Bit hätte ich mich 100%ig drauf verlassen!

Nein habe den Entwickler noch nicht kontaktiert !
Ich werde heute/morgen nochmal Bilder scannen und das alles verfolgen .
Ich melde mich wenn ich mehr weiß, kann ja sein das ich was falsch gesehen habe !

 

[oh-leut]

also ich habe 1 Ordner mit 91 Unterordner 2010-2017 darin sind 3.909 Dateien enthalten
Diesen Ordner habe ich auf Doppelte Dateien (*.bmp;*.gif;*.jpg;*.jpeg;*.pcx;*.png;*.psd;*.tif;*.tiff;*.wmf;*.eps;*.ico;*.exif;*.pdn;*.raw;*.tga;*.ai;*.psp;*.svg) untersuchen lassen.
Filter liegt bei (*.bmp;*.gif;*.jpg;*.jpeg;*.pcx;*.png;*.psd;*.tif;*.tiff;*.wmf;*.eps;*.ico;*.exif;*.pdn;*.raw;*.tga;*.ai;*.psp;*.svg)
Methode: 256-bit

Treesize: zeigt mir 3.909 Dateien an - findet 122 Dateien (61 können gelöscht werden)
DFD6: Untersucht 3.830 Dateien - Findet 0 Doppelte

Wenn ich mir aber die Bilder angucke sind es eindeutig die gleichen !
Jetzt bin ich mir nicht sicher welches Prog. hier richtig arbeitet ???

 

[Twostone]

Bedenke, ein Computer "denkt" anders als ein Mensch. Wenn Du Bilder miteinander vergleichst, schaust Du nach Inhalt, Position von Gegenständen, Tageslicht, etc. Wenn ein Computerprogramm Bilder vergleicht, schaut es in erster Linie nach Ergebnissen verschiedenster Berechnungen. Ein Faktor unterschieden, auch nur ein Bit anders, und die Ergebnisse können sich teils drastisch unterscheiden: Die Bilder sind nicht identisch, auch wenn sie für das menschliche Auge gleich aussehen.

Selbst eine sehr geringfügige Helligkeitsänderung bedeutet eine gravierende Änderung aller Farbwerte, ein Programm erkennt das, für das Menschliche Auge (und das daran angeschlossene Gehirn) ist es eine leichte, technische Unschärfe. Ändere ein Bit der Exif-Daten, die Prüfsumme stimmt schon nicht mehr. Ein Pixel anders in einem 50MP-Bild, und schon ist es ein anderes Bild.

Was Du forderst, fällt mehr in die Kompetenz neuronaler Netzwerke.

Die Programme, die es gibt für Deinen Anwendungsfall, sind allesamt mit Schwächen behaftet: Die Schwäche "Maschine". Es wird nie ein 100%ig perfektes Ergebnis bei herauskommen. Auch beim menschlichen Gehirn wird es kein perfektes Ergebnis geben. Du wirst beide Methoden kombinieren müssen, um ein optimales Ergebnis zu erzielen. Bedeutet für den Faktor "Maschine", daß Du auch mit deutlich mehr Methoden bzw. mit unterschiedlichsten Kriterien vergleichen mußt (was Dein Hirn ebenfalls macht).

 

[sPeziFisH]

Automatisch kenne ich nicht, aber man kann sich selbst automatisieren, d.h. einige Aufgaben regelmäßig durchführen.
Das trainiert auch gut und gibt Dir Gelegenheit, regelmäßig Deine Ordnung zu überdenken bzw. auf Tauglichkeit zu prüfen und zu verbessern.
Mit etwas Routine geht das sehr schnell von statten und eine Aufgabenplanung dafür kann man sich ja auch grundsätzlich einrichten.

Du wirst nicht drumherum kommen, Dir einen Ordner als Art Schleuse einzurichten. Hier kommt alles Neue rein.
Diesen vergleichst Du dann mit Deinen abgelegten Daten.
Eine sinnvolle Ordnerstruktur ist ohnehin unerlässlich, schließlich 'sortiert man ja ein' (Sortierung verlangt vorhandene Struktur) (auf Basis Datum, auf Basis Thema, etc).

Ich empfehle folgendes:

• AllDup (http://www.alldup.de/alldup_hilfe/alldup.php) z.B. als portable
• ggf. zusätzlich für Bilder: Find.Same.Images.OK (http://www.softwareok.de/?seite=Freeware/Find.Same.Images.OK)
• ggf. DropIt (http://www.dropitproject.com/) um Neues schnell einzusortien bevor sich was anhäuft

Alldup
hilft Dir hier in allen Lebenslagen, eine unfassbar gut gemachte Software.
Es ist sehr gut strukturiert, aber wie bei mächtigen Werkzeugen üblich, muss man sich orientieren und etwas einarbeiten.
siehe Bilder im Anhang für ein Test-Szenario:
Ordner: 00 input: ist meine Schleuse > weitestgehend 'neue' Dateien
Ordner: Archiv enthält die bereits abgelegten und einsortierten Dateien. Teils mit dann neuem Namen.
00: Übersicht der beiden Test-Ordner
01: in Alldup sind beide (getrennten) Ordner ausgewählt
02: ich habe als 'Suchmethode' nach 'Dateiendung' und 'Dateiinhalt' (=Abgleich auf Basis Hash) verglichen. Nicht nach 'Dateiname', da ich diesen teils bereits geändert habe. Es gibt hier zahlreiche Optionen, 'Dateigröße' wäre bei identischen dateien ebenfalls hilfreich.
03: Markieren & Löschen. Hier muss natürlich gut geprüft werden. Es werden die Duplikate aus '00 input' ausgewählt und gelöscht, da bereits einsortiert, vorhanden.

Alldup kann auch bei Bildern helfen und auf eine gewisse Ähnlichkeit prüfen.
Hier bin ich mit Find.Same.Images.OK schneller zu Ergebnissen gekommen, sollte das Bild auch zudem gedreht oder skaliert worden sein.
04: skalierte und 90°gedrehte Bilder wurden als zugehörig erkannt
Bildausschnitte, also gecroppte Bilder (nur teilweise gleicher Bildinhalt, auch anderes Seitenverhältnis), sind, glaube ich, grundsätzlich eine sehr anspruchsvolle Aufgabe.

Auch Tools wie DropIt und alternative Explorer wie z.B. xyplorer leisten wertvolle Hilfe bei der regelmäßigen Datenjongliererei.

Probiere einfach mal aus. Ich bin auch noch nicht ganz 100%ig zufrieden, es wird stets weiter optimiert.
Z.B. hole ich mittlerweile alles von versch. Geräten per Syncthing auf meinen PC und und sortiere dann hier ein.
Diese Duplikat-Vielfalt mit versch. Geräten und Datenträger, USB-Sticks, etc. erfordert echt Routine.