Programm um Dateiduplikate aufzuspüren

[Kamikatze]

Hallo!

Bin auf der Suche nach einem Programm, mit dem ich Dateiduplikate finden kann. Dafür gibt es ja zur Genüge Programme, aber ganz so trivial sind meine Anforderungen nicht.

Das Problem ist, dass sich manche Dateien nur durch den Header unterscheiden.

Ich möchte z.B. doppelte MP3s aufspüren.

Dazu sind mir 2 Programmvarianten bekannt:

• Die einen vergleichen einfach den kompletten Dateiinhalt und scheitern, weil sich 2 eigentlich identische Dateien durch den Header/Tag unterscheiden.
• Manche unterstützen es auch, doppelte Dateien aufgrund der Header-Informationen aufzuspüren, nur finden diese somit z.B. auch unterschiedliche Versionen eines bestimmten Songs und scheitern wiederum bei unterschiedlichen Tags.

Ich suche nun also ein Programm, das rein den Dateninhalt von diversen Dateitypen (Audio, Video, PDF, ... was auch immer unterstützt wird) berücksichtigt.

Liege ich recht in der Annahme, dass es so etwas noch nicht gibt?

 

[Hancock]

Also ich kenn keins, könnte aber u.U. eins programieren.

 

[Stock86]

also ich kenne nur das programm Antitwin

http://www.aidex.de/software/antitwin/

vll hilft dir das schon weiter.

 

[Kamikatze]

Das Programm ist im Prinzip echt toll, vor allem funktioniert es aufgrund des prozentuellen Ähnlichkeitsvergleiches auch noch unabhängig vom Medientyp!

Leider ist das Programm nur nicht für meinen Großeinsatz nicht anwendbar. Bei zumindest ca. 80.000 Dateien (über 300 GiB) mit ~ (n^2)/2 Vergleiche (~ 3,2 Mrd. Vergleiche und mehr als 12 Mio. GiB Daten zu lesen) würde das bei einer Übertragung von 20 MiB/s und Dauerbetrieb ca. 20 Jahre dauern, das sind mir die paar GiB/MiB dann auch wieder nicht wert.