Welches Tool, um doppelte/mehrfache Dateien zu finden, nutzt ihr?

[cumulonimbus8]

Ich gucke keine halbe Stunde YT… Und ja, klar, theoretisch kann jeder Basis-Hub 127 Ports kontrollieren. Weiß ich. Aber bei 25 Buchstaben ist halt Schichtende. Da nützen mir 120 Ports nix 😁.
CN8

 

[Snoopy69]

Ich kenne keinen, der 25 USB-Geräte gleichzweitig nutzt. Ausser dir...

 

[cumulonimbus8]

Heda, da tue ich auch nicht. 😉
Wenigstens nicht als logische Laufwerke die einen Buchstaben wollen. C bis L werden von echten LW verfuttert, W und Z auch; A, B und Y (verkappt) sind WebDAV.
Ist gewachsen und gewachsen und man kann sich ja einfach nicht davon trennen… 😇
Die Gerätschaftenzahl an USB ohne Buchstabe ist schon recht umfangreich - Kameras, Headsets, Eingabegräte (mehrerere), BT… Da kommt schon was zusammen. Nur will das ja zum Glück keine Buchstaben 🙂.
CN8

 

[Snoopy69]

Wie ist das unter Linux, nach einer schnellen Suche hab ich gelesen, dass man da angeblich neben dem gewöhnlichen "sda" auch "sdaa" angeben könnte. Stimmt das?

 

[HITCHER_I]

128 Disk.
https://tldp.org/HOWTO/SCSI-2.4-HOWTO/dnames.html

Unter Linux in bash gäbe es auch eine einfache Möglichkeit, aber es dauert ziemlich lange, erst mal für jede Datei eine md5sum zu berechnen. Dann diese Liste sortieren nach dem Hashwert, und mit uniq selbe Zeilen auswählen.

#!/bin/bash
SAVEIFS=$IFS
IFS=$(echo -en "\n\b")

for i in $(find -type f -print); do md5sum $i; done

IFS=$SAVEIFS

^md5sum-all-files

$ ../md5sum-all-files | sort - | uniq -D -w32

 

[brianmolko]

Keins.

 

[Snoopy69]

Gibt es ein Tool (nur M$), dass jede (oder nur ausgewählte) Dateien mit einer Checksumme (zb MD5 o.ä.) automatisch versieht, wenn sie auf dem Laufwerk gespeichert wurden? Und, dass es bei einem Scan, nach mehreren Jahren fehlerhafte Dateien finden kann, nachdem sie mit der Checksummen-Datenbank verglichen wurden? Im Moment bleibt einem nur die manuelle Option

 

[HITCHER_I]

Mal die Fa. Tripwire fragen, die macht sowas.

 

[_roman_]

Wie ist das unter Linux, nach einer schnellen Suche hab ich gelesen, dass man da angeblich neben dem gewöhnlichen "sda" auch "sdaa" angeben könnte. Stimmt das?

Ich wollte die Quelle suchen, habe aber es öfters so gefunden.

https://superuser.com/questions/406272/maximum-amount-of-hard-drives-in-64-bit-linux

That's easy. After /dev/sdz comes /dev/sdaa. And, I've just tested it by making and logging into 800 ISCSI targets on my laptop, after /dev/sdzz comes /dev/sdaaa. :

4-6 Partitonen pro Laufwerk waren bei mir üblich.

Ist bei mir sowieso nicht mehr relevant. Da W11Pro ein HinterwäldlerBetriebsystem ist. Es fehlt am notwendigsten. Ja Verallgemeinerung.

Ich habe teilweise noch NTFS - warum auch immer.
Der Rest ist schon in sagen wir Container dazu - LVM2 Volumes die mit LUKS verschlüsselt sind.

Wie die Physical Extents bezeichnet sind, ist mir da im Grunde egal. PE = LVM2 Begriff für die unteren Hardware Sektoren.

Es rennt sowieso alles über UUIDs heutzutage. Falls nicht sollte man schleunigst seine /etc/fstab umstellen!

https://www.cyberciti.biz/faq/linux-finding-using-uuids-to-update-fstab/

Und da mir sinnnhaftere Namen wichtiger sind. Welches Laufwerk?
Ich will nicht immer mit smarctl -a nachschauen welches Laufwerk es ist.
Ist ja bei W11Pro nicht besser mit C: D: E: ... Da muss man sich mittels Label aushefeln. Was auch sehr Dumm ist.
Backups kann ich so mit Datum versehen und Namen, damit ich weis, was es ist.

VG und LG Namen wurden so in der Vergangenheit bei mir so vergeben aufgrund Phantasielosigkeit.
Bei verschlüsselte Backups wird als LV das Datum vergeben mit dem Schlüsselwort Backup.

Sienna_Cichlid /home/roman # ls -alh /dev/mapper/
total 0
drwxr-xr-x  2 root root     220 Sep 11 04:39 .
drwxr-xr-x 21 root root    4.5K Sep 11 04:39 ..
crw-------  1 root root 10, 236 Sep 11 06:39 control
lrwxrwxrwx  1 root root       7 Sep 11 04:39 harddrives-mirrored -> ../dm-5
lrwxrwxrwx  1 root root       7 Sep 11 06:39 harddrives-mirrored_rimage_0 -> ../dm-2
lrwxrwxrwx  1 root root       7 Sep 11 06:39 harddrives-mirrored_rimage_1 -> ../dm-4
lrwxrwxrwx  1 root root       7 Sep 11 06:39 harddrives-mirrored_rmeta_0 -> ../dm-1
lrwxrwxrwx  1 root root       7 Sep 11 06:39 harddrives-mirrored_rmeta_1 -> ../dm-3
lrwxrwxrwx  1 root root       7 Sep 11 06:39 root -> ../dm-7
lrwxrwxrwx  1 root root       7 Sep 11 06:39 vg_root_volume_ADATA-lv_root_volume_ADATA -> ../dm-0
lrwxrwxrwx  1 root root       7 Sep 11 06:39 vg_root_volume_nvme_crucial-lv_root_volume_nvme_crucial -> ../dm-6

Das Harddrive Zeug ist ein Testlaufwerk mit Harddrives die Fehlerhaft sind. Da ist nur ein Typ von File drauf.

--

Frage an den Fragesteller aus Thema 1

Gibt es schon irgendwelche neuen Erkenntnisse?

Ich bin auch beim Ausmisten / Umschichten der Daten. Das dauert aber schon länger.

Ergänzung (11. September 2023)

Und, dass es bei einem Scan, nach mehreren Jahren fehlerhafte Dateien finden kann,

Das ist aber eine Datenträger Thematik.

Man sollte sich mal genauer beschäftigen mit

• LVM2
• LUKS
• ext4

Jede Schicht fügt Redundanz hinzu.

Auch sollte man sich einmal diese mirror Thematik anschauen bei lvm2.

Ein Link den ich selbst verwendet habe, aber nicht die Referenz ist.
https://www.thomas-krenn.com/de/wiki/LVM_Mirrored_Volume
Ich würde mich direkt auf REDHAT / CENTOS Dokumentation stützen, usw.

Dass es nicht mehr in W11Pro Lesbar ist, darauf kann ich gerne verzichten.
Es reicht mir, wenn der 128MB USB Stick für das UEFI von W11Pro versaut wird. 2x Bios Files + Bios Settings
Wenn mir die 2x 120MB VFAT Partition von W11Pro versaut wird, obwohl ich nie diese Laufwerke jemals in W11Pro anschaue oder benutze. Unnötige Ordner werden erstellt welche versteckt sind. Unnötige Schreiboperationen auf diese Partitionen von W11Pro. W11Pro ist ein Hinterwälderbetriebssystem zerstört Datenträger mit ungefragte Operationen auf Datenträger die nie aktiv benutzt werden, usw. (/run/media/roman/LEXAR\ MEDIA/System\ Volume\ Information/)

--

Ich teste deshalb mein gespiegeltes LVM2 Volume mit alten Harddrives
Der Kernel ring Buffer jammert.
Ist mir egal, da ich was lernen will, was neues tun will, etwas ausprobiere.
Ob mir die Gentoo Distfiles kaputt werden oder nicht, ist egal. Es sind nur Downloads zum Compilieren des Gentoo Systems. Fressen aber Platz, das ich nicht sichern will.
Solche Daten brauchen nicht auf einem neuen Premium Datenträger liegen.
2x 1.5TB HDD werden dann zu einer 1.5TB halbwegs zuverlässigen Datenträger.

[  246.894842] md/raid1:mdX: dm-2: unrecoverable I/O read error for block 58946176
[  249.551722] ata7.00: exception Emask 0x0 SAct 0x10 SErr 0x0 action 0x0
[  249.551744] ata7.00: irq_stat 0x40000008
[  249.551755] ata7.00: failed command: READ FPDMA QUEUED
[  249.551762] ata7.00: cmd 60/08:20:68:a3:83/00:00:03:00:00/40 tag 4 ncq dma 4096 in
                        res 41/40:07:69:a3:83/00:00:03:00:00/40 Emask 0x409 (media error) <F>
[  249.551793] ata7.00: status: { DRDY ERR }
[  249.551800] ata7.00: error: { UNC }
[  249.564901] ata7.00: configured for UDMA/133
[  249.564946] sd 6:0:0:0: [sdb] tag#4 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK cmd_age=2s
[  249.564960] sd 6:0:0:0: [sdb] tag#4 Sense Key : Medium Error [current]
[  249.564971] sd 6:0:0:0: [sdb] tag#4 Add. Sense: Unrecovered read error - auto reallocate failed
[  249.564982] sd 6:0:0:0: [sdb] tag#4 CDB: Read(10) 28 00 03 83 a3 68 00 00 08 00
[  249.564989] I/O error, dev sdb, sector 58958697 op 0x0:(READ) flags 0x800 phys_seg 1 prio class 2
[  249.565023] ata7: EH complete
[  249.565034] md/raid1:mdX: dm-2: unrecoverable I/O read error for block 58948352
[  252.191757] ata7.00: exception Emask 0x0 SAct 0x40 SErr 0x0 action 0x0
[  252.191777] ata7.00: irq_stat 0x40000008
[  252.191787] ata7.00: failed command: READ FPDMA QUEUED
[  252.191794] ata7.00: cmd 60/08:30:80:a3:83/00:00:03:00:00/40 tag 6 ncq dma 4096 in
                        res 41/40:07:81:a3:83/00:00:03:00:00/40 Emask 0x409 (media error) <F>
[  252.191823] ata7.00: status: { DRDY ERR }
[  252.191831] ata7.00: error: { UNC }
[  252.205736] ata7.00: configured for UDMA/133
[  252.205775] sd 6:0:0:0: [sdb] tag#6 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK cmd_age=2s
[  252.205789] sd 6:0:0:0: [sdb] tag#6 Sense Key : Medium Error [current]
[  252.205799] sd 6:0:0:0: [sdb] tag#6 Add. Sense: Unrecovered read error - auto reallocate failed
[  252.205810] sd 6:0:0:0: [sdb] tag#6 CDB: Read(10) 28 00 03 83 a3 80 00 00 08 00
[  252.205816] I/O error, dev sdb, sector 58958721 op 0x0:(READ) flags 0x800 phys_seg 1 prio class 2

99.99% synchronisiert

  LV                          VG                          Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  mirrored                    harddrives                  rwi-aor---    1.36t                                    99.99

 

[Snoopy69]

Das ist aber eine Datenträger Thematik.

Man sollte sich mal genauer beschäftigen mit

• LVM2
• LUKS
• ext4

Jede Schicht fügt Redundanz hinzu.

Du meinst, das ext4-Filesystem hat die höchste Datenredundanz?

 

[Claus911]

Servus,
bin gerade in der gleichen Lage, seit 30 Jahre hab ich immer wieder meinen Daten zwischengespeichert dupliziert gesichert, gefühlt habe ich von mache sogar 10-20 gleiche und sehe vor lauter Bäume den Wald nicht mehr
Suche ein geschmeidiges Programm damit ich mal Ordnung schaffe, es handelt sich fast nur um Excel PDF und Fotos mit gleichen Dateinamen.

Haut mal eure Favoriten raus.

 

[M@rsupil@mi]

Was stimmt mit den Beiträgen / Programmvorschlägen dazu auf der ersten Seite nicht?

 

[Snoopy69]

Servus,
bin gerade in der gleichen Lage, seit 30 Jahre hab ich immer wieder meinen Daten zwischengespeichert dupliziert gesichert, gefühlt habe ich von mache sogar 10-20 gleiche und sehe vor lauter Bäume den Wald nicht mehr
Suche ein geschmeidiges Programm damit ich mal Ordnung schaffe, es handelt sich fast nur um Excel PDF und Fotos mit gleichen Dateinamen.

Haut mal eure Favoriten raus.

Würde zuerst „Everything“, zum groben Suchen nutzen. Und wenn‘s ganz genau sein soll, den Inhalt, der Files per Checksummen auf 100% Gleichheit prüfen, mit „Free Commander“

Ginge aber auch mit „Total Commander“

 

[cumulonimbus8]

Suche ein geschmeidiges Programm damit ich mal Ordnung schaffe

Tut mich traurig, aber kein Programm kann dir das Denken abnehmen. Nur du kannst bei allen Treffern die Everything oder wer auch immer liefern entscheiden was bleibt und was nicht.

CN8

 

[Claus911]

Würde zuerst „Everything“, zum groben Suchen nutzen. Und wenn‘s ganz genau sein soll, den Inhalt, der Files per Checksummen auf 100% Gleichheit prüfen, mit „Free Commander“

Ginge aber auch mit „Total Commander“

Super Ansatz, bringt es was bei Free Commander die 64er Version zu nutzen?

 

[Snoopy69]

Sollte keinen Unterschied machen