3.1TB auf externem 8TB WD MyBook löschen dauert

[floogy]

Hallo,

gibt es eine schnelle Methode große und viele Dateien/Ordner zu löschen?
Selbst das Anzeigen im Explorer>Properties dauert wohl ewig.

Ich versuche nun unter Cygwin mit rm -rf /cygdrive/l/WD Backup.swstor/floogy

Nach vielleicht 12h sind etwa 700GB gelöscht.

$ df -h /cygdrive/l
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
L:              7,3T    7,1T  249G   97% /cygdrive/l

$ df -h /cygdrive/l
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
L:              7,3T    6,4T  994G   87% /cygdrive/l

(del ist um das dreifache schneller als rd)

del /f /s /q C:\Ordner >nul
rd /s /q C:\Ordner

https://administrator.de/forum/ordner-60-000-dateien-löschen-293449.html#comment-1068324

rm unter cygwin
https://administrator.de/forum/ordner-60-000-dateien-löschen-293449.html#comment-1068325

Erfahrungen mit del
https://administrator.de/forum/ordner-60-000-dateien-löschen-293449.html#comment-1069729

Es wird auch empfohlen alles zu sichern, außer den betreffenden Ordner und dann zu formatieren und das Backup zurückzusichern. Da die weiteren Dateien etwa 4TB ausmachenm, ist das keine Option.

Ein Konvertierung wird auch nicht gehen, und müsste von exFAT auf FAT32 (minitool?) auf NTFS (convert) erfolgen. FAT32 unterstützt aber nur Dateien bis 4GB. Ich habe aber virtuelle Laufwerke >4GB auf der externen Festplatte liegen. (Ich dachte die Grenze würde bei 2GB liegen?)

Fat32 und exFat nach NTFS konvertieren
https://ekiwi-blog.de/4793/fat32-und-exfat-nach-ntfs-konvertieren/

Ich nehme mal an NTFS wäre da von Vorteil, weil schneller? Wahrscheinlich werde ich das jetzt aber zwei Tage laufen lassen ...

 

[wern001]

NTFS ist nicht schneller als exfat oder fat32 da NTFS noch eine jornaling und weitere funktionen hat.

gibt nur zwei möglichkeiten
1. ganz normal löschen und warten
2. schnellformatiern

 

[sven.000]

Irgendwelche Zwischenschichten wie Cygwin beschleunigt das ganze bestimmt nicht. Arbeite mal mit den Windows eigenen Tools.

Was sind denn da für Dateien drin, die Löschgeschwindigkeit hängt in erster Linie von der Anzahl der Dateien und nicht von der Größe ab.

Fat32 und exFat nach NTFS konvertieren
https://ekiwi-blog.de/4793/fat32-und-exfat-nach-ntfs-konvertieren/

Ich nehme mal an NTFS wäre da von Vorteil, weil schneller? Wahrscheinlich werde ich das jetzt aber zwei Tage laufen lassen ...

Du hast aber vorher schon eine Datensicherung gemacht? Sonst hat sich die Frage wahrscheinlich bald erledigt, weil alles weg ist. Irgendwie am Dateisystem rumzubasteln ist ziemlich risikoreich.

 

[Nuon]

Wäre es möglich, den Schreibcache für die externe HDD zu aktivieren?

 

[cyberpirate]

Wenn Du direkt ohne Papierkorb löscht sollte das doch schnell gehen. Also SHIFT und löschen.

 

[Nuon]

Aktivierung schreib-cache
https://www.schieb.de/762806/aktivierung-des-schreibcaches-undter-windows-10

 

[Looniversity]

Stell die Platte einfach in die Ecke und lass die Maschine rödeln, da musst du ja nicht neben sitzen und dem Gras beim Wachsen zuschauen. Auch wenn es ein paar Tage dauert ist das auf jeden Fall besser als mit dem Dateisystem zu stümpern. Das ist ein guter Weg, das Löschen von acht Terabyte versehentlich auf ein paar Sekunden zu beschleunigen ⛔

 

[wern001]

der schreibcache auf externen platten ist ein zweischneidiges Schwert.
man darf den externen Datenträger nie einfach abziehen sondern nur noch über "Hardware sicher entfehren"

 

[chrigu]

ist ein raid (2 Platten) eingestellt?
gat das wd Ding ein eigener filemanager? Dann lösche mal mit dem.

 

[floogy]

Es ist keine Diskstation mit eigenem OS oder RAID. Der Schreibcache macht wahrscheinlich nicht viel aus, obwohl auch bei Linux eine Mountoption empfohlen wird die das journaling abschaltet (writeback).

Der Schreibcache birgt ja Gefahren, dass die Prozesse zum Löschen noch laufen, während einem vorgegaukelt wird, der Ordner sei bereits weg. Wird dann die Platte abgeklemmt gibt es eventuell Probleme. Bin mir aber nicht sicher, ob das nicht nur für das Schreiben gilt. Beim Shutdown oder reboot könnte dann das System hängen, weil der Prozess noch nicht beendet ist.

Das WD Backup bietet keine Möglichkeit an die Backups zu löschen. Es ist sowieso sehr rudimentär und bietet auch keine inkrementelle Sicherung (weshalb die Platte auch vollgelaufen ist). Ich will da wahrscheinlich auf macrium reflect umsteigen und daher die Backups löschen. Die Platte war komplett voll gelaufen.

Perl scheint mit unlink eine sehr schnelle Methode zu aben Dateien zu löschen. Ich habe das mit find kombiniert.

Außerdem werden rsync und robocopy empfohlen, indem man einen leeren Ordner synct. Das soll wohl extrem schnell gehen.

del ist wohl schneller als rd (rmdir) auf der Windows commandline. rd muss man danach aber noch zum Löschen der Ordnerstruktur anschließen.

Wie schnell im Vergleich die Powershell ist weiß ich nicht.

Dann gibt es tools, die darauf spezialisiert sind. Tools wie Eraser allerdings überschreiben mit Nulen oder Pattern, was noch langsamer ist (sichere Dateilöschung).

• Secure File Delete
• Disk and File Copier
• Fast Folder Eraser
• Mass Directory Eraser
• http://filexile.sourceforge.net/
• https://github.com/McNetic/fdeltree
• https://github.com/dev-mraj/fdel

Fastcopy hat eine Funktion (Delete all), die schnell sein soll. Von Teracopy wird das ebenfalls behauptet.

Gerade läuft hier time find . -name '*' | ./parallel --pipe -N1000 -q perl -ne 'chop;unlink' was auch noch recht langsam ist ...

Mache meinen time find . -type f -delete sei schneller als Perl.

$ date && df -h /cygdrive/l
So, 24. Mai 2020 17:27:03
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
L:              7,3T    6,2T  1,2T   84% /cygdrive/l

Copying Software, die wie RoboCopy, rsync, FastCopy und andere auch für diesen Fall teilweise sehr gut einsetzbar sind.
https://en.wikipedia.org/wiki/List_of_file_copying_software

How to delete large folders in Windows super fast
https://www.ghacks.net/2017/07/18/how-to-delete-large-folders-in-windows-super-fast/

Java (Rapid Delete Pro wird von vielen als sehr schnell gelobt)
https://github.com/mhisoft/Rapid-Delete-Pro

Windows
https://superuser.com/questions/19762/mass-deleting-files-in-windows/289399
https://superuser.com/questions/416...nitely-recurring-directory-tree/425666#425666
(DiREKT)
https://stackoverflow.com/questions/186737/whats-the-fastest-way-to-delete-a-large-folder-in-windows

Linux
https://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux
https://webcache.googleusercontent....ently-remove-a-zillion-files-on-linux-servers
https://stackoverflow.com/questions...-directory-tree-whose-names-contain-a-certain
(parallel on cygwin) https://stackoverflow.com/questions/37212894/which-cygwin-package-to-get-parallel-command
(dentls)
https://serverfault.com/questions/183821/rm-on-a-directory-with-millions-of-files/328305#328305
https://stackoverflow.com/questions...o-delete-files-in-order-to-remove-them-faster
https://github.com/nh2/dentls/tree/8ac4588ef9d53a2f8f395041e8a47165334f43a9



Perl
https://stackoverflow.com/questions/28715226/perl-one-liner-to-empty-directory-explanation
https://rosettacode.org/wiki/Walk_a_directory/Recursively#Perl

 

[floogy]

Mir scheint die sync Methode mit robocopy oder rsync am schnellsten zu sein. Dauert wohl trotzdem noch bis Mittwoch, bis die 3,1TB freigegeben sind. Ich werde trotzdem bei exfat bleiben und von WD Backup auf macrium reflect wechseln. Das WD MyBook ist per USB3 angeschlossen.

~$ /cygdrive/l/WD Backup.swstor
time rsync -a --delete /tmp/empty/ ./floogy/

~$ date && df -h /cygdrive/l
Mo, 25. Mai 2020 11:41:46
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
L:              7,3T    5,8T  1,6T   80% /cygdrive/l

Sorry, dass ich den letzten Post einfach verwendet habe mal meine Recherche zum Thema abzuladen.

 

[floogy]

Fertig.

$ date && df -h /cygdrive/l
Mi, 27. Mai 2020 10:24:23
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
L:              7,3T    4,3T  3,1T   59% /cygdrive/l

Ich habe letztendlich diese beiden Methoden verwendet

$ time robocopy "$(cygpath -w "/tmp/empty/")" floogy/ /MIR >/dev/nul

$ time cmd /c del /s/f/q "L:\WD Backup.swstor\floogy" >/dev/nul

Ich nehme nun veeam community als Backup software.