Wayback Machine ignoriert metatag "noarchive"

Mirlo

Lt. Junior Grade
Registriert
Feb. 2025
Beiträge
337
Hallo,

ich hatte jetzt den Fall, dass die Wayback Machine von Archive.org bei einer meiner Websites den metatag "noarchive" ignoriert hatte. Die Webpage wurde samt dem metatag archiviert.

HTML:
<meta name="robots" content="noarchive">

Es ist also kein Verlass darauf.
 
Ich hatte früher zusätzlich zu meta tags mit noarchive und "<meta name="robots" content="noindex,nofollow" />" noch
User-agent: ia_archiver
Disallow: /
User-agent: archive.org_bot
Disallow: /
in die robots.txt gepackt.

Bei irgendeiner Webseite von mir tauchte auch mal was in der Waybackmachine auf, was damals in den meta tags und in der robots.txt stand, weiß ich nicht mehr. Seinerzeit hatte ich denen eine Mail geschrieben, dann wurde das gelöscht.
 
Naja man könnte auch sagen. Die WayBack Machine archiviert den Wunsch nicht archiviert zu werden ;)
 
  • Gefällt mir
Reaktionen: Golden_, RedSlusher, areiland und eine weitere Person
Zemblanity schrieb:
in die robots.txt gepackt.
Ja, das hatte ich auch zusätzlich mit "User-agent: *" und wurde auch ignoriert.

Ja, man kann denen schreiben und dann löschen sie es. Habe ich auch machen lassen.

Vermutlich hat deren Filter manchmal einen Schluckauf.
Ergänzung ()

Archive.org hat ja eine API. Da habe ich aber noch keine Zeit für gehabt. Ob die auch für die Wayback Machine funktioniert? Dann könnte automatisiert nach sowas gesucht werden, weil habe mehr als eine handvoll Domains/Websites und das nur zufällig bemerkt, weil ich neugierig war.
 
Ja richtig so, das Internet ist ja auch kein rechtsfreier Raum in dem man ungestraft und unbemerkt schreiben kann was man will. Wo kommen wir denn da hin wenn hier jeder die Bots aussperren kann wie er möchte! :hammer_alt:
 
Zurück
Oben