Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Hi,
kennt jemand hier den Tag in der Extended Standard for Robot Exclusion in dem ich die Robots anzweisen kann, wie lange meine Daten von Ihm abgespeichert werden können?
Über englische Wiki durchgelinkt. http://www.conman.org/people/spc/robots2.html
Finde den Standart eigentlich recht gut, da er deutlich mehr Konfiguration, also Kommunikation, mit den Suchmaschinen Betreibern zulässt. Nur eine Möglichkeit zur Antwort fehlt mir leider noch bei den ganzen.
So etwas wie GoogleWebmaster Tool als zentrale Konfigurationdatei auf dem eigenen Server. Für zum Beispiel:
- Zeitintervall nicht schön da... .
- Würde gerne Protokoll xyz verwenden.
- ...
Natürlich mehr eine Spinnerei von mir, als wirklich duchgedacht. Ach habe ich andere Probleme als Suchmaschinen.
Da steht aber nichts davon, dass man Anweisungen geben kann, wielange die Daten gespeichert werden.
Einzige was ich finden kann sind z.B. Intervalle (also wie oft) oder Zeitvorgaben (wann) die robots Zugriff erhalten.
so sieht es aus, man kann den Bot nicht sagen wie lange er es speichern soll, wenn du die seiten nicht im cache haben oder willst das diese gespeichert werden, verwende folgendes:
Anmerkung, der Alexa Bot (ia_archiver) für web.archive.org, würde ich an deiner Stelle sperren, wenn du nicht willst das deine Seite auch noch in 10-20 jahren nach offline der Seite zu sehen ist
