Google Analytics und die Crawling Fehler

culto

Lt. Junior Grade
Registriert
Dez. 2002
Beiträge
416
Hi

Ich hab eine kleine Frage und zwar ist mir aufgefallen, dass sobald ich eine neue sitemap.xml Datei hochlade und dann indexieren lasse von Google, am nächsten Tag anstatt dass die Crawling Fehler nach unten gehen, immer mehr werden....wieso ?

Die meisten Seiten die erwähnt sind, existieren gar nicht mehr...

z.B.

http://www.street-addicted.com/?tag=city-boy 404 (Nicht gefunden) 2 Seiten

Hier sagt er mir praktisch, dass es diese Seite nicht gibt...aber so wurde das auch nie in die Sitemap.xml generiert...

Kann mir jemand weiterhelfen ?

Besten Dank
 
Die sitemap.xml legt nur Positiv-Kriterien für die Indexierung fest. So lange die nicht existierenden Seiten woanders verlinkt sind, wird Google weiter versuchen, sie zu crawlen.

Einzige Lösung ist, alles, was nicht gecrawlt werden soll, in die robots.txt zu schreiben.
 
Zurück
Oben