Google crawlt Links, welche es nicht mehr in der sitemap gibt

[lordfritte]

Hallo, ich hoffe hier kennt sich jemand mit dem crawler von google aus.
Ich habe folgendes Problem: Google crawlt täglich URLs. welche es gar nicht mehr in der sitemap gibt.

Die sitemap wird jeden Tag automatisiert neu generiert. Die "changefreq" ist auf "daily" festgelegt, aber dennoch tauchen jeden Tag neue 404 in der google search console auf.

Besonders interessant, erst vor 3 Tagen wurden Seiten mit einer .html Endung gecrawlt, solche Seite gibt es seit über 2 Jahren nicht mehr im System geschweige in der sitemap.

Hat jemand eine Idee, wie ich google vermitteln kann den Index zu aktualisieren?

 

[Mihawk90]

Wenn dein Webserver ordnungsgemäß ein 404 zurückgibt fliegt das irgendwann eigenständig raus. Dazu kommt dass der User-Agent von google nicht zwingend google sein muss.

Ansonsten gibt es die Google Webmaster Tools

/edit
Sehe gerade das hast du ja schon getestet, irgendwie erst nicht gelesen

Die Sitemap ist aber auch in den Webmaster tools eingereicht? Oder nur auf dem Server für den Nutzer?

 

[lordfritte]

Hallo, es wird ja ein 404 geliefert. Aber die URLs tauchen trotzdem immer wieder auf. Wobei ich jetzt nicht sicher bin, dass es immer wieder die selbe URL ist...

 

[Mihawk90]

Das müsste sich auch im Access Log des Webservers sehen lassen welche genau wann angesteuert wurden, dort kannst du ja ggf. nach 404's filtern.

 

[lordfritte]

Ok, werde ich mal machen, Danke!