Google webmaster tools: Sitemap enthält URLs, die von der "robots.txt"-Datei blockier

lordfritte

Lieutenant
Registriert
Juli 2006
Beiträge
955
Hallo, ich habe mal wieder ein Problem mit Google.

Ich habe in den Google Webmaster-Tools 35k Warnungen stehen: "Sitemap enthält URLs, die von der "robots.txt"-Datei blockiert werden".

Das Interessante ist aber: Gebe ich eine dieser Urls, welche ja angebliche gesperrt sein soll, in den "robots.txt-Tester" ein.
Ist plötzlich alles in Ordnung "Zugelassen".

Hat jemand eine Idee?
 
Beim Erstellen wurde im Backend die Einstellung Suchmaschinen die Indexierung verbieten ein Haken gesetzt.
Dadurch wurde der Googlebot abgewiesen. Danach wird der Haken wieder entfernt, aber der Crawler "sieht" das nicht sofort und von daher kommen dann diese Fehlermeldungen. Kann dies sein?

Ansonsten Korrektheit der robots.txt prüfen & Sitemap erneut einreichen (Ohne jetzt die Sitemap zu kennen)

Ansonsten liegts auch manchmal an einem Gemisch aus http und https:
Richte eine 301-Weiterleitung von http zu https ein
Stelle sicher, dass die https-Variante in der Search Console angemeldet ist
Sorge dafür, dass in der Sitemap alles mit dem https-Protokoll versehen ist
 
Zuletzt bearbeitet:
Hallo ich habe gerade mal einen Link "Abruf wie durch Google" rendern lassen, der Status ist "Teilweise" und Google meckert in einer Tabelle "Der Googlebot konnte nicht alle Ressourcen für diese Seite abrufen. Hier eine Liste" Links von einem Facebook-Page-Widget an.

Kann das das Problem sein?
 
Hast du meine Vorschläge probiert?
 
Zurück
Oben