Yahoo? Yahoo hat früher die Google-Ergebnisse verwendet, heute nutzt Yahoo die Suchergebnisse von Bing.
Bevor ich bei Yahoo suche kann ich auch direkt zu Bing gehen und meine Daten nur Microsoft und nicht MS+Yahoo in den Rachen stopfen.
Yahoo ist tot, die haben irgendwann 2005 oder so den Anschluss verloren und krebsen nur noch mit Notfall-Diensten durchs Leben.
Und was Bing angeht: Ich beobachte die Aktivitäten von Crawlern auf unseren Webseiten sehr genau. Der einzige Crawler, der wirklich fleißig indiziert ohne dabei Schaden anzurichten ist der Google Crawler.
- Bing/MS? Kommt selbst auf gut besuchten Seiten nur alle Jubeljahre vorbei. Indiziert nur 5-6 Unterseiten, Google indiziert alles (was indiziert werden darf). Bing scheint die sitemap.xml nicht automatisch zu nutzen, dämlicher Schrotthaufen
- Yandex? Craptastic. Der ist letztens Amok gelaufen, bis zu 100 Anfragen in 5 Sekunden, über eine Stunde lang. Serverweiter IP-Block für Yandex war die einzige Chance
- Baidu: Indiziert so lahmarschig wie Bing, ist dabei aber nicht einmal standardkonform. Er ignoriert gelegentlich die robots.txt, die sitemap.xml wird eh ignoriert und Meta-Hinweise für no-index/no-follow haben für diesen Chinaböller wohl auch keine Bedeutung.
- sonstige Crawler: ignorieren die robots.txt, die sitemap, no-index/no-follow, erzeugen übermäßig viele Anfragen, indizieren zu selten, indizieren 50x nacheinander dieselbe Seite,...
Google haben aktuell den mit weitem Abstand besten Crawler auf dem Markt, entsprechend gut sortiert sind die Suchergebnisse. Wer was anderes nutzt schießt sich selbst ins Bein.