ComputerBase-Server sperrt KI-Crawler aus

[Solus]

Hallo,

da sich so einige deutsche Rechenzentren scheinbar den Traffic der KI-Crawler sparen wollen, haben sie diese blockiert - selbst wenn das im Einzelfall jetzt schon geschäftsschädigend für die gehosteten Kunden sein kann. Ist bei Euch auch so, wie ich gesehen habe (Chrome Lumina Plugin). Falls das nicht gewünscht ist, kann man das in der Regel vom Hoster nach einem freundlichen Hinweis freischalten lassen. Wollte ich nur drauf hinweisen.

 

[Steffen]

Wir sperren nicht alle AI-Crawler aus, sondern speziell den von Facebook. Der hat vor ein paar Wochen die robots.txt ignoriert (partieller Ausschluss eines Verzeichnis für alle Crawler) und gefühlt eine DDoS-Attacke gestartet. Hinzu kommt dann noch, dass auch wenn die Tech-Giganten einem alle nicht besonders sympathisch sein müssen, meiner persönlichen Meinung nach Meta/Facebook und Zuckerberg mit großem Abstand der Bodensatz sind. Stand jetzt ist das daher so gewollt.

 

[Solus]

Wenn große Firmen die robots.txt ignorieren, ist das natürlich ein absolutes No-Go. Aber wie gesagt, zumindest laut Lumina sperrt die anderen großen Crawler aus - als jemand, der in einer Onlineagentur mit Schwerpunkt SEO/GEO arbeitet, blutet mir da ein bisschen das Herz. Aber gut, ihr seid kein Onlineshop, da ist das natürlich auch weniger schlimm. (selbst wenn es sicherlich auch nicht schaden würde, wenn Leute den Bot nach Benchmarkergebnissen fragen und dann Computerbase als Quelle genannt wird...)

 

[Steffen]

Hmm, ich weiß nicht genau woher das Tools diese Infos bezieht, aber zumindest teilweise sind sie einfach falsch.