Bad Bots blocken oder nicht?

[Mirlo]

Weils derzeit mit dem "KI-Firmen kaufen antiquarische Bücher fürs KI-Trainig" wieder einmal die Runde macht:

Wie siehst du das mit dem Blocken von Bad Bots? Es gibt für sowohl als auch Argumente. Ja/Nein?

Mir war es lange Zeit egal. Jetzt nicht mehr. Dabei habe ich etwas interessantes herausgefunden:

ChatGPT:

Ich greife nicht direkt wie ein Browser auf jede Website zu. Für Webanfragen nutze ich einen Such- und Abrufdienst, der Suchergebnisse und zwischengespeicherte Inhalte bereitstellt.

Bei einer Suche nach example.de liefert der Abrufdienst keinen Treffer für die Domain selbst, sondern nur andere Inhalte mit ähnlichem Namen (example.in, example.ai). Es gibt daher keinen Datensatz für example.de, den ich auslesen könnte.

Der von mir verwendete Such-/Abrufdienst kann Ergebnisse fehlen lassen oder anders priorisieren.

Das bedeutet also, dass der Wandel von Suchmaschinen hin zu KI Chatbots auch bedeutet, dass Content herausgefiltert wird. Dadurch sind Websites gar nicht mehr auffindbar. Stattdessen werden alternativ andere Websites vorgeschlagen. Während bisherige Suchmaschinen alles indexierten und in den Suchergebnissen listeten, "priorisiert" KI für den Menschen vor. Viele wollen das sogar so. Sie wollen auf jede ihrer Fragen nur eine mögliche Antwort. Alles andere wird ausgeblendet und existiere nicht.

 

[madmax2010]

Was indiziert werden soll nicht blocken und blocken, was nicht indiziert werden soll

 

[GrumpyCat]

ChatGPT

Das ist irreführend bis falsch, wie LLM-Output es häufig ist.

a) Trainingsdaten werden gar nicht "live" vom LLM geholt, sondern von einem anderen Crawler und dann eben für das Training des LLM benutzt. Das LLM selbst "weiß" von dem Prozess aber gar nichts.

b) Live-Anfragen ("Chat") kann vom Anbieter so konfiguriert werden, dass keine Websuche erlaubt wird. Dann zitiert das LLM "aus dem Gedächtnis" (= etwas verwaschene Trainingsdaten; daher kommen die Halluzinationen).

c) Während des Chats kann die Websuche auch sozusagen virtuell angeschaltet sein. Will das LLM auf die Suche zugreifen, wird die aber nicht tatsächlich ausgeführt, sondern nur aus einer großen anbieterseitigen Datenbank "irgendwie" beantwortet. Günstig für den Anbieter zu implementieren und schnell. Zweifelhafte Ergebnisse. Vermutlich das, was oben von ChatGPT größtenteils gemeint ist.

d) Es wird dem LLM tatsächlich Live-Websuche erlaubt (bei z.B. Claude Code sind das die "WebRequest"-Ausgaben). Die passieren dann auf Anbieterseite (unzuverlässig da einfach zu blocken) oder auf Client-Seite (bei Claude Code zum Beispiel).

Ob man als eigener Web-Anbieter blocken soll oder nicht, muss man selbst wissen oder (bei einem Forum) die Benutzer fragen, ob sie es wollen. Hat nunmal Vor- und Nachteile.

 

[Drahminedum]

Ergänzend zu dem was @GrumpyCat geschrieben hat: viele Besitzer von grösseren Foren haben gar keine Wahl mehr als zu blocken, wenn sonst zehntausende (!) Bots gleichzeitig das Forum beackern.

 

[dermoritz]

Auf der anderen Seite können die Modelle auch echte live Anfragen starten. Sie verwenden dann aber oft die APIs - bekommen das JSON und nicht HTML.
Das passiert wen du ihm sagst er soll recherchieren oder "googeln". Welche Informationen der Bot woher bekommt ist tatsächlich ziemlich unterschiedlich.