Bad Bots blocken oder nicht?

[Mirlo]

Bei meinen Servern würden solche Requests niedriger priorisiert werden als eingeloggte Benutzer

Ich betreibe keine Websites mit LogIn. Bei mir ist alles blank veröffentlicht. Noch nicht einmal ein Cookie Consent, da cookieless.

Lieblings UA von AI-Bots ist übrigens Safari ... also der Client-Safari-UA.

Ja, das ist mir auch schon aufgefallen. Zusammen mit Chrome.

Und das ist halt das schlimme bei AI-Bots - die Masse in der sie aufschlagen und nicht mehr gehen (siehe mein Post auf Seite 2). Oder setzt sich das Plugin wo anders hin?

Ja, die Masse ist - mittlerweile - einerseits das Krasse daran geworden, aber durch die Masse sind diese Bots erkennbar.
Es kommt drauf an was du willst. Willst du nur ein sauberes Tracking (Tracking blocken), oder willst du einen sauberen Traffic (Content blocken)? Die Filterregeln, die das Matomo Plugin verwendet, können auch per PHP verwendet werden, um den Traffic zu blocken.

(mein Hoster wo Matomo liegt, gibt dann aus das die Domain nicht aktiv ist - toll) - Traffic gab es immer noch. Erst als ich den DNS-Eintrag für die Domain gekickt hatte, hörte es auf (logisch).

Ja, beim Blocken muss am besten 0 kb als Antwort gesendet werden. Aber schon der Request an sich und der Abruf des SSL Certs ist Traffic. Das sind zwar nur wenige kb, aber es summiert sich massiv.

Mit Löschung des DNS läuft alles ins Leere. Da antworten dann irgendwelche Internetknoten, dass zur Domain keine IP hinterlegt ist. Das ist dann nur Traffic irgendwo in der Internet-Peripherie.

Zum Blocken von Bad Bots im Traffic musst du ein bisschen PHP können. Dann musst du dir die Free IP to ASN Database (mmdb) besorgen (monatlich) und die mit PHP in deine Website einbauen, so dass du per Request-IP und ASN Name blocken kannst. Dann die IP-CIDR-Listen der 5 Big Cloud Anbieter (JSON, CSV) und von OpenAI (JSON) besorgen (monatlich) und (am besten mit Python) in mmdb Datenbanken konvertieren und ebenso mit der Request-IP nutzen.

Dann verschiedene eigene Regeln mit PHP erstellen. Dazu vorher (Wochen, Monate) bei jedem Request per PHP die Daten aus getallheaders() in ein File loggen, sowie für eine Lite-Version zur Übersicht die UserAgenten plus Request-Daten (Date, Time, IP, Domain/URL) in ein File loggen. Diese stetig kontrollieren und nach Mustern suchen. Mittels den Mustern mit PHP Block-Regeln erstellen. Informieren, welche Browser welche Header senden, sowie was jeweils derzeit "normal" und "current" ist.

Veraltete Browser-Versionen blocken. Dazu hab ich noch ein paar Fragen und werde dafür einen neuen Topic aufmachen. Viele sind hier schon abgesprungen. Es ist alles so schnelllebig geworden.