Bad Bots blocken oder nicht?

[Mirlo]

Bei meinen Servern würden solche Requests niedriger priorisiert werden als eingeloggte Benutzer

Ich betreibe keine Websites mit LogIn. Bei mir ist alles blank veröffentlicht. Noch nicht einmal ein Cookie Consent, da cookieless.

Lieblings UA von AI-Bots ist übrigens Safari ... also der Client-Safari-UA.

Ja, das ist mir auch schon aufgefallen. Zusammen mit Chrome.

Und das ist halt das schlimme bei AI-Bots - die Masse in der sie aufschlagen und nicht mehr gehen (siehe mein Post auf Seite 2). Oder setzt sich das Plugin wo anders hin?

Ja, die Masse ist - mittlerweile - einerseits das Krasse daran geworden, aber durch die Masse sind diese Bots erkennbar.
Es kommt drauf an was du willst. Willst du nur ein sauberes Tracking (Tracking blocken), oder willst du einen sauberen Traffic (Content blocken)? Die Filterregeln, die das Matomo Plugin verwendet, können auch per PHP verwendet werden, um den Traffic zu blocken.

(mein Hoster wo Matomo liegt, gibt dann aus das die Domain nicht aktiv ist - toll) - Traffic gab es immer noch. Erst als ich den DNS-Eintrag für die Domain gekickt hatte, hörte es auf (logisch).

Ja, beim Blocken muss am besten 0 kb als Antwort gesendet werden. Aber schon der Request an sich und der Abruf des SSL Certs ist Traffic. Das sind zwar nur wenige kb, aber es summiert sich massiv.

Mit Löschung des DNS läuft alles ins Leere. Da antworten dann irgendwelche Internetknoten, dass zur Domain keine IP hinterlegt ist. Das ist dann nur Traffic irgendwo in der Internet-Peripherie.

Zum Blocken von Bad Bots im Traffic musst du ein bisschen PHP können. Dann musst du dir die Free IP to ASN Database (mmdb) besorgen (monatlich) und die mit PHP in deine Website einbauen, so dass du per Request-IP und ASN Name blocken kannst. Dann die IP-CIDR-Listen der 5 Big Cloud Anbieter (JSON, CSV) und von OpenAI (JSON) besorgen (monatlich) und (am besten mit Python) in mmdb Datenbanken konvertieren und ebenso mit der Request-IP nutzen.

Dann verschiedene eigene Regeln mit PHP erstellen. Dazu vorher (Wochen, Monate) bei jedem Request per PHP die Daten aus getallheaders() in ein File loggen, sowie für eine Lite-Version zur Übersicht die UserAgenten plus Request-Daten (Date, Time, IP, Domain/URL) in ein File loggen. Diese stetig kontrollieren und nach Mustern suchen. Mittels den Mustern mit PHP Block-Regeln erstellen. Informieren, welche Browser welche Header senden, sowie was jeweils derzeit "normal" und "current" ist.

Veraltete Browser-Versionen blocken. Dazu hab ich noch ein paar Fragen und werde dafür einen neuen Topic aufmachen. Viele sind hier schon abgesprungen. Es ist alles so schnelllebig geworden.

 

[Mirlo]

Ersten Schätzungen nach werden rund 80 % an Traffic geblockt bei ungefähr gleichbleibend viel Website-Besuchern und inklusive Good Bots.

Hardcore-Freaks werden jetzt behaupten, dass ich immernoch 90 % Bad-Bot Traffic habe.

 

[Mirlo]

Ältere Browser blocken ist demnach weniger das Problem, da zu 99 % Bots. Schwieriger wird es mit Bots, die current User Agents verwenden und zudem random IPs von herkömmlichen Internet-Providern. Da es auch Human gibt, die sich wie Bots verhalten (mit Unterstützung von Addons wie User Agent Switcher, VPN, IP Switcher, ...), wird es extrem schwer. Da ist wohl nichts zu machen. Es sind zum Glück nicht so viele.

Das bisherige Ergebnis: 80 weniger Traffic bei ungefähr gleichbleibend viel Besuchern und ein saubereres Tracking.

 

[Nowareeng]

Danke für den Einblick.....scheint echt krank mit disen Bots zu sein!

 

[Mirlo]

6 weitere ASN Firmennamen auf der Blacklist.

Einige machen es einem etwas schwer. Sie schreiben nicht eindeutig, dass sie Provider sind, sondern ... es ist komplex. Sie bieten an, den gesamten Internetverkehr über eine (nicht eigene) Cloud laufen zu lassen. Da gibt es wiederum Provider, die exakt das anbieten, und mit denen diese ASN Firmen zusammenarbeiten. Die ASN Firmen bieten zudem eigene KI Modelle an, die sie selbst trainieren. Klar, kannste machen, aber dann biste halt blacklisted. Wenn deine Kunden dann fragen: Hey, wieso erreiche ich die Website nicht übers Firmennetzwerk, aber über mein privates Handy? Kannste antworten: Wir haben Bockmist gebaut, weil wir hätten unsere Bad Bots sauber von allem anderen trennen sollen ... jetzt sind alle Firmen-IPs blacklistet.

 

[foofoobar]

Einige machen es einem etwas schwer. Sie schreiben nicht eindeutig, dass sie Provider sind, sondern ... es ist komplex. Sie bieten an, den gesamten Internetverkehr über eine (nicht eigene) Cloud laufen zu lassen.

Das Internet ist für uns alle Neuland.

 

[Mirlo]

Das hier ist so ein Kandidat: https://ghostnet.de/dienstleistungen/
Wenn diese selbst oder andere Firmen bei diesen Bad Bots betreiben, habe sie ihr Geschäftsmodell vermasselt.
Sorry, aber ich habe keine Lust mehr diesen KI-Wahnsinn mit meinem Content zu supporten. Das ist vollkommen aus dem Ruder gelaufen. Da helfen nur noch harte Maßnahmen, die vielen nicht gefallen werden.

Bedankt euch bei den Firmen. Ich habe keinerlei Verpflichtung meinen Content für alles bereitzustellen. Das klingt hier aber bei einigen so, dass ich irgendwelche Verpflichtungen hätte. Dass es mir verboten sei Requests zu blocken. Dass es mir verboten sei meinen Content vor unerlaubter Nutzung zu schützen. Und von was träumt ihr Nachts?

 

[Garmor]

Niemand weiß, was du uns überhaupt vorenthalten willst. Und bisher war jeder einzelne deiner Threads zu deiner niemals genannten Webseiten immer nur darüber, dass alle anderen verpflichtet sind, sie in einer ganz bestimmten Art und Weise zu benutzen.

 

[foofoobar]

Das hier ist so ein Kandidat: https://ghostnet.de/dienstleistungen/
Wenn diese selbst oder andere Firmen bei diesen Bad Bots betreiben, habe sie ihr Geschäftsmodell vermasselt.
Sorry, aber ich habe keine Lust mehr diesen KI-Wahnsinn mit meinem Content zu supporten. Das ist vollkommen aus dem Ruder gelaufen. Da helfen nur noch harte Maßnahmen, die vielen nicht gefallen werden.

Du hast ein eigenes AS?