Hallo,
beim Thema Bad Bot Blocking ist die Anubis Firewall big im Gespräch. Da ich seit einiger Zeit am Bad Bot Blocking interessiert bin, habe ich mich mal über Anubis informiert. Hier meine Infos, Pros und Contras.
https://anubis.techaro.lol/
https://github.com/techaroHQ/anubis
Anubis schaltet ein Proof-Of-Work (POW) bei jedem Request ein, der vom Client (Browser) und Server erfolgreich erledigt werden muss, damit der requestete Content ausgeliefert wird. Wobei ich mir noch unsicher bin, ob der POW bei jedem Request eingeschalten wird. Zudem ist mir bisher auch unbekannt, ob weitere Filterregeln in Anubis inkludiert sind, wie zB den User Agent und die Browser Header auswerten.
Pro:
Contra:
JavaScript required und Cookie setting sprechen bei mir gegen eine Nutzung von Anubis. Meine Websites sollen auch ohne JavaScript nutzbar sein, insoweit keine Webtools, die JavaScript benötigen. Zudem sind meine Websites seit dem Cookie-Consent-Zwang alle cookieless.
Meine Erfahrungen im Bot Blocking zeigen, dass nicht jeder Request ein POW benötigt. Es geht eher um Mustererkennung bei den Requests. Wird ein Muster gematcht, dann blocken. Doch so einfach ist es nicht. Es ist besser eine "alternative" Methode als Zugang zum Content anzubieten, die vornehmlich nur von Humans ausgeführt werden kann, was keinen Captcha oder ähnlich meint.
Was wäre ein Krieg (Bot War) ohne Angriffe? Auf meinen Websites habe ich nun schon mehrere verschiedene erlebt. Die neuesten Bad Bots haben JavaScript und nutzen scheinbar zudem AdBlocker und blocken JS-Tracker, was nicht alle machen/haben. Dadurch sind sie von Webmastern im Tracking nicht sichtbar, aber weiterhin im Traffic und Access Log. Den von ihnen erzeugten Traffic und Access Log entry würden sie vermutlich auch gerne invisiblen, damit sie vollkommen unsichbar aggieren können, aber das haben sie nicht drauf, (noch nicht?). Vollkommen invisible Bots würde bedeuten, dass sie die Server hacken, um an den Content zu kommen, was einige schon machen.
Alles was über die Bad Bots berichtet wird stimmt. Es sind sehr viele und werden stetig mehr. Sie nutzen IPs von ISPs (Internet Service Providern) [angeblich indem sie IoT Devices verwenden, wie über Apps oder Proxies in den Devices von Usern]. Sie wechseln die IP bei jedem Request. Sie nutzen moderne/aktuelle Browser mit JavaScript und blocken JS-Tracking.
Es gibt einen Unterschied bei den Bad Bots. Dieser ist vermutlich an deren Preis auszumachen. Die billigen können kein JavaScript und nutzen keine IP-Switcher, sowie auch keine UserAgent-Switcher. Da der Referer vom Browser generiert wird, kann dieser sowie alle Browser Header gefälscht werden.
Das Blocken von IPs / CIDRs / ASNs sowie Mustern in Browser Header und User Agent sowie Referer und Request-Url bringt nur bei billigen Bots Abhilfe, aber ist weiterhin hilfreich, da somit nicht alle Bad Bots mit den selben Mitteln geblockt werden.
Bisher haben auch die neuesten und besten Bad Bot Browser Schwachstellen, die zum Blocken genutzt werden können. Da habe ich aber aktuell keine Lust diese preiszugeben.
Unangenehm ist immer die Mühe, die Bad Bot Requests aus den Tracking-Logs zu löschen. REGEX ♥ hilft.
Meine offene Frage zu Anubis ist, ob Anubis alle Requests gleich behandelt, oder ob es zwischen billigen und modernen Bad Bots unterscheidet?
Ich habe mal probiert den Anubis POW für eine standalone Verwendung aus dem Repository heraus zu extrahieren, mittels ChatGPT. Es ist wohl nicht ohne weiteres möglich und hat Schwachstellen. Getestet habe ich es noch nicht.
Der Anubis POW führt Berechnungen im Browser und auf dem Server durch. Beide werden so behandelt, dass das eine das andere nicht beeinflussen kann. Wie, ist mir nur schematisch bekannt. Vielleicht weiß hier einer mehr darüber.
Was sind deine Pros und Contras zu Anubis? Würdest du es nutzen oder nutzt du es bereits?
beim Thema Bad Bot Blocking ist die Anubis Firewall big im Gespräch. Da ich seit einiger Zeit am Bad Bot Blocking interessiert bin, habe ich mich mal über Anubis informiert. Hier meine Infos, Pros und Contras.
https://anubis.techaro.lol/
https://github.com/techaroHQ/anubis
Anubis schaltet ein Proof-Of-Work (POW) bei jedem Request ein, der vom Client (Browser) und Server erfolgreich erledigt werden muss, damit der requestete Content ausgeliefert wird. Wobei ich mir noch unsicher bin, ob der POW bei jedem Request eingeschalten wird. Zudem ist mir bisher auch unbekannt, ob weitere Filterregeln in Anubis inkludiert sind, wie zB den User Agent und die Browser Header auswerten.
Pro:
- für Webmaster, die gerne Lieferservice-Fraß konsumieren als selbst was zu machen. (wie WordPress User)
- kein Captcha.
- die Software wird stetig up to date gehalten, was auch Anpassungen am POW und so weiter inkludiert.
- kostenlos.
Contra:
- im Client muss JavaScript aktiviert sein. (purer HTML Zugriff auf Websites ist nicht oder doch möglich?)
- es wird ein Cookie gesetzt.
- scheinbar wird Anubis bei jedem Request eingeschalten.
JavaScript required und Cookie setting sprechen bei mir gegen eine Nutzung von Anubis. Meine Websites sollen auch ohne JavaScript nutzbar sein, insoweit keine Webtools, die JavaScript benötigen. Zudem sind meine Websites seit dem Cookie-Consent-Zwang alle cookieless.
Meine Erfahrungen im Bot Blocking zeigen, dass nicht jeder Request ein POW benötigt. Es geht eher um Mustererkennung bei den Requests. Wird ein Muster gematcht, dann blocken. Doch so einfach ist es nicht. Es ist besser eine "alternative" Methode als Zugang zum Content anzubieten, die vornehmlich nur von Humans ausgeführt werden kann, was keinen Captcha oder ähnlich meint.
Was wäre ein Krieg (Bot War) ohne Angriffe? Auf meinen Websites habe ich nun schon mehrere verschiedene erlebt. Die neuesten Bad Bots haben JavaScript und nutzen scheinbar zudem AdBlocker und blocken JS-Tracker, was nicht alle machen/haben. Dadurch sind sie von Webmastern im Tracking nicht sichtbar, aber weiterhin im Traffic und Access Log. Den von ihnen erzeugten Traffic und Access Log entry würden sie vermutlich auch gerne invisiblen, damit sie vollkommen unsichbar aggieren können, aber das haben sie nicht drauf, (noch nicht?). Vollkommen invisible Bots würde bedeuten, dass sie die Server hacken, um an den Content zu kommen, was einige schon machen.
Alles was über die Bad Bots berichtet wird stimmt. Es sind sehr viele und werden stetig mehr. Sie nutzen IPs von ISPs (Internet Service Providern) [angeblich indem sie IoT Devices verwenden, wie über Apps oder Proxies in den Devices von Usern]. Sie wechseln die IP bei jedem Request. Sie nutzen moderne/aktuelle Browser mit JavaScript und blocken JS-Tracking.
Es gibt einen Unterschied bei den Bad Bots. Dieser ist vermutlich an deren Preis auszumachen. Die billigen können kein JavaScript und nutzen keine IP-Switcher, sowie auch keine UserAgent-Switcher. Da der Referer vom Browser generiert wird, kann dieser sowie alle Browser Header gefälscht werden.
Das Blocken von IPs / CIDRs / ASNs sowie Mustern in Browser Header und User Agent sowie Referer und Request-Url bringt nur bei billigen Bots Abhilfe, aber ist weiterhin hilfreich, da somit nicht alle Bad Bots mit den selben Mitteln geblockt werden.
Bisher haben auch die neuesten und besten Bad Bot Browser Schwachstellen, die zum Blocken genutzt werden können. Da habe ich aber aktuell keine Lust diese preiszugeben.
Unangenehm ist immer die Mühe, die Bad Bot Requests aus den Tracking-Logs zu löschen. REGEX ♥ hilft.
Meine offene Frage zu Anubis ist, ob Anubis alle Requests gleich behandelt, oder ob es zwischen billigen und modernen Bad Bots unterscheidet?
Ich habe mal probiert den Anubis POW für eine standalone Verwendung aus dem Repository heraus zu extrahieren, mittels ChatGPT. Es ist wohl nicht ohne weiteres möglich und hat Schwachstellen. Getestet habe ich es noch nicht.
Der Anubis POW führt Berechnungen im Browser und auf dem Server durch. Beide werden so behandelt, dass das eine das andere nicht beeinflussen kann. Wie, ist mir nur schematisch bekannt. Vielleicht weiß hier einer mehr darüber.
Was sind deine Pros und Contras zu Anubis? Würdest du es nutzen oder nutzt du es bereits?
