@Eagle, @Belee: Dateien die gar nicht ausführbar sein sollen gehören nicht in den Webroot, sondern in Verzeichnisse, die aus dem Web nicht aufrufbar sind, oder in welche die komplett durch "Deny all" per htaccess oder ähnlichem gesperrt sind. Dann gibt es auch keine Probleme damit.
@Belee: Dass ComputerBase /forum/search.php gegen Bots sperrt ist sehr spitzfindig. Damit sind nur seriöse Bots gesperrt, eben so wie es hier im Thread schon mehrfach angesprochen wurde. Unseriöse Bots sind von regulären Benutzer NICHT zu unterscheiden sofern die Webseitenaufrufe zustandslos ablaufen! Und die halten sich weder an robots.txt, noch daran einen bestimmten User Agent zu senden. Denn dieser lässt sich absolut beliebig wählen und auch fälschen! Wenn im User Agent "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" drin steht, dann heißt das noch lange nicht dass es auch Internet Explorer 7 ist. Es könnte genauso gut ein Bot sein, der sich als IE7 ausgibt.
Außerdem wenn du einen Counter über die index.php oder einen anderen Entrypoint includest (php include/require), dann ist robots.txt sowieso witzlos, weil damit nur index.php erfasst wird! In diesem Fall musst du dich auf die User Agent Aussage des Clients verlassen, womit unseriöse Bots aber trotzdem als Unique Visitor gezählt werden.
Eine Blacklist für Bots ist ziemlich sinnlos, weil es ständig neue gibt und du sie niemals wirklich alle erfassen kannst. Kannst dir ja mal die mehr oder weniger vollständige Liste von AWStats ansehen: klick
Sinnvoller ist es die regulären Zugriffe durch Cookies zu erkennen. Normale Bots akzeptieren nämlich keine. D.h. man setzt bei jedem Aufruf einen bestimmten Cookie. Der Counter wird nur dann aufgerufen, wenn der Cookie vom Browser zurückgemeldet wird, d.h. es wird zu Beginn erst der zweite Seitenaufruf für den Counter verwendet. Damit werden normale Bots einfach ignoriert - ohne Listen.
@Belee: Dass ComputerBase /forum/search.php gegen Bots sperrt ist sehr spitzfindig. Damit sind nur seriöse Bots gesperrt, eben so wie es hier im Thread schon mehrfach angesprochen wurde. Unseriöse Bots sind von regulären Benutzer NICHT zu unterscheiden sofern die Webseitenaufrufe zustandslos ablaufen! Und die halten sich weder an robots.txt, noch daran einen bestimmten User Agent zu senden. Denn dieser lässt sich absolut beliebig wählen und auch fälschen! Wenn im User Agent "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" drin steht, dann heißt das noch lange nicht dass es auch Internet Explorer 7 ist. Es könnte genauso gut ein Bot sein, der sich als IE7 ausgibt.
Außerdem wenn du einen Counter über die index.php oder einen anderen Entrypoint includest (php include/require), dann ist robots.txt sowieso witzlos, weil damit nur index.php erfasst wird! In diesem Fall musst du dich auf die User Agent Aussage des Clients verlassen, womit unseriöse Bots aber trotzdem als Unique Visitor gezählt werden.
Eine Blacklist für Bots ist ziemlich sinnlos, weil es ständig neue gibt und du sie niemals wirklich alle erfassen kannst. Kannst dir ja mal die mehr oder weniger vollständige Liste von AWStats ansehen: klick
Sinnvoller ist es die regulären Zugriffe durch Cookies zu erkennen. Normale Bots akzeptieren nämlich keine. D.h. man setzt bei jedem Aufruf einen bestimmten Cookie. Der Counter wird nur dann aufgerufen, wenn der Cookie vom Browser zurückgemeldet wird, d.h. es wird zu Beginn erst der zweite Seitenaufruf für den Counter verwendet. Damit werden normale Bots einfach ignoriert - ohne Listen.
Und ja,
