Aktuelle .htaccess und robots.txt Blacklist für die eigene Internetseite

etu|hellfire · 10. April 2010

Gibt es für die eigene Internetseite irgendwo eine aktuelle .htaccess und robots.txt Datei, die bereits zahlreiche unerwünschte Gäste (wie zum Beispiel WebsiteWiki) aussperrt, aber die am meisten genutzten Suchmaschinen (wie zum Beispiel Google) erlaubt?

Eine Blacklist, die am besten noch regelmäßig aktualisiert wird, um unerwünschten Bots, die die eigene Seite kopieren und irgendwo als Abbild wiedergeben oder nach E-Mail-Adressen scannen und dann Spam versenden, das Handwerk zu legen?

Konkret geht es mir um eine Liste mit auffälligen User-Agents, die ich schon präventiv aussperren kann. Eine Liste mit IP-Adressen ist dann noch weitaus länger und zum Beispiel hier zu bekommen.

Eagle-PsyX- · 10. April 2010

Glaub kaum dass es eine 'aktuelle' Blacklist gibt, da die meisten immer die gleichen sind:

Code:

# SPAMBOTS KICKEN
RewriteCond %{HTTP_USER_AGENT} ^.*Whacker.*$      [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector    [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon       [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf         [OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*FileHound.*$    [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*TurnitinBot.*$  [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*JoBo.*$         [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro      [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT     [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent          [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker      [OR]
RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit   [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.*  [OR]
RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO         [OR]
RewriteCond %{HTTP_USER_AGENT} ^Telesoft          [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus.*Webster     [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL     [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/3.Mozilla/2.01 [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector    [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*adressendeutschland.*$
RewriteRule ^.*$ index\.php?site=error&error=001  [L]

Ich hab die mit mod_rewrite belockt.

Suche

Aktuelle .htaccess und robots.txt Blacklist für die eigene Internetseite

etu|hellfire

Ensign

Eagle-PsyX-

Commander

Ähnliche Themen