robots.txt - nicht gefundene Seite

Im Logbuch meiner HP steht immer wieder was von einer nichtgefundenen robots.txt - kann mir mal jemand dazu ein paar Tips bzw. Info geben ?

tach schön.
schau mal hier
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

ups tschuldi habs geändert.

gruesse aussen harz

Schöner Link, der nicht geht.

http://www.google.de/search?q=robots-txt&ie=UTF-8&oe=UTF-8&hl=de&btnG=Google-Suche&meta=
der funzt aber
ersma tin

Die Suchroboter von Suchmaschinen grasen ja pausenlos das Internet ab und
katalogisieren Webseiten die man dann beim Suchen über diese suchmaschinen
finden kann.

In der robots.text Datei kann man angeben welche Verzeichnisse der Suchroboter
ansehen und speichern darf und was nicht. Ob sich alle dran halten ist aber
unsicher.

Zum Beispiel bedeutet der Eintrag das der Roboter gar nichts speichern darf, er soll
also keine der Seiten oder Unterseiten katalogisieren.

User-agent: *
Disallow: /


Helli