URL nach allen Unterseiten durchsuchen?

[DeadRiver]

Hallo, ich habe eine Webseite auf Basis einer Forensoftware gebastelt.
Nun möchte ich eine robots.txt erstellen, in der ich alle Unterseiten ausschließe, die nicht sichtbar sind.

Nun weiß ich aber auf Anhieb gar nicht welche das alle sind (sind vermutlich sehr viele).
Gibt es einen Dienst oder derartiges, dem ich meine URL vorlege und mir alle Unterseiten komplett aufgelistet werden?

Danke für eure Hilfe.

 

[tenja]

eventuell einfach mit Google?!
site:computerbase.de
http://goo.gl/WDSF9

 

[Fortatus]

Auch Webcrawler können nur auf Seiten für die sie einen Link haben. Wenn es ohne Anmeldung also die Links nicht gibt, sollte der Webcrawler sie auch so nicht finden.
Ansonsten haben eigentl. alle Forensoftwares EInstellungen dafür, wie sie mit Google und Konsorten umgehen.

 

[DeadRiver]

Ok, also mit der Google Methode finde ich nichtmal alle Seiten die aufrufbar sind^^

Spezielle Suchmaschineneinstellungen dafür habe ich auch nicht gefunden. Nutze das WBB 3.1.4.
Wenn die Crawler aber eh nur das zugängliche durchsuchen, ists auch halb so wild.

Dann habe ich noch was auf dem Herzen. In der URL wird nach dem ersten Klick auf einen Reiter immer die Session-ID dazugepackt. Kann ich das unterbinden?

Hier zum nachvollziehen: www.lazylizardfaralya.com

Edit: Ist das der Richtige Lösungsansatz?

 

[Psoido]

die robots.txt ist NUR eine empfehlung für die Webrawler. Sie könnten wenn sie wollen deine öffentlich verfügbare Linkstruktur durchsuchen...

 

[DeadRiver]

Jip, das ist mir klar. Ich will ja auch nichts vor ihnen verheimlichen sondern ihnen den Besuch nur so angenehm wie möglich gestalten