User Agenten

Katsumi

Lt. Commander
Registriert
Sep. 2002
Beiträge
1.336
Hi.

Ich suche einen Weg Webcrawler und soetwas abzufangen und in eine Datenbank einzutragen. Da man den User Agenten aber Faken kann brauch ich auch den Host zum verifizieren.

Als Beispiel der User Agent sagt "*googlebot*", dann prüfe ich mit PHP ob er auch von "googlebot.com" kommt. Wenn nicht war es ein Fake, wenn echt merke ich mir die IP und setze sie in eine Whitelist.

Nur weiss ich das jetzt lediglich von dem googlebot.. wie für den Rest?
 
Zurück
Oben