Hi.
Ich suche einen Weg Webcrawler und soetwas abzufangen und in eine Datenbank einzutragen. Da man den User Agenten aber Faken kann brauch ich auch den Host zum verifizieren.
Als Beispiel der User Agent sagt "*googlebot*", dann prüfe ich mit PHP ob er auch von "googlebot.com" kommt. Wenn nicht war es ein Fake, wenn echt merke ich mir die IP und setze sie in eine Whitelist.
Nur weiss ich das jetzt lediglich von dem googlebot.. wie für den Rest?
Ich suche einen Weg Webcrawler und soetwas abzufangen und in eine Datenbank einzutragen. Da man den User Agenten aber Faken kann brauch ich auch den Host zum verifizieren.
Als Beispiel der User Agent sagt "*googlebot*", dann prüfe ich mit PHP ob er auch von "googlebot.com" kommt. Wenn nicht war es ein Fake, wenn echt merke ich mir die IP und setze sie in eine Whitelist.
Nur weiss ich das jetzt lediglich von dem googlebot.. wie für den Rest?