Howcountry
Lt. Junior Grade
- Registriert
- Juli 2010
- Beiträge
- 283
Ich hab ein grosses Problem, ich sammle mit einen Script Informationen von verschiedenen Webseiten. Das ganze läuft nach dem Schema: Webseite laden mit wget -> nach bestimmten Strings (links) suchen -> dem link folgen so oft bis ich bei meiner Information bin, diese dann filtern und abspeichern.
Geht soweit super nur ist mein Problem sobald eine Seite javascript nutzt, um zum beispiel auf ein onChange Ereignis einer selectbox zu reagieren komm ich damit nicht weiter. Wget läd zwar die ganze Seite mit dem Javascript code runter kann diesen aber nicht ausführen.
Besonders schlimm wird es wenn die Information die ich eigentlich haben möchte selbst per javascript in einem Layer ausgegeben wird.
Ich hab schon versucht via Wireshark zu schauen was diese javascript Funktionen genau an den Server senden aber leider sind das nur selten nachvollziehbare Daten und auch nicht immer als POST.
Geht soweit super nur ist mein Problem sobald eine Seite javascript nutzt, um zum beispiel auf ein onChange Ereignis einer selectbox zu reagieren komm ich damit nicht weiter. Wget läd zwar die ganze Seite mit dem Javascript code runter kann diesen aber nicht ausführen.
Besonders schlimm wird es wenn die Information die ich eigentlich haben möchte selbst per javascript in einem Layer ausgegeben wird.
Ich hab schon versucht via Wireshark zu schauen was diese javascript Funktionen genau an den Server senden aber leider sind das nur selten nachvollziehbare Daten und auch nicht immer als POST.