Webcrawler

[Kasjo]

Hi Leute.
Ich würde gerne wissen ob es ein Programm gibt, mit dem ich eine Webseite nach bestimmten datein durchforsten lassen kann.

Es geht prinzipiell um eine Webseite welche Materialien für mein Renderprogramm zur Verfügung stellt. Ich habe dort ein Konto und die Materialien sind Kostenlos. Also nichts Ilegales. Allerdings Hat die Webseite mit besagten Materialien über 190 Seiten mit je 14 Links, wonach sich hinter besagten links der eigentliche downloadlink befindet. Also Insgesamt 2660 Dateien die ich einzeln durchklicken und downloaden muss.

Ich hab jetzt schon mal Programme wie JDownloader, FilePhanter usw. angeguckt. JDonwloader is ne feine Sache, nur brauch der gezielt die Links zum jeweiligen download. Wenn ich dazu ein Programm hätte welches mir die ganzen links auf einer Webseite als txt ausgibt wäre ich schon zufrieden.

Hat jemand eine Idee? Die Webseite bietet leider keinen Bulk-Download an, auch nicht gegen einen Obolus.

 

[HominiLupus]

winhttrack oder wget, etc.
Da lädst du dir die gesamte Webseite runter und durchsuchst die dann lokal.

 

[ChrisM]

Schau dir mal das Browseraddon Linkclump (für Chrome) an, damit kannst du die Links kopieren, und dann einfach in den Jdownloader kopieren, das sollte gehen.

 

[Kasjo]

Irgendwie komme ich nicht weiter. Ich hab mir besagte Programme angeguckt. Ich komme jetzt zumindest an einen teil der links. Problem wird aber sein das man sich normal bei der Webseite erst einloggen muss um eben was herunter zu laden.

Es handelt sich um folgende webseite. http://www.vray-materials.de/all_materials.php

theoretisch müsste man das ja mit besagten tools hinbekommen. Ich habe nun folgendes addon für Firefox ausprobiert. FoxySpider. Bisher is das Programm vielversprechend, nur eben elendig langsam und findet auch nicht alle files da es anscheinend nicht tief genug geht. Aber vom prinzip her suche ich genau sowas. Gibts noch weitere Alternativen?