Bildgrabber mit Wildcardsuche?

[Chiron McAnndra]

Hie und da bin ich schon im Internet auf interessante Bilder gestoßen; aber das Runterladen wird manchmal mühseelig, weil die Menüführung und die Abfolge der Webseiten immer unterschiedlich ist.
Ich hab schon mehrere Seiten gefunden, die zar frei zugänglich sind, aber man kann dort immer nur ein Bild laden/holen, muss dann erst wieder zurück clicken, um dann das nächste zu holen.
Wenn ich mir dann die URL anschaue, stelle ich oft fest, dass das irgendwie übersetzt wurde, denn da steht bei angezeigtem Bild dann was anderes drin als in der Auswahl des Bildes.
Wenn ich nun Manuell die URL des Bildes eingebe, komme ich auch sofort dort hin. Das scheint meistens eine automatische Umsetzung zu sein - im Schema {URL}/bilder/XXXXXX, wobei das XXXXXX oft bei A00001 anfängt und theoretisch bei ZZZZZZ aufhört.
Ich kenne ein paar Bildgrabber, aber die kann man dazu nicht gebrauchen - wahrscheinlich, weil die Bilder auf einem anderen Server liegen als die Webseite, die sie präsentiert.
Gibt es Programme, die quasi in einer Art BATCH-Lauf eine Webseite nach Bildern untersucht und diese rüberzieht, indem sie der Reihe nach immer wieder auf {URL}/bilder/XXXXXX zugreift und dabei das XXXXXX beginnend mit einem Startwert jeweils durch weitere potentiell gültige Werte ersetzt?


CMA

 

[Brötchenesser]

wie wärs mit PicGrab..

 

[Chiron McAnndra]

Bei solchen Antworten frage ich mich, wozu ich eigentlich ausführlich den Sachverhalt schildere, wenn das offensichtlich DOCH nicht gelesen wird. Was PicGrab kann, kann jeder beliebige Picturegrabber auch - und dann hätte ich nicht fragen müssen.
Nochmal: die Daten sind auf einem Server, der einen Zugriff auf das übergeordnete Verzeichnis nicht zuläßt. Man kommt nur Seite mit dem Bild, wenn man den kompletten Pfad kennt. Da ich aber weiß, wie dieser Pfadname aufgebaut ist, möchte ich ein Programm, das nacheinander jeden erlaubten Pfad prüft und falls da etwas ist, die dort befindlichen Bilder holt. PicGrab kann nur Verzeichnisse prüfen, wenn es an das darüberliegende Verzeichnis ran kommt - also nützt mir das Programm nichts.

CMA

 

[0-8-15 User]

Wenn ich nun Manuell die URL des Bildes eingebe, komme ich auch sofort dort hin. Das scheint meistens eine automatische Umsetzung zu sein - im Schema {URL}/bilder/XXXXXX, wobei das XXXXXX oft bei A00001 anfängt und theoretisch bei ZZZZZZ aufhört.

wget http[s]://<URL>/<directory>/<filename>{XXXXXX..ZZZZZZ}.jpg

Ergänzung (9. August 2016)

1. Treffer mit Google: https://addons.mozilla.org/de/firefox/addon/batchdownload-10837/

Schon probiert?

 

[Chiron McAnndra]

Nutzt nichts, weil nicht das Bild so heisst, sondern lediglich die Seite (also das Verzeichnis), wo es drin ist. Das Bild selbst hat einen beliebigen Namen, der keinem System folgt. Zudem wird von dort anderswohin verlinkt - chinesisch und recht obskur.

 

[0-8-15 User]

Dann eben:

wget http[s]://<URL>/0000x{a..z}{a..z}{1..9}/<filename>.jpg

Oder eine beliebige andere Kombination aus Buchstaben und Zahlen.

wget gibt es übrigens auch für Windows.

 

[Chiron McAnndra]

An sich ne prima Idee - ich hatte wohl vergessen, zu erwähnen, dass der filename nicht bekannt ist? Halt, doch - das hatte ich genau so im letzten Posting geschrieben.
Dummerweise werden wildcards bei http nicht unterstützt.

Weitere Vorschläge?

 

[0-8-15 User]

ich hatte wohl vergessen, zu erwähnen, dass der filename nicht bekannt ist?

Dann verstehe ich nicht, was Du von dem "Bildgrabber" erwartest? Soll er den Dateinamen erraten?

 

[cumulonimbus8]

Sicher doch.

@Chiron McAnndra
Hast du schon mal überlegt, dass der Seitenbetreiber bewusst solchen, ich sags mal so krass, Bildschmarotzern einen Riegel vorschieben will? Ich wäre nicht begeistern wenn solche Crawler mal en hopp meine Site durchbaggern und Bilder abschöpfen.

CN8

 

[Chiron McAnndra]

Dann verstehe ich nicht, was Du von dem "Bildgrabber" erwartest? Soll er den Dateinamen erraten?

Das tut ein Bildgrabber doch auch - wenn man ihm die Adresse des Verzeichnisses gibt, holt er sich von da alle Files, die Bildinformationen enthalten. Leider macht das der WGET nicht - denn DER will den Dateinamen mitgeliefert bekommen.
Ich bräuchte also eine Kombination beider Programme.

Ergänzung (12. August 2016)

Sicher doch.

@Chiron McAnndra
Hast du schon mal überlegt, dass der Seitenbetreiber bewusst solchen, ich sags mal so krass, Bildschmarotzern einen Riegel vorschieben will? Ich wäre nicht begeistern wenn solche Crawler mal en hopp meine Site durchbaggern und Bilder abschöpfen.

CN8

Natürlich wollen die das nicht.
Aber wenn man als Anwender immer das tun wollte, was die Betreiber irgendwelcher Seiten möchten, dann mütest Du auch adblocker abschalten - und auf keinen Fall einen Virusscanner betreiben - und einen Großteil Deiner Zeit damit vertrödeln, sich auf immer neuen Seiten mit Passwort und weiteren persönlichen Daten brav anzumelden.

Sorry, aber wer Bilder zum Download freigibt, hat kein Recht, mir vorzuschreiben, auf welche Weise ich mir diese Bilder beschaffe. Wenn er das nicht will, dann soll er den Zugang für annonymen Zugriff sperren und nur noch angemeldete User rein lassen.

Ich hab jedenfalls keinen Bock, meine Zeit zu vertrödeln, nur weil dem Betreiber einer Seite keine effizientere Methode eingefallen ist, die Inhalte, die er frei zur Verfügung stellt, zugänglich zu machen.

Es ist ja nicht so, dass ich mir illegal etwas beschaffen will, das ich gar nicht haben dürfte.


CMA

 

[0-8-15 User]

Dann musst Du wohl größere Geschütze auffahren.

Zum Beispiel einen Webcrawler à la Scrapy.

Oder selbst ein Programm schreiben, dass die Aufgabe erledigt.

 

[cumulonimbus8]

Aber wenn man als Anwender immer das tun wollte, was die Betreiber irgendwelcher Seiten möchten, dann mütest Du auch adblocker abschalten

Soll das ein Scherz sein?
Wenn du so leichtfertig Äpfel (Werbung, ggf. penetrante) mit Birnen (Eigentum des Seiteninhabers) vergleichst dann kann ich nur mit dem Kopf schütteln als ob sich alle [Websites] dir anpassen müssten.

Sorry, aber wer Bilder zum Download freigibt, hat kein Recht, mir vorzuschreiben, auf welche Weise ich mir diese Bilder beschaffe.

Nehmen ohne zu geben…

Sorry, bei so viel Egoismus bin ich raus.

CN8

 

[Chiron McAnndra]

Soll das ein Scherz sein?
Wenn du so leichtfertig Äpfel (Werbung, ggf. penetrante) mit Birnen (Eigentum des Seiteninhabers) vergleichst dann kann ich nur mit dem Kopf schütteln als ob sich alle [Websites] dir anpassen müssten.

Zum einen: woher kommt Deine Vorstellung, dass es sich dabei um das Eigentum des Seiteninhabers handelt?
Zum anderen: Wo habe ich verlangt, dass der Anbieter seine Seite nach meinen Wünschen ändert?

Nehmen ohne zu geben…

Sorry, bei so viel Egoismus bin ich raus.

Auch das verstehe ich nicht.
Wieso nennst Du es Egoismus, wenn ich das, was ich sowieso nehmen darf (ich wiederhole nochmal; die Bilder sind frei zugänglich und NICHT zugangsbeschränkt - kann sich also jeder holen, was er will und es wird NIRGENDWO verlangt, dass man erst was gibt, bevor man nimmt), einfach nur effizienter nehmen will als das der Anbieter vorgesehen hat?

Ich nehme niemandem etwas weg - ich sehe nur nicht ein, weshalb ich mir selber ein Gängelband umlegen soll, nur weil das der Anbieter gerne möchte, wenn es auch anders geht.

CMA