Website durchsuchen im bestimmten Pfad? Inhalte Listen

[HDopfer]

Hallo Zusammen,

auf einer Seite mit der URL:

http://xxx/xxxx/111/yyyy.abc

Gibt es unterschiedliche Dateien mit dem Typ .abc.
Alle Dateien sind aufrufbar, wenn man yyyy kennt. yyy ist der Dateiname.

Gibt es eine Möglichkeit sich aufrufen zu lassen, welche Daten im Pfad /111/ liegen?

 

[FranzvonAssisi]

Ja, die gibt es.

Wie, ist allerdings von Server zu Server unterschiedlich.

Insofern kann man dir bei dieser Fülle an Informationen nicht oder nur schlecht weiterhelfen

Lg

 

[HDopfer]

Ja, die gibt es.

Wie, ist allerdings von Server zu Server unterschiedlich.

Insofern kann man dir bei dieser Fülle an Informationen nicht oder nur schlecht weiterhelfen

Lg

Es geht um den Server des ÖR, der Podcast enthält:
http://download.radioeins.de/podcast/16_und_zwei/xxx.mp3

 

[Falc410]

Wenn der Server Directory Browsing deaktiviert hat, kannst du die Dateinamen nicht sehen. Da hilft dann nur Brute Force, früher gabs schon Crawler für sowas, die probieren einfach alle möglichen Sachen und laden es dann herunter. Ggf. gibt es auch Tools bei Kali Linux (denke da gerade an Dirbuster oder Burb Suite). Vor über 20 Jahren hatte ich mal einen Crawler der hiess Spider irgendwas und den hab ich genau dafür benutzt um von einer Seite für Erwachsene alle Bilder herunter zu laden

 

[Thaxll'ssillyia]

Bei crawling solltest du prüfen ob der Website-Betreiber dies zulässt, manche verbieten das per AGB etc. Da fliegst du nach 20 mal parsen schnell raus.

 

[HDopfer]

Aber wie sieht es nun aus mit :

http://download.radioeins.de/podcast/16_und_zwei/xxx.mp3

Ist da was möglich?

 

[Sparta8]

z.B. mit sowas: https://github.com/abaykan/CrawlBox

Google einfach nach sowas wie "brute force crawl website".

 

[Scythe1988]

Aber wie sieht es nun aus mit :

http://download.radioeins.de/podcast/16_und_zwei/xxx.mp3

Ist da was möglich?

Ja

Sorry anhand deiner Fragen behaupte ich mal: Für dich nicht möglich.

 

[HDopfer]

Ja

Sorry anhand deiner Fragen behaupte ich mal: Für dich nicht möglich.

Was ist das für eine Antwort. Na klar wird es immer mit Brutforce gehen aber ich kann nicht 50^30 Anfragen (50 Zeichen und 30stelliger Name) an den Server stellen.
Ich dachte eher an einer index Datei, die sich irgendwo im Pfad befindet und alle Dateien listet.

 

[Falc410]

so eine Datei müsste der Betreiber manuell erstellt haben. Und ja, Brute force dauert halt ne Zeit - wäre gut wenn du ein Namensschema hättest, dann wäre es einfacher. Directory Listing deaktivieren die meisten Serverbetreiber genau aus dem Grund - die wollen nicht das man die Dateien einfach so herunterlädt. Anonymous FTP werden die aus dem gleichen Grund auch nicht anbieten.

Was aber ggf. einfacher ist, ist ein Web Crawler. Der durchsucht die Webseite nach Links und folgt denen. Sprich die blenden doch immer schon ähnliche Videos ein. Dann kannst du die ganzen URLs crawlen und aus dem HTML Code die Video URI extrahieren und dann runterladen. Lässt sich alles scripten.

 

[Sparta8]

Der Betreiber hat keine Index Datei am Server. Der Server bietet keine Indexansicht. 16_und_zwei muss nicht mal ein existierender Ordner sein.

 

[HDopfer]

Ich bin kein ITler.
Hab daher einfach eine grosse Excel Liste erstellt und viele Kombinationen durchprobiert, da ich den Namenschema kenne. Konnte nur eine grobe Suche machen, weil ich schon bei 70k links war.
Hab dann jdownloader damit gefüttert und mehr als eine Stunde gewartet.

 

[Sparta8]

... da ich den Namenschema kenne.

 

[HDopfer]

Es gibt ein paar Outliner. Ich müsste mehr als 10Mio Links abfragen, wenn ich mich strikt an das Namenschema halte.