Python Automatischer Download

[#Base]

Hallo,
ist es möglich, mit Python einen automatisierten Download einer Datei von einer Webseite durchzuführen?

Hintergrund:
Auf einer Internetseite (ich nenne sie hier https://www.test.de) existiert ein Link. Dieser Link hat immer den gleichen Namen, jedoch ändert sich die dazugehörige URL (täglich).

Wie kann ich diese Datei wiederkehrend automatisch downloaden?

 

[abcddcba]

Ein Link hat den gleichen Namen, aber die URL ändert sich ... das habe ich nicht verstanden. Meinst du im HTML?
Dann musst du eine API für HTML nutzen und das Element mit dem Link Namen finden und die URL extrahieren

 

[KitKat::new()]

Wie kann ich diese Datei wiederkehrend automatisch downloaden?

den Source Code der Webseite herunterladen und den Link automatisiert suchen - gibt Tools - sogenannte Crawler - dafür. Das ist insbesondere relevant, wenn die Webseite dynamisch gestaltet ist und daher ein einfacher Download der Seite nicht ausreicht.
Schau dir mal https://scrapy.org/ an, vielleicht klappts damit

das habe ich nicht verstanden

Link
Link

jetzt verstanden?

 

[0x7c9aa894]

Schau dir mal python pandas an. https://pandas.pydata.org
Edit:
https://pythonprogramminglanguage.com/web-scraping-with-pandas-and-beautifulsoup/

 

[abcddcba]

jetzt verstanden?

ja ... hatte ich aber bereits angefügt, mit "meinst du im HTML", aber trotzdem danke.
So wie ich auch geschrieben hatte, das er eine HTML API für Python dann nehmen kann, und das Link Element sucht basierend auf dem Link Text.

Kann man auch ohne Python mit grep oder sed, aber gut, wenn es Python sein muss ist auch alles gesagt.

Was mit "automatisch" gemeint ist, bleibt offen. Zeitbasiert? Dann wohl eher Cron Job, ansonsten musst halt das Python Skript laufen lassen und Timer oder so nutzen

Ergänzung (21. März 2021)

Schau dir mal python pandas an. https://pandas.pydata.org

was soll er mit Pandas machen? Für HTML Parsen wird man wohl eher beautifulsoup4 oder ähnliche Bibliotheken verwenden. Er will hier keine HTML Tabellen oder so verarbeiten.

 

[#Base]

Das Crawlen von Webseiten kenne ich.
Aber wie kann man Dateien (zum Beispiel PDF Dokumente) downloaden und in einem bestimmten Ordner ablegen?

 

[KitKat::new()]

https://www.tutorialspoint.com/downloading-files-from-web-using-python

 

[#Base]

Danke für die schnelle Antwort.

 

[0x8100]

https://www.tutorialspoint.com/downloading-files-from-web-using-python

wobei man diesen code maximal als inspiration ansehen sollte. open() ohne close() macht man nicht, besser man nimmt gleich with. zudem ist es gefährlich, den wert von content-disposition ungeprüft in open() zu verwenden. wenn der server sonstwas reinschreibt, schreibt man da schnell lokal in dateien, in die das gar nicht rein sollte.