Informationen von einer Homepage automatisiert auslesen.

[Allan Sche Sar]

Aktuell bin ich am verbessern meiner Abläufe auf verschiedenen Rennevents. Dabei geht es auch darum die Konkurrenz im Blick zu haben. Wir sind nur eine begrenzte Anzahl an Personen und dennoch würde ich gerne mir eine Informationen zu verschiedenen Teams aufschreiben.
Zum Beispiel auf folgender Seite (https://speedhive.mylaps.com/sessions/10932538) werden Daten wie:

• letzte Rundenzeit
• Bestzeit
• Anzahl Runden
• Platzierung
• Aktueller Status (Fahrend oder Box)

dargestellt. Achtung es handelt sich bei der oben genannten Website nur um eine Beispiel. Die vom eigentlichen Rennen hat abgewandeltes Tabellenlayout.

Wie komme ich aktuell an die Daten heran ist im Grunde sehr simple. Alle 4 Minuten mache ich mir Notizen in eine Excel Datei. Grossartig wäre es, wenn diese Daten nun direkt von der Webseite ausgelesen werde können. Das geht bestimmt und es gibt die verschiedensten Möglichkeiten.
Nur weiss ich nicht so recht wie anfangen.

Daher meine Frage in die Runde, wie erfasse ich die tabellarischen Daten einmal pro Runde in einem TXT oder Excel Format (TXT wüsste ich mir umzuwandeln und immer wieder in die Excel einzulesen).

P.S.: Dieses Thema war das erste, bei dem ich mir nicht sicher war, in welche Kategorie es richtig hinein passt. Schauen wir mal.

 

[JackForceOne]

Schau dir mal https://changedetection.io/ an. Kann man auch selbst hosten. Oder mit curl via Bash / Python / ... Skript

 

[TorenAltair]

Web scraping nennt sich das und ist von den meisten Seitenbetreibern nicht gerne gesehen. Bieten die evtl. eine API an? Würde ich mal nachfragen.

 

[JumpingCat]

Wenn man die Seite mit F12 lädt, dann sieht man einen versionierten API Call. Das Ergebnis ist wohl die Tabelle als json. Direkt per curl / get-webcontent kommt man da auf Anhieb aber nicht dran.

Viel Spaß beim Basteln :-)

Ansonsten gibt es noch Playwright, Selenium, etc was einen Browser fernsteuert. Da kann sicherlich eine beliebige KI in wenigen Minuten was zusammen basteln.

 

[redjack1000]

Daher meine Frage in die Runde, wie erfasse ich die tabellarischen Daten einmal pro Runde in einem TXT oder Excel Format (TXT wüsste ich mir umzuwandeln und immer wieder in die Excel einzulesen).

Warum benutzt du nicht die angebotene CSV Datei?

Cu
redjack

 

[JumpingCat]

@redjack1000 Weil du diese Datei nicht simpel automatisiert runterladen kannst. Hat den gleichen Schutz wie der rest/json call. Die Frage ist nach "automatisch".

 

[Allan Sche Sar]

Die angebote CSV Datei gibt es erst am Ende der Veranstaltung und diese auch nur bei den Events, welche für die Nachwelt zusammengehalten werden.

Schau dir mal https://changedetection.io/ an. Kann man auch selbst hosten. Oder mit curl via Bash / Python / ... Skript

Das ist mir etwas suspekt. Ich soll 9 $ pro Monat ausgeben, ohne es einmal getestet zu haben. Wollte es mit Computerbase einmal probieren.

Leider habe ich null Ahnung von Curl, Bash Python

Wenn man die Seite mit F12 lädt, dann sieht man einen versionierten API Call. Das Ergebnis ist wohl die Tabelle als json. Direkt per curl / get-webcontent kommt man da auf Anhieb aber nicht dran.

Ich habe keine Ahnung, wie ich eine API erkennen würde. Also muss ich mich wohl mit der Json und Curl programmierung auseinander setzen, um dann auf die API zuzugreifen.

 

[JackForceOne]

Ich hatte ja geschrieben, man kann es selbst hosten. Docker Compose und los geht's.

Steht alles hier:

https://github.com/dgtlmoon/changedetection.io