Automatisierung: Google Suche und Clicken (Anfängerfrage)

Hallo liebe Forumler!

Ich würde gerne eine kleine Anwendung schreiben, die mir das Leben erleichtern würde. Da meine Kenntnisse aber kaum über HTML Grundlagen hinaus gehen, würde ich gerne von den Profis hier wissen, welche Tools ich dazu brauche.

Es geht um die automatisierte Suche nach bestimmten Inhalten in Google (sowas wie der Google bot).

Aufgabe:

1)Begriff X muss in Google Suche eingegeben werden. (Den Begriff entnimmt das Programm aus einer manuell angelegten Tabelle)
2)Die Homepage Y muss in den Suchergebnissen gefunden werden.
3)Wenn Y nicht auf Seite 1 der Suchergebnisse ist, muss die 2,3, ... Seite durchsucht werden.
4)Das Programm muss auf Y klicken
5)Auf Y auf Punkt Z drücken


Ich beschäftige mich bereits seit mehreren Wochen mit dem Thema, komme aber mit den Fluten an Infos nicht mehr ganz klar und dachte dass Ihr mich vielleicht auf den rechten Pfad führt.
Welche Tools bzw. Programmiersprachen würdet Ihr für die o.g. Aufgabe empfehlen?

Vielen Dank im Voraus

Du gehst da etwas falsch heran. Da ist nix mit "klicken auf Koordinate X,Y"
In welcher Programmiersprache schreibst du das denn
Ich würde es in etwas so machen:
"curl -k -sA "Chrome" -L 'https://www.google.com/search?hl=en&q=computerbase' -o ssearch.html" oder was auch immer die Programmiersprache hergibt zum suchen. Dann das zurückgegebene HTML Ergebnis, hier ssearch.html z.B. mit beautifulsoup oder Ähnlichem durchsuchen. Dann wie hier den "computerbase" Link extrahieren und via curl, etc. holen oder die nächste Seite anfordern, etc.

Solltest du wirklich einen Browser direkt fernsteuern wollen, warum auch immer, dann autohotkey oder autoit verwenden.

Hey,

ich würde z.B. via request in node.js die oben genannte Suchanfrage durchführen und dann jedes Suchergebnis splitten, sodass du ein Array mit den Suchergebnisses hättest. Danach die Suchergebnisse durchiterieren und eine neue GET-request an die Seite schicken, die du gesucht hast. Zuletzt nun eine GET-Request(?) an den Punkt Z senden.

Alternativ kann man sich das lästige HTML parsen sparen und eine Search-API wie diese hier verwenden: https://duckduckgo.com/api. (https://github.com/jawerty/node-ddg)

Mit freundlichen Grüßen,
Cludch

HominiLupus schrieb:

In welcher Programmiersprache schreibst du das denn

Zum Vergrößern anklicken....

Bislang weiß ich es noch nicht. Deswegen frage ich nach Rat

HominiLupus schrieb:

Ich würde es in etwas so machen:
"curl -k -sA "Chrome" -L 'https://www.google.com/search?hl=en&q=computerbase' -o ssearch.html" oder was auch immer die Programmiersprache hergibt zum suchen. Dann das zurückgegebene HTML Ergebnis, hier ssearch.html z.B. mit beautifulsoup oder Ähnlichem durchsuchen. Dann wie hier den "computerbase" Link extrahieren und via curl, etc. holen oder die nächste Seite anfordern, etc.

Zum Vergrößern anklicken....

Habe ich das richtig verstanden?

-Suchanfrage nach X in Google
-Ergebnis Seite 1 als HTML durchsuchen (beautifulsoap), wenn Begriff X gefallen ist, dann Befehl "Hier klicken" bzw. wenn der Befriff X nicht gefunden wurde, dann Befehl "nächste Seite"

HominiLupus schrieb:

Solltest du wirklich einen Browser direkt fernsteuern wollen, warum auch immer, dann autohotkey oder autoit verwenden.

Zum Vergrößern anklicken....

Ich bin nicht sicher, was da die richtige Lösung ist. Es geht hier um eine SEO Geschichte und da muss man schauen wie der Google Algorythmus drauf reagiert.

Mit Autohotkey bzw. Autoit kenne ich mich absolut nicht aus. Ist das Programm für solche komplexen Anwendungen geeignet? Gibt es da eine Texterkennungsfunktion und Befehle wie : if, if not, .... ?

Nein, wenn "Begriff gefallen ist" dann die URL mit dem Begriff, eben Text, extrahieren. Diese URL kannst du wieder in curl einfügen um diese URL dann auch runterzuladen.

Autohotkey/Autoit ist effektiv auch eine vollständige Programmiersprache und wurde dazu entwickelt andere Programme, hier einen Browser, fernzusteuern.

Hast du überhaupt jemals schon programmiert?

Nein, ich habe nur mit HTML gearbeitet. Ich weiß, dass es keine Programmiersprache im klassischen Sinne ist. Aber das Prozedore ist wohl ähnlich.

Hi,

nein, ganz und gar nicht. HTML ist nicht nur im klassischen Sinne keine Programmiersprache, sie ist es in keinem Sinne. HTML ist eine Auszeichnungs - bzw. Beschreibungssprache. Daher ist auch das Procedere nicht ähnlich, da du keine Funktionen oder Operationen in HTML hast.

Also, am besten sauber anfangen, eine (Skript)Sprache aussuchen, ein wenig einlesen und dann erste Gehversuche machen. Zumindest wenn in Zukunft noch darauf aufgebaut werden soll.

VG,
Mad

hi,
man könnte man phantomjs die Seite anbrowsen lassen (gibt im cookbook gute Beispiele) und dann per jquery in der Seite die Buttons anklicken lassen.
Text in der Seite suchen lassen sollte damit auch gehen.

Such mal in Bot-Programmier Foren