Ist es problematisch von einem heimischen Windowsrechner per Konsole im größeren Stil Ping oder HTTP Anfragen (Webscraping) durchzuführen?

[Oram333]

Wollte mal wissen ob man von zuhause Folgendes bedenkenlos tun kann und wen ja ob man hierbei irgendwas besonderes beachten sollte?

-eigener Windows Server auf dem selbst geschriebene Shell und PHP-Scripte laufen.
-eine Anwendung startet automatisch mehrere Konsolen, die sich mit anonymen Proxys verbinden.
-Es werden pro Port bis zu 20 Prozesse (Instanzen) betrieben.
-Das Script verursacht in Spitzen bis zu 20 MB Traffic in der Sekunde (durchschnittlich eher 4-5MB). Es wird die Verbindung des heimischen Internetanschlusses verwendet, allerdings läuft der Netzverkehr über mehrere zwischengeschaltete anonyme IP-Adressen und Ports.
-Es wird geschaut ob URL's existieren und anschließend bestimmte HTML Inhalte von öffentlichen Webseiten abgefragt. Bis zu 100.000 URL's in der Stunde.

Ein Kollege hat das Script bei sich zu hause laufen lassen, allerdings berichtet er, dass bereits nach 30 Minuten plötzlich wiederholt die Routerverbindung durchtrennt wurde und es dann für den Rest des Tages unerklärbare Internet und Telefonstörungen gab (das erste mal in Jahren), weswegen es bisher nur bei 1-2 flüchtigen Tests geblieben ist.....

Könnte da ein Zusammenhang existieren und wenn ja was würdet ihr zu dem Thema empfehlen?

 

[TorenAltair]

anonymen Proxys

gibt es schonmal nicht.

anonyme IP

gibt es auch nicht

Bis zu 100.000 URL's in der Stunde.

das wird Dein ISP zu verhindern wissen

 

[mibbio]

Also wenn ich mich nicht verrechnet habe, sind 100.000 URLs pro Stunde fast 30 pro Sekunde. Bei so einer Rate werden garantiert irgendwelche Schutzmechanismen beim ISP anspringen.

 

[FCK_PTN]

Spannend. Ich frage mich wofür man ein solches Szenario benötigt? Magst du etwas ins Detail gehen @Oram333?

 

[shadowrid0r]

Für Hacking evtl. das falsche Forum hier? Mal im Darknet fragen?

 

[Oram333]

Also wenn ich mich nicht verrechnet habe, sind 100.000 URLs pro Stunde fast 30 pro Sekunde. Bei so einer Rate werden garantiert irgendwelche Schutzmechanismen beim ISP anspringen.

Wie machen das dann Leute, die solche Crawler professionell betreiben? z.b für private Suchmaschinen... Benötigt man eine spezielle Leitung dafür?

Ergänzung (3. September 2025)

Spannend. Ich frage mich wofür man ein solches Szenario benötigt? Magst du etwas ins Detail gehen @Oram333?

Ich dachte daran mal das Internet auf etwas andere Art und Weise zu durchsuchen. Ein User hat mir geschrieben, dass er an einem einzigen Tag über 50 Mio Domains gecrawled hat um nach bestimmten Inhalten zu suchen, die von Google & co vorenthalten werden. Davon ist das hier allerdings noch weit entfernt...

 

[Krik]

@Oram333
Die 50 Mio. Domains am Tag halte ich für ein Gerücht. Das sind fast 600 pro Sekunde.
Da landet man quasi sofort auf irgendeiner Blacklist.

Und dann nicht nur pingen, sondern auch noch scrapen? Mit was für einer Maschine soll er das denn geschafft haben? Da muss ja echt was dickes stehen, und ich rede nicht von einer Intel- oder AMD-Desktop-CPU.

 

[Micha-]

Wie machen das dann Leute, die solche Crawler professionell betreiben?

Nun, bestimmt nicht mit DSL 16 von der Telekom

 

[Bob.Sponge]

@Oram333

Könntest ja mal nach Anbietern suchen, die Standleitungen vermieten.

 

[Demon_666]

Da steht auch bestimmt was in deinen Verträgen mit deinem ISP. Ich könnte mir eine außerordentliche Kündigung seitens des ISPs vorstellen.

 

[m3rch3r]

Mit einer Privatleitung, kann ich mir gut vorstellen, dass solche Vorgänge blockiert werden. Ist ohne Absprache mit dem Provider, von einem Botnet wahrscheinlich nicht zu unterscheiden.
Auf Anfrage wird dir höchstwahrscheinlich ein Business-Tarif oder Ähnliches empfohlen.

 

[Demon_666]

die von Google & co vorenthalten werden. Davon ist das hier allerdings noch weit entfernt...

Außerdem mal dran gedacht, dass manche Inhalte extra für Suchmaschinen nicht zugänglich sein sollen (Stichwort robots.txt). Im schlimmsten Fall wagst du dich mit deiner Aktion auf rechtlich "unsicheres Terrain".

 

[JumpingCat]

Ein Kollege hat das Script bei sich zu hause laufen lassen, allerdings berichtet er, dass bereits nach 30 Minuten plötzlich wiederholt die Routerverbindung durchtrennt wurde und es dann für den Rest des Tages unerklärbare Internet und Telefonstörungen gab

Geschichten aus dem Paulaner Garten, ne?

Bis zu 100.000 URL's in der Stunde.

Na dann landet der Proxy oder Anschluss auf vielen Blocklisten.

Könnte da ein Zusammenhang existieren und wenn ja was würdet ihr zu dem Thema empfehlen?

XY-Problem lässt grüßen.

Es wird geschaut ob URL's existieren und anschließend bestimmte HTML Inhalte von öffentlichen Webseiten abgefragt. Bis zu 100.000 URL's in der Stunde.

Das klingt nach komplett unorganisierter Vorgehensweise. Wieso musst du so viele Webseiten aufrufen?

Was hast du überhaupt vor? Also High Level. Ob du PHP auf einem Windows nutzen willst interessiert nichtmal ansatzweise.

 

[Quantität]

Hm, vom Anschluss deines Kollegen kommen Spamsignale und der ISP blockt das? Wirklich unfassbar, nix darf man mehr, verflixte Zensur heutzutage!

 

[mibbio]

Wie machen das dann Leute, die solche Crawler professionell betreiben? z.b für private Suchmaschinen... Benötigt man eine spezielle Leitung dafür?

Die machen das zumindest nicht von einem Privatkundenanschluss aus und erst recht nicht von einem einzigen. Größere kommerzielle Suchmaschinen betreiben üblicherweise ein Netzwerk an Crawlern von auf der Welt verteilten Standorten aus.

Private Suchmaschinen werden eher öffentliche Daten von anderen Suchmaschinen nutzen und die vielleicht noch mit einem eigenen Crawler ergänzen. Die grasen dann aber garantiert nicht 100.000 Seiten pro Stunde ab, sondern vielleicht ein paar Hundert bis wenige Tausend pro Stunde.

 

[netzgestaltung]

Wie machen das dann Leute, die solche Crawler professionell betreiben?

einen linux root-server mieten bei einem webhost beispielsweise, die werben damit das durchsatz und solche sachen passen. aber regeln haben die auch.

 

[Oram333]

Ok alles klar. Zusammengefasst kann man also sagen privater Internetanschluss ist für derartige Tätigkeit maximal ungeeignet. Spezielle Standleitung, Glasfaserverbindung oder Linux Root Server wäre jedoch ok oder die Geschwindigkeit des Scriptes drosseln. Also z.b auf maximal 1000 Seiten/H ? Was ich jedoch nicht ganz kapiere: Woher weiß der ISP überhaupt wieviel oder welche (?) Domains angesteuert werden wenn der gesamte Traffic über anonyme Ports (z.b über das Tornetz) läuft und auch die DNS Auflösung laut Leaktest scheinbar nicht über den ISP geschieht? Und wieso ist das versenden & empfangen vieler kleiner Pakete problematischer als z.b ein einziger großer Download der getätigt wird? (wenn man nur allein die Trafficgröße betrachtet)

 

[netzgestaltung]

Ja, throtteling ist eine häufige strategie in solchen Fällen. Hatte mal jemand der einen Newsletter über Email/SMTP vom privaten Provider an 1000+ Empfänger schickte und dann wurde die Email vom Provider gesperrt.

Email-Versand Tools wie zb PHPList haben solches throtteling schon in den Optionen drinnen. Da es bei größerer Skalierung noch mehr Themen damit gibt.

Ergänzung (5. September 2025)

Woher weiß der ISP überhaupt wieviel oder welche

das ist natürlich unterschiedlich, aber ich denke, die pakete könnten sich dennoch ähneln.

 

[TorenAltair]

anonyme Ports

Es gibt kein anonym, akzeptier es einfach. Nein, auch Tor ist nicht anonym.
Dein ISP braucht den Paketinhalt nicht wissen, es reicht ja den Handshake-Spam zu sehen.

 

[Krik]

Was ich jedoch nicht ganz kapiere: Woher weiß der ISP überhaupt wieviel oder welche (?) Domains angesteuert werden wenn der gesamte Traffic über anonyme Ports (z.b über das Tornetz) läuft und auch die DNS Auflösung laut Leaktest scheinbar nicht über den ISP geschieht?

Der ISP sieht auf alle Fälle, dass du tausend Verbindungen ins Netz öffnest und schließt. Das läuft ja auf den ersten Metern über seine Infrastruktur. Dem ist auch egal, wohin die Verbindungen gehen. Ihn interessiert nur, dass dieses Verhalten stattfindet, denn für Privatanwender ist das untypisch.