HTTP Traffic messen

[JanKrohn]

Hallo,

Kennt jemand vielleicht ein Server-Tool, mit dem man ausgehenden HTTP-Traffic messen und auswerten kann? Es ist bereits ein NGINX Webserver installiert, auf dem einige Anwendungen laufen.

Es soll jetzt monatlich das Datenvolumen je IP-Adresse ermittelt werden.

Wichtig dabei ist, dass es immer ueber einen Zeitraum eines Monats geschieht (ich habe Tools gefunden, die das fuer das GESAMTE Datenvolumen ermitteln...)
Ebenso wichtig ist, dass jede IP-Adresse beruecksichtigt wird, die ueberhalb eines definierten Verbrauches liegt (auch hier habe ich Tools gefunden, die allerdings nach 100 IPs oder so abschneiden, und das dann unter "Sonstiges" zusammenfassen - obwohl 90% des Traffics nochnicht ausgewertet sind).

Aber ein Tool, das sowohl eine Einschraenkung auf den Monat vornimmt, aber keine Einschraenkung auf die Anzahl der IP-Adressen, kann ich auch nach laengerem Googlen nicht finden.

Jede Hilfe und jeder Hinweis sind daher sehr willkommen.

Gruss,
Jan

 

[En3rg1eR1egel]

rdd-tool:
http://oss.oetiker.ch/rrdtool/

 

[AlexHH]

evtl. GlassWire https://www.glasswire.com/ (ist allerdings für windows)

 

[AgentClark]

Hast du dir webalizer schon mal angeschaut?

 

[Twostone]

squid als reverse-proxy kann das auch. Und entlastet Dir Deinen Webserver. Solltest ggf. einen Log-analyzer wie Lightsquid oder Sarge mitinstallieren, damit die Logfiles etwas verständlicher aufbereitet werden, auch mit Zusammenfassungen, etc.

 

[davidbaumann]

Ich denke, hier ist noch nicht genau definiert, um was es geht.
Geht es dir um den Traffic des HTTP Server, oder ist der Server auch Gateway und du willst den Traffic der Hosts dahinter auswerten?

Die gängigen Tools sind alle Open Source, ich könnte wetten, dass die Anzahl der Hosts in der Auswertung irgendwo im Quelltest, wenn nicht sogar in einer Konfigurationsdatei steht.

​MfG.

Ergänzung (10. September 2014)

Ich denke, hier ist noch nicht genau definiert, um was es geht.
Geht es dir um den Traffic des HTTP Server, oder ist der Server auch Gateway und du willst den Traffic der Hosts dahinter auswerten?

Die gängigen Tools sind alle Open Source, ich könnte wetten, dass die Anzahl der Hosts in der Auswertung irgendwo im Quelltest, wenn nicht sogar in einer Konfigurationsdatei steht.

​MfG.

 

[mensch183]

...Tool, mit dem man ausgehenden HTTP-Traffic messen und auswerten kann? ... NGINX ... installiert...

zum Messen:
Dafür muß man das Log-Format ändern, da in der Voreinstellung (Format "combined") nur $body_bytes_sent im Logfile landet. Du brauchst aber $bytes_sent für deine Auswertung.

 

[JanKrohn]

Hast du dir webalizer schon mal angeschaut?

Grad gemacht. Das hat das zwar nicht, aber mich auf die Idee gebracht, Awstats genauer zu betrachten. Dort kann man die Anzahl der IPs konfigurieren, fuer die man den Traffic ausgewertet haben will.

Danke!!

 

[mensch183]

man webalizer ...

TopKSites num
Display the top num Sites (by KByte) table. Use zero to disable.

 

[JanKrohn]

Naja, eine Site ist ja was anderes als eine IP...
Ist aber egal, wir nehmen nun altes Release von NTOP. Da gibt es die Daten sogar als XML-File. Wesentlich besser zum Nachbearbeiten.

 

[mensch183]

"Sites" sind die IPs der clients aus dem Log. Man muß diese IPs nicht via DNS in Hostnamen wandeln, wenn man nicht möchte.

Ergänzung (12. September 2014)

XML-File. Wesentlich besser zum Nachbearbeiten.

Man brauch eine starke, masochistische Ader, um XML gegenüber den von Webalizer mit DumpSites=yes generierten Dateien zu bevorzugen.

 

[JanKrohn]

Ein Kunde kann mehrere IP-Adressen verwenden. Da muss nachtraeglich noch aggregiert werden, um aussagekraeftige Werte zu bekommen. In dem XML-File wird siherlich keiner haendig drin rumsuchen :-)