Linux: Netzwerkprobleme

[WulfmanGER]

Hallo zusammen,

ich hab Performanceproblem zwischen Windows und Linux (soll ein einfacher Desktop-Client werden). Da alle Windows-Clients mit dem Windows-Server (WHS2011) Netzwerkseitig keinerlei Probleme haben (1GBit, 80-90Mbyte/s, niedrige CPU-Last sowohl Client/Server), sehe ich das Problem bei Linux. Bzw. bei dem Noob der damit am rumbasteln ist ... ich ...

Ich nutze ein Ubuntu 14.10

Folgendes Problem hab ich:

Ich mounte die Netzwerklaufwerke die mir der WHS und ein Window7-Client zur Verfügung stellen. Diese lasse ich mit Boot automatisch einbinden.

Problem 1: Wenn ich jetzt via Dateimanager eine Datei (>5GByte) vom Netzlaufwerk auf den Linux-Client kopiere ist das nicht so schnell wie Windows<->Windows aber viel tragischer: Die CPU-Last auf dem Linux-Client ist so hoch das ich den Linux-Client kaum mehr nutzen kann - Firefox blockiert. Da ich den Client für das bearbeiten von ca. 1000+ Dateien (Bilder) am Stück (also nacheinander ) auf einem Netzlaufwerk benötige und die bearbeitung selbst jedes bissel CPU-Zeit benötigt, ist dieses verhalten also kontraproduktiv


Problem 2: wenn auf dem WHS gerade hohe Last ist (weil ich ein großes rar entpacke (egal auf welchen Laufwerk) usw.) und von einen der Laufwerke ein Film schauen möchte (mit dem Linux-Client), kann es passieren das VLC plötzilch artefakte bringt und dann der Ton (DTS meistens), wegfällt. Wenn ich gleiches mit einem Windows-Client wiederhole ist das nicht. Kein Aussetzer, keine Artefakte. Gleiches auch wenn ich mit einem (Win)XBMC-Client (mit den eigenen Netzlaufwerkmounts vom XBMC) bei sowas auf dem WHS zugreife - es läuft zu 99% sauber weiter (ganz selten kurz pause weil Puffer leer). Ich hab in VLC den Puffer schon erhöht - es bringt nichts.

Denke Problem 2 und 1 sind miteinander verwandt - nur wie löse ist das. Ich würde behaupten: Benutzerfehler. Ich spiele erst seit paar Wochen mit Linux als Client. Würde den client halt nicht nur als Testmaschine nutzen.

Die Laufwerke sind wie folgt eingebunden in der /etc/fstab eingebunden:

//aaa.bbb.ccc.ddd/d$ /media/netzlaufwerk1 cifs credentials=/home/meinusername/.smbcredentials,iocharset=utf8,sec=ntlm 0 0

Habe das aus einer ubuntu-Anleitung und wenig Ahnung was ich da gemacht habe. Hier gibt es auch ein Zusatzproblem: eigentlich hab ich Windows-Seitig die Laufwerke so freigegeben das schreiben möglich ist. Das geht nicht. Keine Schreibberechtigung.

In der fehler in der etc/fstab oder ganz woanders? Ein bekannter meinte das liegt daran das bei der Variante über den Dateimanager alles über den kernel geschoben wird und somit die CPU-Last hoch ist? Richtig? Ausweg? Möchte schon einen Dateimanager nutzen. Später werde ich ein script auf der konsole nutzen oder ein GUI-Tool für ein Konsolenprogramm. Soweit bin ich aber noch nicht. Möchte div. Dateien Taggen, oder zu einem Video zusammenfügen usw. Also Bild-/Videobearbeitung

Gruß
Wulfman

PS: die Linux-Kiste läuft auf einen AMD Phenom II 945 (oder 940?) mit 8Gbyte Ram und derzeit einer normalen HDD.

 

[Suxxess]

Mal die Übertragung per FTP erledigen? ( Weniger Overhead ) Ansonsten ggf. eine extra Netzwerkkarte mit einem ordentlichen Netzwerkchip einbauen? ( Dort sollte der Hardwarechip dann die Hauptlast tragen )

 

[Bisumaruku]

Treiber für die Netzwerkkarte? Laufwerke mit der Freigabe evtl NTFS?

 

[herliTz_234]

Mess die Netzwerkgeschwindigkeit vom Linux Client zum Windows Server mit IPerf. Dann weißt du zumindest was du erwarten kannst.
Hier erfährst du mehr zu IPerf

Hast du eine SWAP partition angelegt? Kann sein das einfach keine Daten zwischen gespeichert werden können und das der Rechner darum unbenutzbar werden.

 

[WulfmanGER]

Mal die Übertragung per FTP erledigen? ( Weniger Overhead ) Ansonsten ggf. eine extra Netzwerkkarte mit einem ordentlichen Netzwerkchip einbauen? ( Dort sollte der Hardwarechip dann die Hauptlast tragen )

für einmalig wäre das grundsätzlich drin - wenn ich einen ftp-server hätte (ist ja nicht das ding). Aber Ich schaffe rein Windows<-Netz->Windows via Netzlaufwerk ja auch schon 80-90Mbyte/s ... somit ein Overhead von "nur" 30-40Mbyte/s (zum theoretischen max von 120Mbyte/s bei 1Gbit) - damit kann ich "leben". Meine Festplatten sind langsamer (stark fragmentiert)! 80-90Mbyte/s hab ich unter Windows<->Windows von 2 Festplatten auf 2 Festplatten. (und ich nutze nicht den Windows-Kopier-Dialog wegen der Tempo-Angabe ... teracopy)

Nur bringt mir ein ftp-Server nichts bei meinem potentiellen Einsatzziel ... im Moment ist das einfach nur gespiele - bissel vertraut machen mit dem System bevor es produktiv eingesetzt wird. Hatte früher unter Windows FTP-Server getestet und war mit der Leistung im LAN nie zufrieden. Hast du da vielleicht eine Opensource-Empfehlung? Vorallem eine die mit vielen kleinen Dateien zu recht kommt (das war mein Hauptproblem).

Hätte noch einen ssh-server laufen - mit SCP sollte ich den ja auch connecten können und kopieren starten ... wenn der das kann. Muss ich mir gleich mal anschauen.

FTP kann ich unter Linux auch mounten wie ein Netzlaufwerk? Das heißt die weitere Nutzung wäre Identisch wie mit einem Netzlaufwerk?

Treiber für die Netzwerkkarte? Laufwerke mit der Freigabe evtl NTFS?

Klar die Windows-Platten sind NTFS.
Treiber für die Netzwerkkarte unter Linux? Hab ich mir auch gedacht - bei Windows wird ja ein Standard installiert (der ja mittlerweile eigentlich auch recht gut seine Arbeit macht) - vielleicht der Standard von Linux in der Hardwarekombi nicht so doll. Kann ich mir aber nicht vorstellen?? Wie kann ich den einen Treiber ändern? Und welchen Brauch ich?

Mess die Netzwerkgeschwindigkeit vom Linux Client zum Windows Server mit IPerf. Dann weißt du zumindest was du erwarten kannst.
Hier erfährst du mehr zu IPerf

Hast du eine SWAP partition angelegt? Kann sein das einfach keine Daten zwischen gespeichert werden können und das der Rechner darum unbenutzbar werden.

IPerf werde ich probieren!
Richtig gemessen hab ich ja noch nicht - gefühlte Geschwindigkeit. Wobei es mir ja mehr um die extreme Last geht und die empfindlichkeit wenn auf dem Server CPU-Last herrscht (Entpacken) - was ich mit anderen Windows-Clients nicht in diesem extrem habe.

Ich hab selber nichts angelegt ... Ubuntu damals installiert und alles selbst eingerichtet worden. Aber SWAP hatte ich mal wo gesehen.

Ergänzung (20. Januar 2015)

Hallo zusammen,

hier das iperf-Ergebniss:
(Server @ Windows)
Transfer: 1,1 Gbytes
Bandwith: 941 Mbits/s

(Server @ Linux)
Transfer: 825Mbytes
Bandwith: 692 Mbits

Krasser einschnitt ...?!

(Server @ Linux) mit -d
Transfer: 586 Mbyte | 888 Mbyte
BW: 491 Mbits | 744 Mbits

(Server @ Windows) mit -d
Transfer: 886 Mbyte | 577 Mbyte
BW: 743 Mbits | 483 Mbits


Gruß

 

[herliTz_234]

Die Unterschiede in den IPerf Messungen sind irgendwie nicht nachvollziehbar ich hätte eine ähnliche Bandbreite von Linux erwartet.

Schau dir mal die Auslastung des Systems mit top oder htop während des Kopiervorgangs an. Überprüfe ob sich der SWAP füllt während du etwas kopierst das kannst du mit free tun.

Ich weiß nicht ob dein System aktuell ist aber du solltest trotzdem einfach erstmal apt-get update dann apt-get upgrade und dann apt-get dist-upgrade durchführen. Das ist einfach nur so ein Tip vielleicht ist ja irgend ein wichtiges Modul nicht up to date.

Hier hab ich noch was gefunden wo etwas erwähnt wird das die NTFS-Treiber wohl nicht so toll sind da kannst vielleicht anknüpfen.

 

[WulfmanGER]

naja mit NTFS hab ich ja unter Linux nix zu tun. Windows stellt hier ja ein Netzlaufwerk zur Verfügung - ob das FAT, NTFS usw. ist, ist ja völlig egal (ich brauche unter Linux dafür ja keinen ntfs-Treiber). Relevant wäre es bei Lokaler Nutzung. Eher wäre interessant ob das Netzlaufwerk so richtig eingebunden wurde. Wenn ich rumgoogle finde ich auf jeder Seite eine anderes aussehende Mount-Zeilen. Einen "Standard" für Windows (Win2k8R2)-Netzlaufwerke scheint es nicht zu geben....

Aktuell ist das System

Habe iperf auf beiden Systemen per Standard genommen. Vermutlich andere defaultwerte die das Ergebnis etwas verfälschen.

Ich werde dann asap mal CPU-Last und swap prüfen.

Ergänzung (21. Januar 2015)

Ich ziehe gerade 3 Files mit zusammen 25GB via LAN auf den Linux-Desktop. Nutze dafür pcmanfm als Dateimanager.

Hab das System jetzt erstmal zu ruhe kommen lassen.

htop
Load: 0.05 | 1.06 | 1.77 fallend
Core1-4: je 0.0-0,9%
Mem: 471/7731MB
Swp: 0/7932MB

Start:
htop
Load: schnell auf 1.45+ | 1.15+ | 1,78+ (und steigend)
Core 1-4: schwer zu sagen - 1: min. 15% bis hoch 23%. Die anderen 6-14% - alles stark schwankend
Mem: 491/7731MB
Swp: 0/7793MB

Nload:
Avg. 460Mbit/s ... max. 742Mbit/s ... das sind ca. 57Mbyte/s bzw. 92Mbyte/s. Das sollte das mögliche sein - bei der Quellfestplatte.

Load ist übriges mittlerweile bei 3+

Jetzt starte ich den Firefox:
gefühlt min. 30sek bis sich überhaupt was tut!
Danach aufbau der Ubuntu-Google-Startseite ... auch ca. 1-2sek
Suche nach "test" - 1-2sek bis aufbau

Htop merkt davon aber kaum was.

Ok ... ich komme der sache näher.
Ü-Rate ist OK
Das Problem scheint der HDD-Zugriff lokal zu sein. Der zieht das ganze system runter wenn ein Download auf die gleiche HDD erfolgt. Die HDD is nicht mehr die beste. Aber trotzdem halte ich das verhalten für Extrem. Ich habe das unter meinen Windows-System (ähnlich oder schwächer bestückt) nicht so extrem. Mein Laptop am LAN und mit HDD (jetzt SSD), hatte damals nicht so probleme. Kopieren im Hintergrund und Surfen lief.

Das Last-Thema (Last auf dem Server) ist etwas schwerer nachzuprüfen. Ich habe dann ja mitten im Film aussetzer. Wenn ich von der gleichen HDD gucke (Streame) wo auf dem Server Last ist, ist die Ürate bei ca. 50Mbit ... damit kann ich theoretisch ne bluray von dort abspielen. ABER wenn die Rate runter geht, ist natürlich der Puffer vom Zielsystem gefragt (der sollte ja, wenn leer ist, mit max. möglicher Geschwindigkeit ziehen um den Puffer zu füllen). Hier scheint es ja zu hapern. Unter Windows klappt das besser als unter Linux (VLC @ Linux; MediaPlayerClassic HC @ Win).

Ich müsste also diese Puffer-Eigenschaften verbessern. In VLC hatte ich da schon was höher gestellt - aber nix (richtig?)

Mhhh

Glaub viel könnt ihr mir hier wohl nicht helfen. Wenn ich das passende Gehäuse habe, wird der Linux-Desktop mit SSD und einer neuen HDD ausgestattet und neu gemacht. Das wird vermutlich schon das ein oder andere Problem lösen. Aktuell wäre halt das Puffern interessant - das muß besser werden und die extremen HDD-Zugriffe.

Gruß
Patrick

 

[bof]

Ich denke auch, dass es mit der Festplattenperformance zu tun hat. Die Schreibrate der Festplatte ist niedriger als die Netzwerktransferrate. Deshalb auch das langsame System beim kopieren übers Netzwerk!

Sind die Probleme auch vorhanden, wenn die Netzwerkfreigabe nicht über Fstab eingebunden wird? Also wenn du normal über den Dateimanager die Netzwerkfreigabe öffnest und du eine Datei vom Server auf Ubuntu-Rechner kopierst? Dann könnte man es auch mit normalen Mountbefehl einbinden (und später dann automatisch über rc.local einbinden lassen).

sudo mount -o username=ABC,password=ABC //IP-Adresse/Freigabe /home/User/XYZ/

Was du noch probieren könntest wäre Ubuntu über einen (schnellen) USB-Stick als Live-System starten und dann mal vom Server etwas auf die HDD kopieren. Dann wird man sehen ob es wirklich an der System-HDD liegt.

Und sicherheitshalber die Netzwerkkonfig mit ethtool

sudo ethtool eth0

überprüfen, ob die auf 1000Mbit Fullduplex etc. sind.