Neues NAS - unbefriedingende Leistung

[pho3niX]

Hallo zusammen,

heute sind die Teile für mein neues NAS gekommen.

• Intel Celeron 430 (1,8GHz)
• Gigabyte GA-G41M-ES2L
• 1GB DDR2-800 von Elixir
• 2x WD Caviar Green 2TB

Alles zusammengebaut und FreeNAS auf einer CompactFlash-Karte installiert. System läuft, Hardware wurde erkannt (Netzwerkkarte @1000baseTX).

Die beiden WD-Platten sind als Software-RAID1 eingerichtet, zum Bereitstellen laufen sowohl Samba- als auch FTP-Server.

Nun zu mein "Problem": Der Download vom Server erfolgt mit angenehmen 40-50MB/s bei ~70% CPU-Auslastung. Der Upload will dagegen nicht über 15MB/s hinaus, obwohl sich die CPU mit ca. 30% Auslastung nicht überarbeitet.

Woran kann das liegen und wie kann ich die Upload-Rate erhöhen?

Danke schon mal und einen schönen Abend

 

[kenen]

Zum einen stellt sich die Frage, ob auf beiden Systemen Jumbo Frames aktiviert sind und zum anderen ist die von dir eingesetzte Hardware natürlich ziemlich schwachbrünstig. Ein Bottleneck könnte z.B. auch der SATA Controller auf dem Board sein.

Hast du das Schreiben auf dem NAS schon einmal lokal getestet?

 

[gehacktesmacher]

Bei FTP und Samba gleich schlechte Uploadrate von 15MB/s ?
Bei Samba könnte man den send/receive buffer erhöhen.

Aber wenns bei beiden gleich "schlecht" ist, dann dürfte es nen anderes Problem sein.

 

[bu1137]

Hast du ev. Platten aus der EARS Serie mit 4KB Sektorgrössen?

 

[pho3niX]

@kenen: Woran erkenn ich, dass Jumbo Frames aktiviert sind? Lokales Schreiben habe ich noch nicht ausprobiert.

@gehacktesmacher: Die Leistung zwischen Samba und FTP unterscheidet sich nicht wirklich. FTP scheint etwas (~2MB/s) schneller zu sein.

@bu1137: Ja, das sind Platten der EARS-Serie? Was hat das damit zu tun?

 

[impressive]

"und zum anderen ist die von dir eingesetzte Hardware natürlich ziemlich schwachbrünstig. "

ROFL

in meinem NAS steckt ein P3 mit 733 mhz und ich komme deutlich über 80 MB/s.
an der cpu liegt das auf gar keinen fall, SATA auch nicht.

software-raid würde ich tippen, habe jedoch keine erfahrung damit.

 

[Robo32]

EARS-Serie arbeitet mit einer anderen Blockgrösse und ist etwas langsamer - daran liegt es aber nicht.

Teste es ohne Raid.

 

[kenen]

@impressive:

Netiquette...

Zum anderen: Nutzt du einen Software Raid mit Raid 1 der Live 2 Platten synchronisiert und ggf. noch Logfiles auf eine CompactFlash Disk schreibt?

@pho3nix:

Wenn du Zugriff via SSH hast, sollte dir der Befehl

ifconfig

Einen "mtu", d.h. Maximum Transmission Unit, nennen, dieser sollte bei JumboFrames einen Wert zwischen 1500 und max. 9000 haben.

Ändern kannst du den Wert (als root) via:

ifconfig <netzwerk device> mtu 9000

wobei <netzwerk device> z.B. eth0 oder net0 wäre.

 

[bu1137]

@bu1137: Ja, das sind Platten der EARS-Serie? Was hat das damit zu tun?

Wenn du die nicht richtig partitionierst, sind sie kacke lahm im schreiben. Du musst die partition auf 4KB Blockgrenzen ausrichten.

 

[Robo32]

@bu1137

Du hast recht, aber ein Einbruch von ~70% lässt sich damit noch nicht erklären.

 

[gehacktesmacher]

Ich hatte ursprünglich auch mal im Kopf ein Software RAID5 mit FreeNAS aufzubauen. Blöderweise hatte meine aber doch relative neue FreeNAS Version die ich verwendet habe leider keine guten Treiber für den SATA Controller. Die waren auf einem UDMA Mode begrenzt und eine höhere Einstellung war mit dem Treiber nicht möglich.

Ich bin dann zu Ubuntu gewechselt, auch weil man mit dem System einfach mehr machen kann als mit FreeNAS wenn einen mal der Teufel reiten sollte

Also ich hab ein Atom mit 4GB RAM unter Ubuntu im Einsatz, 4,5TB RAID5 mit Highpoint R2310 PCI-E Controller. Beim sequenziellen Lesen/Schreiben ist die Gigabit Leitung ausgelastet, also so 120MB/s.

 

[pho3niX]

So hab jetzt mal wieder etwas rumprobiert.

Als erstes das RAID gekappt und die Platten "normal" eingehängt.

Ein diskinfo -t /dev/ad4 brachte folgendes:

Transfer rates:
        outside:       102400 kbytes in   1.022423 sec =   100154 kbytes/sec
        middle:        102400 kbytes in   1.187914 sec =    86202 kbytes/sec
        inside:        102400 kbytes in   2.122250 sec =    48251 kbytes/sec

Ausreichend Durchsatz ist also da.

Festplatteninfo

Device /dev/ad4 - WDC WD20EARS-00S8B1/80.00A80
Device name:		ad4
Transfer mode:		SATA150
Firmware Rev:		80.00A80
ATA revision:		ATA-8
LBA 48:			yes
Geometry:		16383 cyls, 16 heads, 63 spt
Capacity:		1863GB
SMART Supported: 	yes
SMART Enabled: 		yes
APM Supported: 		no
AAM Supported: 		yes
AAM Enabled: 		no

Komisch, dass der Transfermode SATA150 ist, vielleicht ist da irgendein Jumber falsch gesetzt. Trotzdem dürfte das nicht das Problem sein. UDMA133 ist allerdings aktiviert.

Bezüglich Jumboframes:
MTU liegt bei 1500, höhere Werte lassen sich nicht einstellen (->Illegal Argument)

Transferraten liegen jetzt in beiden Richtungen bei ca. 23MB/s bei 30-40% CPU-Auslastung.

Die Festplatten mit 4KB Blockgröße formatieren habe ich noch nicht gemacht, allerdings bin ich mir nicht sicher, wie ich das anstellen soll...

 

[alffrommars]

jumboframes nützen dir eh nix oder hast du so ein teures switch was das erstmal überhaupt unterstützt?

und an dem sata1 modus liegts auch nich, hab nen raid controller der nur sata1 kann und komme mit all meinen platten bis auf 60mb/s, sowohl sata1 als auch sata2.

 

[pho3niX]

So, ich denke, ich hab's jetzt

Erstmal hab ich die Platten mit 4KB Blockgröße formatiert. Dabei bin ich nach dieser Anleitung vorgegangen.

Und dann noch die Samba mit

socket options = TCP_NODELAY SO_RCVBUF=8192 SO_SNDBUF=8192

konfiguriert und "Enable large read/write" aktiviert.

Jetzt komm ich auf ca. 66MB/s in beiden Richtungen bei ner CPU-Auslastung von >90%

Ob das auch mit RAID1 funktioniert werd ich noch testen müssen.

Auf jeden Fall vielen Dank für die Unterstützung!

Edit: RAID1 scheint jetzt auch zu funktionieren. Schreiben geht zwar jetzt nur noch mit 45MB/s, dafür Lesen mit ~75MB/s.