Windows Server 2012 R2 Eigenbau NAS mit Hyper-V macht Probleme

flo36

Captain
Registriert
Sep. 2007
Beiträge
3.642
Hallo und guten Abend,
wie im Titel kurz beschrieben habe ich ein Problem und einige Fragen zu meiner Hyper-V Umgebung.

Kurz zur Hardware:
CPU: Xeon E3-1231 V3 4C/8T 3,4 GHz vorher G3220 aber ich dachte die sei zu schwach.
Mobo: Supermicro X10SLL-F
Ram: 16GB
OS: Winserver 2012 R2
RAID Controller: HP Smart Array P400 mit 256MB Cache + Batterie.

HDD Aktuell: 256GB Kingston SSD, 2*2TB WD Green Winserver Software RAID1, 8x250GB Seagate und WD Platten RAID6 am P400
HDD Ziel: 256GB Kingston SSD, 8x3TB WD Red am P400

Eigentlich wollte ich einfach ein Windows Software RAID5 über die 8 Platten spannen, da ein RAID6 nicht möglich war. Hier war die Performance allerdings Katastrophal und auch die Storage Pools änderten daran sehr wenig.
Das nächste Vorhaben war dann eine Installation von OpenMediaVault oder Xpenology (Da ich das DS1813+ damit ergänzen bzw. langfristig ersetzen wollte) in einer VM und das Durchreichen der Platten direkt in die VMs um diese dann als iSCSI Ziel wieder in Windows als Datenspeicher zu verwenden.
Hier langweilte sich dann zwar die CPU lt. Prozessinfo der Systeme aber anscheinend war der VSwitch von Hyper-V mit der Datenverarbeitung überfordert.
In dieser Konstellation waren die Platten noch an einem Host Bus Adapter angeschlossen(also nicht am P400). Die Performance des RAIDs konnte ich im System leider nicht testen, aber die Initialisierungsgeschwindigkeit unter OMV lag bei knapp 210 MB/s.
Daraus wurden dann aber im Netzwerkverkehr über Samba oder iSCSI zwischen 40 und 60 MB/s. Am Hyper-V selbst war hier der Prozess Systemunterbrechungen teilweiße bei 20% CPU Last während der Datenübertragungen.

Dies liegt anscheinend aber an der mangelnden Unterstützung der Virtuellen LAN Karte im Linux. Den Tipp mit der Aktivierung von SR-IOV habe ich angewendet, hat aber leider nichts gebracht.

Damit war dann das Thema Software RAID leider erledigt und ich habe mir einen HP P400 zugelegt.
Hier liegt die Performance nun bei 270 MB/s lesen und 137 MB/s schreibend.
Der Cache am Controller wurde 90% lesen / 10% schreiben aufgeteilt und ein Verändern dieser Parameter führte zu keiner Änderung(deaktivierung des Cache führte zu 20 MB/s). Auch den Cache der Festplatten habe ich reaktiviert um in den Genuss von mehr als 100 MB/s zu kommen.

Mein Problem ist nun: Ich wollte eigentlich ein Linux MDADM Software RAID6 um nicht an Hardware gebunden zu sein.
Das musste ich leider verwerfen, da dies Virtualisiert anscheinend ein unmögliches Unterfangen ist.

1. Frage: Gibt es irgendwelche Tipps oder Tricks wie man die Performance von Linux im Netzwerk in einer VM erheblich verbessern kann sodass mehr als 200 MB/s schreibend dabei raus kommen (Der Hyper-V Vswitch stellt immerhin 10 Gbit/s intern zur Verfügung)?
2. Frage: Habe ich mir vom HP Smart Array vielleicht einfach zuviel erwartet und benötige einen neueren bzw. besseren Controller?
3. Frage: Wird der Controller mit den WD RED 3TB eventuell schneller aus irgend einem Grund?
4. Frage: Setze ich eventuell den falschen Hypervisor ein?

Zusatzinfo: Ich habe auch VMWare ESXi 5.5 bereits getestet und auf Grund der noch schlechteren RAID Leistung in Linux VMs wieder verworfen.
Die Festplatten aus dem DS1813+ wollte ich erst entnehmen wenn alles so läuft wie es soll und alle VMs auf den 250GB Platten vorbereitet wurden.

Ziel: Ein VM Host auf dem ein Win8 als 24/7 PC Remote erreichbar ist. Ein Linux oder Win als Datenlager, Medienserver mit Plex und einer Cloudlösung (wie Synology Cloudstation).
Mit dem HP P400 wäre dies alles auch möglich aber ich möchte im Netzwerk eben den Luxus der vollen Gbit LAN Geschwindigkeit nicht verlieren. Hier wurde ich durch die Synology DS1813+ extrem verwöhnt.
Am liebsten wäre mit eine fertige kleine Linux Distri gewesen in dem ein MDADM Raid läuft und über KVM die VMs erstellt bzw. verwaltet werden. (Gibts aber anscheinend nur bei Qnap)

Möglichkeiten: Ich kann den Hypervisor wechseln. Solange es ein Frontend (Gui oder Webinterface) gibt sollte es machbar sein.
Natürlich aber auch eure Vorschläge, sonst würde ich nicht fragen:D.

Ich bin leider mit meinem Wissen am Ende und hoffe, dass jemand von euch eine Rettende Idee hat.
Vielen Dank für eure Hilfe!!

Liebe Grüße und schönen Abend noch,
Flo

Anhänge:
1. RAID6 Performancetest mit AS SSD Benchmark as-ssd-bench HP LOGICAL VOLUM 21.02.2015 04-49-00 MB.png
 
Bitte wie?
Soll vermutlich Spam sein oder manu?

Danke DHC: hab ich nachher auch bemerkt^^

Ich brauch aber trotzdem Hilfe bei dem Problem :D
 
Zuletzt bearbeitet:
2 Posts.
Jedesmal das gleiche.

Der will Dich nur verarschen.

Da muss man nur 1 und 1 zusammen zählen.

;-)
Ergänzung ()

flo36 schrieb:
Bitte wie?
Soll vermutlich Spam sein oder manu?

Danke DHC: hab ich nachher auch bemerkt^^

Ich brauch aber trotzdem Hilfe bei dem Problem :D

Ich würde Dir gerne helfen, wenn ich könnte.

Ich bin mir sicher, das es jemand gibt, der Dir weiter helfen kann.
 
Hi flo36
Mein Homeserver läuft auf ähnlicher Hardware-Basis wie deiner: Xeon 1235, 32GB + HP P410 (nur 8*2TB (wd green) RAID 5)
läuft 24/7 als HyperV-Host für u.a. web-, file-, backup-, torrent-, media-... server

Ich hab meine ca, 1 Jahr lang mit ESXi betrieben, da ich ein Desktopboard verwende, hab ich dann auf WinServer 2012 R2 gewechselt, Windows kann mit Desktop-Hardware einfach besser.
Fileserver: in VM hats nie so wirklich geklappt, Geschwindigkeitsmässig vorallem, da durch die Schnittstelle zur VM meistens an Speed eingebüsst wurde. Mit WinServer als Host würde ich die Freigaben darüber realisieren. (Hatte schon Kopierwerte von ~1GB/s)
was auch toll ist: Windows nutzt den nichtbenötigten RAM ohne Konfigurieren als HDD-Cache :)

Zu deine Fragen:
1. Wie ist dein Server denn ans Netz angebunden, dass dir 200MB/s nicht reichen?
2. ne, der sollte reichen ... wird halt kein SATA3 haben, aber das ist verschmerzbar
3. Der Controller wird nicht schneller, aber die WD RED sollten schneller sein als die Seagate 250GB-Platten
4. vielleicht, ja ... aber WinSrv hat halt den Vorteil, dass du auch noch Server auf dem Host laufen lassen kannst, das geht bei ESXi schlecht ...

gruss jumpin
 
Vielen Dank für deine Antwort.

Naja hauptsächlich gehts mir darum, dass mir das RAID selbst mit 270/140 MB/s etwas zu langsam vorkommt für mehrere VMs. Ist einfach so, dass meine DS1813+ 352/212 MB/s schafft mit nem Atom^^.
Vielen Dank auch für den Tipp mit dem Fileserver. Gerade das wollte ich aber eigentlich in Linux auslagern^^
Das mit dem Ram nervt mich allerdings auch irgendwie. Vorallem bei Stromausfällen kann das zum Problem werden.

1. Mein Server ist derzeit über 2x 1 Gbit/s angebunden aber ich wollte noch 2x 1 Gbit/s einbauen um was für die VMs direkt zu haben.
2. Ja solange ich keine SSDs anhänge sollte der reichen. Sind meine ich lauter SATA 1 oder 2 Anschlüsse.
3. Ok ich dachte mir schon, dass es nichts bringen wird. Da wird vermutlich die PowerPC CPU am Controller selber am Ende sein.
4. Stimmt ja da hast du recht. Ich werde das mal als Vorteil beachten^^
 
Hi

Hab mal den AS-Bench bei mir laufengelassen, ich komme auf 530/460 MB/s.

RAM: Inwiefern nervt dich das bei Stromausfällen?
RAID: Wieso ist dir das zu langsam für mehrere VM's? Die VM's laufen ja auf der SSD, oder? Und die müssen ja nicht alle gleichzeitig aktiv auf die Daten zugreifen ...

Gruss - jumpin
 
Nunja 530/460 MB/s hört sich schon bedeutend besser an und ist auch eher das was ich erwartet habe von einem RAID Controller.

RAM: Nunja wenn Daten im Ram gecached werden und der Server abschmiert wegen eines Stromausfalls sind die Daten inkonsistent. Das könnte ein Problem sein aber ist im Moment kein Problem.
RAID: Nunja die Betriebssysteme der Server laufen auf den Festplatten stimmt aber wenn mehrere Server auf das Datenraid zugreifen wird die Bandbreite trotzdem schnell zu wenig. Derzeit sollte es aber reichen, da hast du recht.
 
inkomsistente Daten hast du nur bei einem Schreibcache, der ist aber nicht automatisch aktiv sondern muss separat aktiviert werden.

Wenn die Betriebssysteme der Server auf den Festplatten laufen, würde ich eher eine zusätzliche SSD für die VMs kaufen (wenns wichtig ist auch 2 im RAID1) als über einen neuen RAID-Controller nachdenken.
RAID-Systeme sind generell schlecht was wahlfreien Zugriff anbelangt, wenn ich bei mir zwei Dinge gleichzeitig aufs RAID kopiere, bricht die Geschwindigkeit stark zusammen, und ein Betriebsssystem muss ja dauernd irgendwelche Dinge von der Systemplatte lesen/schreiben ...
Wenn du in einer VM viel Speicher benötigst, kannst du ja immer noch eine zweite virtuelle Festplatte im RAID (oder auf deinen 2TB-WDGreen) dafür anlegen und einbinden. (bei mir sinds z.B. die WSUS-Daten)

Das mit dem Gleichzeitig stimmt, ja. Aber brauchen Mediaserver und die Cloud wirklich beide Gleichzeitig vollen Speed? und sind da nicht jeweils die Hosts nur mit GBit-Lan angebunden, also eh maximal 125 MB/s? ;)

(Btw: du schreibst gerne "Nunja" ;))
 
hehe jup^^ hab ich mir irgenwie hier angewöhnt.

Komischerweiße ist bei mir der Schreibcache von Server 2012R2 aktiv und ich finde keine Möglichkeit zur deaktivierung. Wenn ich Daten vom Standpc auf den Hyper-V kopiere wird das RAID belastet und ca. 8 GB vom Ram als Schreibcache verwendet. Das wird dann nach und nach abgebaut bis die Ramauslastung wieder normal ist.
Cloud und Mediaserver brauchen hoffentlich nicht gleichzeitig vollen Speed. Aber vor allem bei Backups kann das etwas knapp werden.

Da ich aber im Standpc bereits 3x 1 Gbit NICs verbaut habe und mit Win8 + Server 2012 Multipath funktioniert. Ist die Raidleistung leider der Flaschenhals. Wobei natürlich auch die WD Red mit 5400 Upm schnell ins IO und auch ins Bandbreitenlimit laufen.
 
Schreibcache deaktivieren: Gerätemanager -> Eigenschaften des Volumes/der Festplatte -> Richtlinien ...
Zumindest ist bei mir die Option dort ...
 
Der P400 ist lahm, die Platten sind lahm, RAID6 ist lahm. Du musst an den drei Dingen schrauben, sonst wird die Performance nicht besser.
 
Öhm ja ok, dass der P400 lahm ist hab ich verstanden. Wo genau die Festplatten und RAID6 lahm sein soll verschließt sich mir aber. Schon klar, dass ich keine Ramdisk oder einen SSD Verbund habe.

@jumpin: Vielen Dank, werde ich daheim gleich mal probieren ob ich das wo finde.
 
Die WD Red sind Platten für ein Datengrab und nicht für einen Hyper-V-Server. Die sequentielle Datentransferrate mag noch OK sein (da limitiert eher der P400), die IOPS sind es ganz sicher nicht. RAID6 ist für einen Hypervisor die schlechteste RAID-Variante, man will eigentlich RAID10. Du erwartest von deiner Konfiguration schlichtweg eine Performance, die sie so nicht liefern kann.

Wenn du magst kann du Ausgabe des HPACUCLI vom Befehl "controller all show config detail" posten, da kann man sehen, ob der Controller alle Caches korrekt benutzt.
 
RAID Level 5 + 6 sind aufgrund der verteillt geschriebenen Checksummen gerade beim Schreiben ziemlich träge...

Verglichen mit RAID 10 sind gerade die Parity Level beim Schreiben ziemlich träge, sollte man auch eher von abraten
 
Ich erwarte hohe sequentielle Datenraten für mein Datengrab. Daher auch das RAID6 und die 5400 Umdrehungen Platten.
Die Hyper-V Server laufen sowieso auf der SSD bzw. zukünftig vermutlich dann den SSDs^^ Das sollte aber oben klargestellt sein.
Die Caches sind denke ich schon richtig eingestellt. Zumindest habe ich so das Maximum bisher erhalten, aber ich werde die Einstellungen mal posten.

Ich habe derzeit die 8 WD Red in einer DS1813+ und da passen die Lese und Schreibraten bei einem RAID6.
 
Zuletzt bearbeitet:
Beim Lesen hast du die ja auch (weswegen etwa beim MSSQL Server Bestpractice ist RAID 10 zu nutzen anstelle von RAID 5 oder RAID 6)
 
Ja das ist klar. Aber auf meinem Mysql Server liegt momentan nur eine winzige Datenbank mit ein paar tausend Datensätzen. Die meiste IO Performance wird der Clouddienst brauchen und da reicht die der DS1813+ auch.
Außerdem kann ich diese natürlich auch wieder auf eine SSD legen und regelmäßig sichern.

Die Vor und Nachteile der verschiedenen RAID Varianten sind mir durchaus auch bekannt aber trotzdem danke für die Anwendungsbeispiele.
 
Zuletzt bearbeitet:
Wenn du hohe sequentielle Performance haben möchtest, warum benutzt du dann einen so alten Controller? Der P400 ist 2006/2007 rausgekommen, wenn ich mich recht erinnere. Der unterstützt nicht einmal SATA2.
 
Für mich ist hohe sequentielle Performance schon der bereich zwischen 200 - 300 MB/s schreibend. Lesen ist mir noch vergleichsweise egal. Da dachte ich, dass ein P400 doch mithalten kann.
Da habe ich mich aber offensichtlich sehr getäuscht.

Ich habe nun nach und nach auch schon herausgefunden, dass einfach die RAID 5 und 6 Modi die Leistungsbezogenen Grenzen des Controllers aufzeigen.
Bei einem RAID0 mit 4 von den 250GB Festplatten erreiche ich z.b. 250 MB/s beim Lesen und 300 MB/s beim schreiben.
 
Hallo @flo36 ,

ich überlege einen Server zu einem ähnlichem Zweck wie deinem aufzusetzen. Was ist aus deinem Server geworden?
 
Zurück
Oben