Server Bau für Virtualisierung

[VirtuaLia]

Hallo zusammen,

ich möchte mich demnächst nach meinen ganzen Renovierungsarbeiten wieder mehr meinem Hobby widmen und zugleich ein neues Thema aneignen und testen - Virtualisierung. Da ich wirklich einiges testen werde (Software aus dem TechNet Abo) muss es einige Server geben. Am liebsten hätte ich so ein Szenario wie vmware mal auf einer Messe gezeigt hatte. Zwei Virtualisierungs-Racks mit ca. 50-60 VMs pro Rack für Entry Level.

Folgende Komponenten habe ich für meinen ersten Server vorgestellt:

CPU: Intel Xeon E3-1220
Mainboard: Intel® Server Board S1200BT
Ram: ADATA DIMM 32 GB DDR3-1600 Kit
Speicher: 2x - Hitachi HDS5C3030ALA630 3 TB

Meine Fragen die ich an euch Spezialisten habe:

1) Unterstütz das Mainboard diesen Speicher ? Link zu Intel
- Wenn nicht, könnt ihr mir einen Link zu einem Shop geben wo ich die passenden Module finde, 32GB sollten vorhanden sein

2) Was haltet ihr von den Festplatten ? Meint ihr ich sollte das aufteilen, eher eine 3TB Platte wo die ganzen VMs liegen + eine SSD für die Virtualisierungsplatform(Hyper-V Server oder VMware ESXi) wo auch die ISO Images liegen die zu verteilen sind zum Server Setup

3) Das Mainboard hat ein VGA Anschluss. Unterstützt die CPU diesen sodass ich nicht extra eine Grafikkarte kaufen muss ?

Generell ist die Frage, könnt ihr mir günstig ein System empfehlen mit 64GB Ram und 2 CPUs?

Budget für den Server liegt bei 2000 Euro.

Vielen Dank und noch einen schönen Abend.

 

[AlexLi]

Bei den Festplatten würde ich dir zu mehreren, kleineres raten:
Diese kann man dann im RAID-Verbund laufen lassen, und so sicher stellen, dass keine Daten abhanden kommen, wenn eine Festplatte mal den geist aufgibt.
Gerade bei so größeren Datenmengen, welche mehr oder weniger wichtig sind, wäre das eine halbwegs intelligente Lösung.

So weit ich weiß, haben viele Xeon Prozessoren keine integrierte Grafik (Weiß leider nicht mehr genau, welche). Kann aber auch sein, dass ich mich irre.

 

[Rego]

50-60 VMs gleichzeitig ist VÖLLIG unrealistisch
mit nur 2 HDDs sind denk ich performant maximal 2-3 VMs gleichzeitig drin

Für VMware würde ich am Besten nen HP Proliant Server nehmen (oder anderen zertifizierten). Da hast Du am wenigsten Probleme bei der Installation mit den Treibern.

 

[VirtuaLia]

Bei solchen Server (HP,Dell) zahle ich aber auch nen haufen Preis für wenig Leistung.
Das Intel Mainboard ist ja für Server, da sollte ich mit den Treibern keine Probleme haben.

Bezüglich den HDDS: Ja da nehme ich vielleicht doch kleinere Platten, dafür mehrere. Die VMs laufen ja nicht gleichzeitig mit Vollast. Davon werde ich vielleicht 4-5 voll ausnutzen, der rest wird eine spielerei sein.

Was mir bei Dell und HP gefällt ist das DRAC bzw. iLo, aber ich denke das werde ich nirgends einfach so günstig bekommen, wäre aber auch nur ein nice2have.

Und Rego, ich habe eine 500GB HDD SATA 7k da laufen auf meinem derzeitigem System 5VMs gleichzeitig ohne große Performance-schwächen.

PS: Ich würde auch ein anderes Mainboard nehmen was mit so einer Konfig passt. Wichtig ist das zwei Ethernet-Ports vorhanden sind und das darf kein Desktop-Müll von Intel und Co sein, denn ESXi und Hyper-V unterstützen zum größten Teil NUR Server-Nics wie Intel Pro1000MT oder so.

 

[Masamune2]

Welchen Hypervisor willst du denn einsetzen? Bei VMware würde sich der ESXi anbieten und der schränkt dich etwas ein:
- Netzwerkkarte mit VLAN fähig sein: Intel Desktop Karte für 20 EUR kaufen
- Raid Controller muss ein Hardware Raid sein: Einfachen Intel Raid Controller wenn du kein Raid 5/6 willst; Besseren Controller mit Batterie wenn du etwas mehr damit machen willst.

Eine SSD fürs System ist absolut unnötig, das System kannst du sogar auf eine SD Karte packen. Gleiches gilt für die isos.

Die Boards haben alle onboard Grafik, mehr brauchst du nit.

Bei dem Budget könntest du dir überlegen gleich einen "richtigen" Server von einem der großen Anbieter zu nehmen. Die laufen garantiert stabil, werden von VMware/Microsoft/Citrix voll unterstützt und bringen die nötige Hardware was Netzwerk und Raid angeht schon mit.
Sparen kannst du hier noch etwas wenn du den RAM nicht vom jeweiligen Hersteller sondern direkt von z.B: Kingston holst. Bei HP funktioniert das sehr gut und wird sogar offiziell supportet.

Edit:

Wichtig ist das zwei Ethernet-Ports vorhanden sind und das darf kein Desktop-Müll von Intel und Co sein, denn ESXi und Hyper-V unterstützen zum größten Teil NUR Server-Nics wie Intel Pro1000MT oder so.

"Desktop-Müll" gibt es nicht. Der ESX unterstützt alle gängigen Karten die VLANs können, auch die 20 EUR Desktop Adapter von Intel.

 

[Rego]

Was machen die VMs genau? Ich habe hier zu Hause nen Hyper-V System mit zwei virtuellen Servern am Laufen. Der Hyper-V Server ist 2008R2 DC. Die VMs sind 2003R2 mit Exchange 2007 und WSUS. Im Server selbst sind 10 HDDs und die VMs sind auf den HDDs verteilt.

Im produktiven Einsatz habe ich u.a. noch ein kleineres VMware-System mit zwei Hosts und nem shared SAS-Storage (HP MSA2324 mit 12 2,5" 15k SAS-HDDs). Bei diesem System ist bei ca. 20 Systemen IO-mäßig schluss. Darüber merkt man in Einzelfällen Performanceeinbrüche.

 

[Joe Dalton]

MoinMoin,

50-60 VMs gleichzeitig ist VÖLLIG unrealistisch
mit nur 2 HDDs sind denk ich performant maximal 2-3 VMs gleichzeitig drin

Für VMware würde ich am Besten nen HP Proliant Server nehmen (oder anderen zertifizierten). Da hast Du am wenigsten Probleme bei der Installation mit den Treibern.

Es ist völlig egal, wieviele VMs auf dem Rechner laufen. Spannend ist lediglich, was die jeweiligen VMs machen (sollen). Für Testzwecke lasse ich hier in der Vmware Workstation ein halbes Dutzend Windows Server 2k8r2, ein W7 bzw. WXP und eine ASG laufen. Das ganze mit 8 GB RAM und einer SSD. Das ganze ist ausreichend flott, um bestimmte Konfigurationen im AD oder mit anderen Serverrollen auszuprobieren. Nebenbei laufen auf dem Notebook auch noch Browser, Notes und andere Dinge.

Sofern also der TE nicht sagt, was genau auf den VMs laufen soll, wird ihm keiner beantworten können, was er braucht.

Was die Treiber angeht: Windows Server ist da recht flexibel. "Richtige" Serverhardware würde ich für die private Spielwiese nicht kaufen (Preis/Leistung). Je nachdem was an I/O gebraucht wird, sollte ein gutes RAID oder ein paar SSDs ausreichend sein. CPU kann Standard (Desktop) sein und beim Speicher kommt man mit 32 GB schon recht weit (in Kombination mit SSDs).


Anders sieht es natürlich aus, wenn er einen Produktivbetrieb auf der Kiste fahren will.


Cu,
Chris

 

[JanR]

Hi,

was ich nicht verstehe: Du planst professionelle Server-Hardware und willst da keinen ECC-Speicher draufbauen?

Ansonsten: Bei Virtualisierung ist RAM durch nichts zu ersetzen! Ich halte die Platten weniger fuer den Engpass, denn deine VMs werden ja nicht alle permanent drauf rumroedeln. Wenn du wenig Platten-IO hast, dann gehen auch mit einem Rechner ziemlich viele VMs. Wir haben auf Arbeit unter KVM auf einer Kiste (4 Jahre alte AMD-IBM mit 28 GB RAM) momentan 11 oder 12 VMs im produktiven Einsatz zu laufen - an dem Ding haengen nur zwei Platten im HW-RAID 1.

Ich wuerde eine Plattform nehmen, die viel billigen Speicher erlaubt. Eine moegliche Richtung waere ein AMD 6xxx System mit 2 CPUs. Diese CPUs gibt es recht guenstig, das Board dann von Supermicro und dazu dann DDR3 ECC REG - da gibt es 8 GB ziemlich guenstig. Da diese CPUs je 4 Kanaele haben, hast du in so einem System 8 Kanaele und damit jede Menge Ausbaufaehigkeit - anfangen kann man ja mit einer CPU und 4x8 GB, spaeter koennte man daraus 2 CPUs mit bis zu 16x8 GB machen.

Aehnliches geht auch mit Intels Sockel 2011, aber da duerften die Preise deutlich hoeher sein.

Was ESXi und Desktop-Boards angeht: Die normalen e1000 PCIe Desktop-Karten funktionieren problemlos, ebenso tut es eine ganze Reihe von modernen Desktopboards (das waere dann die ultrabillige Alternative, die fuer deinen Zweck vielleicht auch schon reicht). Die aktuellen Intelchipsaetze mit den aktuellen Intel NICs tun auf jeden Fall mit ESXi.

Viele Gruesse,

Jan

 

[VirtuaLia]

Ok, schonmal vielen Dank für eure Antworten, anbei eine Info was auf den VMS gemacht werden soll:

VM1 = W2k8 R2 ADDC + ADCS(Certificate Services) + DNS
VM2 = W2k8 R2 DHCP + WSUS
VM3 = SQL 2012
VM4 = Exchange 2010
VM5 = APP-V Tests
VM6-10: W7 + XP Clients
VM11-VM20: Tests fürs verteilte Video Encoding (wirklich reine spielerei), ansonsten weitere Serverdienste wie IIS,Windows MediaServer, zweiter DC, FileServer, ForeFront Gateway,..., Spielerein mit Debian,SuSE,MySQL Clustering usw. sind auch geplant

Nachdem man ESXI und HyperV ja in einem Hypervisor nun auch einrichten kann, könnte ich so in einer VM nochmals Hyper V oder ESXi installieren und testen (ich weiß macht generell keinen Sinn aber zum testen ist es ja ok)

Die FileServer sollen dann daheim aber richtig verwendet werden, d.h. echte Clients(Desktop PCs) werden alle Downloads usw. auf den FileServern speichern

PS: Bringt es eigentlich etwas wenn man einen leistungsstarken server mit vielen VMs hat die dann Video-Encoding durchführen ?

So ich hoffe ich konnte helfen. Wie gesagt das System sollte so günstig wie möglich sein, muss nicht unbedingt Serverhardware sein, es sollte für das Budget soviel Power rein wie möglich.

Vielen Dank nochmal!

 

[metalpinguin]

Guck dir mal die Supermicro 2 HE 8 HDD Server an mit intel VT-D und dann einer VM mit ZFS und Solaris als Fileserver dort kannst du dann SSD-Caching usw. machen mit richtig hdd power und raid sicherheit

 

[Masamune2]

Wenn ich mir deinen Rechner in der Signatur so anschaue warum bringst du den nicht einfach auf den aktuellen Stand und nutzt den dafür? Aktuelle Ivy Bridge CPU drauf, 16-32 GB RAM und die Virtualisierung dann halt nicht mit nem Bare Metal Hypervisor.

 

[JanR]

Hi,

fassen wir mal zusammen: Du willst rumspielen mit professionellen Virtualisierungssystemen, aber darauf keine produktiven Systeme ausser vielleicht dem Filesystem betreiben. Das relativiert natuerlich manches, was oben gesagt wurde, aber ich mache dir mal einen Alternativvorschlag, der eine neue Spielwiese mit reinbringt.

Zuerst kaufst du einen langsamen, aber vernuenftigen Rechner als NAS-System. Da kommen wenigstens 3 Platten + eine kleine fuer das System rein und NexentaStor als Software drauf. NexentaStor ist VMwaretauglich (die kostenpflichtige Version hat wohl sogar ein Zertifikat, aber mit der kostenlosen Version geht das auch) und bietet eine professionelle und ausbaufaehige Loesung. Das Ding benutzt du, um zum einen per CIFS oder NFS Filesysteme fuer den produktiven Einsatz bereitzustellen (sprich, deine Desktops arbeiten direkt gegen das Ding) und zum anderen deinen VMs per iSCSI Platten zu geben und vielleicht auch noch CIFS oder NFS, falls du auch damit weiter rumprobieren willst. Das Ding ist dann quasi der Backbone von allem. Hier wuerde ich ein kleines Serverboard (Xeon E3 oder AMD Opteron 3000er Serie) mit 16 GB ECC benutzen - das reicht dafuer. Dazu so viele Platten, wie du magst. Ein HW-Raid brauchst du hier nicht, das schadet sogar, denn das ZFS von NexentaStor bietet da Moeglichkeiten, die weit drueber hinausgehen (die Volumes dann als RaidZ2 einrichten).

Dazu kommen dann Virtualisierungsserver. Die booten jeweils vom USB-Stick (!) ESXi und verwenden das NAS als Storage fuer die VMs - Platten gibt es KEINE. Dazu gibt es VIEL Speicher. Vorteil ist nun, dass du einen der wichtigsten Aspekte der Virtualisierung, naemlich die Live-Migration der VMs, testen kannst (das setzt shared storage voraus) und zudem beliebig skalieren kannst - einfach noch einen VM-Server dazukaufen. Da du nur testen willst und nichts professionell damit tun willst, wuerden hier theoretisch Desktopboards reichen, ich wuerde aber wegen der billigeren Speichererweiterung auf 32 oder mehr GB vermutlich Serverboards verwenden. Zu ueberlegen waere hoechstens, ob es nicht billiger waere, einfach mit Desktopboards, einer kleinen CPU und 16 GB zu arbeiten - dann eben mehr davon.

Mit deinen 2000 Euro solltest du das NAS und zwei kleine oder einen groesseren VM-Server realisieren koennen, zudem koenntest du Althardware als weitere VM-Server dazupacken.

PS: Bringt es eigentlich etwas wenn man einen leistungsstarken server mit vielen VMs hat die dann Video-Encoding durchführen ?

Gehen tut es, aber sinnvoller waere es, das Encoding direkt auf der leistungsfaehigen Hardware laufen zu lassen. Von daher: Zum Testen ja, sinnvoll ist es nicht wirklich.

Viele Gruesse,

Jan

 

[VirtuaLia]

@JanR

dein Vorschlag hört sich super an. Wie sieht das denn mit der Last aufs Netzwerk aus. Passt das alles, wenn die VMs alle über einen Adapter gehen oder bremst dann nicht der Adapter alles aus, weils einfach zu viel ist ?

Ansonsten, was hälst du von folgender Konfig, vielleicht schaun ob ich nicht noch irgendwas vergessen habe

6x Samsung EcoGreen F4 HD204UI 2TB	115,00€
1x Intel® Core™ i3-2100			102,90€
1x ASUS P8H67-M LE R.3.0		 92,90€
1x ADATA DIMM 8 GB DDR3-1333 Kit	 34,99€
1x be quiet! Pure Power CM L8 530W	 74,90€
================================================
Summe:					995,58€


2x GSkill DIMM 16GB DDR3-1066 Quad-Kit	 87,90€
1x ASUS P8H67-M EVO R3.0		109,90€
1x Intel® Core™ i5-2550K		212,90€
1x Intel® PRO/1000 PT Dual Port Adapter	132,90€
1x be quiet! Pure Power CM L8 530W	74,90€
================================================
Summe:					706,40€

################################################
Gesamt:				       1701,98€
################################################

Edit:
Macht ein Dual Netzwerkadapter sinn oder nur wenn ich die VMs in ein physikalisches Netz einbinden will? Ggf, sollte der eher in den anderen Rechner rein oder?

Vielen Dank !!!

 

[fireblade_xx]

i5 macht kein Sinn. Vorallem kein 2550K -> Deaktivierte GPU. Ist nur für extremes OC geeignet. Entweder 3570K oder i7.

 

[VirtuaLia]

Wenn ich den Intel® Xeon® Prozessor E3-1220 nehme brauch ich auch eine extra Grafikkarte oder ?

 

[JanR]

Hi,

Xeon: Warum nimmst du nicht den E3-1225? Kostet kaum mehr und hat eine eingebaute GPU (die engl. Wikipedia hat da eine wunderbare Liste mit allen E3 und ihren Features). Aber: Wenn Xeon, dann auch ECC! Alles andere ist wenig sinnvoll.

Was den 2550K angeht, wurde ja schon gesagt... Zudem: "K" ist absoluter Unsinn hier und zudem auch unzureichend. Die "K"-CPUs sind kastriert in dem Sinne, dass sie kein VT-d haben. Das koennte aber in deinem Szenario mal wichtig werden, falls du IO-Virtualisierung willst.

Zudem frage ich mich, was du mit 2 16er Quad-Kits auf dem Desktopboard anstellen willst. Das hat doch nur 4 Slots, waehrend 2 Quad-Kits natuerlich 8 Module sind.

Ich wuerde folgendes tun:

Xeon mit 16 GB ECC fuer das NAS - da sollen ja auch wichtige Daten drauf. Da tut es der kleine 1225. Wenn du Geld sparen willst, nimm statt dessen einen kleinen AMD der 3xxx oder 4xxx Reihe. Wenn du meinem Vorschlag mit Nexentastor folgen willst, dann kannst du auch den 1220 nehmen. Zum Installieren steckst du halt irgendeine Grafikkarte rein, im Betrieb braucht man die eh nicht mehr und kann sie ausbauen, das spart dann nochmal Strom. Nexentastor ist vollkommen ueber ssh und Webinterface steuerbar, die lokale Konsole ist nur zum Installieren.

Fuer die Virtualisierungskiste(n) selbst entweder auch einen kleinen Xeon (das wuerde ich aber nur machen, wenn du darauf was anderes als Versuche laufen lassen willst, dann aber auch mit ECC-Speicher) oder eben ein Desktopboard mit Desktop-CPU ohne ECC. Da wuerde ich dann einen i7 oder i5 OHNE "K" nehmen, eben einen, der VT-d kann (Intel hat da schoene Listen zu). Ansonsten braucht auch ESXi keine Grafikkarte! Da wird ohnehin so gut wie nichts angezeigt, wenn die Kiste einmal eingerichtet ist. Die ganze Verwaltung laeuft ueber den VMware Client von einem anderen Rechner aus. Von daher kannst du hier auch etwas ohne Grafik nehmen und nur zum Installieren was reinstecken, das dann wieder rausfliegt. Serverboards laufen problemlos auch ohne Grafikkarte, bei anderen muss man es einfach versuchen (die, mit den ich es getan habe, haben das aber meistens getan).

Was die Netzwerkkarten angeht: EIGENTLICH baut man es so, dass es zwei Netze gibt: Eins ist NUR fuer das Storage gut, das andere fuer den Verkehr der VMs. In dem Sinne sollte die Dualport-Karte in den VM-Server rein. Da du aber auch noch andere Sachen an das NAS anbinden willst, wuerde ich da auch zwei Ports benutzen - einen nur fuer iSCSI zum VM-Server, den anderen nur fuer den Rest und die Administration. Auf die teuren Dualport-Karten wuerde ich aber verzichten und einfach Boards nehmen, die ohnehin e1000 Onboard haben und dann halt noch eine dazustecken - das tun auch die Desktop e1000 fuer um die 20 Euro. Oder Serverboards, die gleich 2x Intel als Onboard-Netzwerk haben.

Was die Netzlast angeht: Ausprobieren! Eine Karte kann man immer noch dazustecken.

Viele Gruesse,

Jan

 

[Masamune2]

Du wirst eine einzelne Gigabit Verbindung wahrscheinlich niemals komplett ausnutzen, geschweige denn zwei.

Was hast du mit den Komponenten denn jetzt vor? ESXi kannste damit vergessen, denn die Platten werden alle einzeln erkannt. Das Netzteil ist zudem stark überdimensioniert.

 

[VirtuaLia]

Ok, also ich werde mit euren Ratschlägen nochmal schauen und mich dann wieder melden.

Kurz noch zur Info:

Für NAS bzw. iSCSI habe ich bisher immer OpenFiler genommen und damit iSCSI Targets für vSphere erstellt. Kenne mich demnach Softwaremäßig mit OpenFiler und VMware aus.

Die Platten kann ich ja in einem RAID schalten, demnach dürften die nicht von ESXI als einzelne Platten erkannt werden, dazu kommt, dass es ja sowieso über iSCSI läuft und demnach der NAS diese Einstellung ja regelt.

Neben ESXI werde ich mit Sicherheit auch noch Hyper-V ausporbieren.
Es muss also sichergestellt sein, dass ESXi (bzw. jetzt vSphere Hypervisor) sowie Windows Hyper-V Server vollständig unterstützt werden.

@JanR
Das mit dem Ram stimmt, da wollte ich später noch nach einem passenden Board suchen und hab das dann verpennt, da ich auf 6x SATA-600 Ports geachtet habe. Merke bei meinem Testsystem momentan das Disk I/O problematisch wird und alles ausbremst.

 

[Masamune2]

Die Platten kann ich ja in einem RAID schalten, demnach dürften die nicht von ESXi als einzelne Platten erkannt werden

Doch, denn ohne Hardware Raid Controller kann ESX nichts damit anfangen. Siehe oben....

Wenn das ganze über iSCSI laufen soll brauchst du ja aber zwei Rechner: Einen als Storage und einen mit dem Hypervisor. Das ist etwas übers Ziel hinaus geschossen für eine Testumgebung....

 

[VirtuaLia]

@Masamune2
Doch so hatte ich das jetzt verstanden (siehe meinen Post) Sprich zwei Server, einen als Storage und den anderen für die VMs zum verarbeiten. Wäre das nicht auch auf dauer günstiger wenn man davon ausgeht das ich pro Monat eine von diesen VM Kisten hinzuschiebe, jedoch den Speicherbedarf noch nicht benötige bzw. nur wenig ?

Meint ihr ich könnte das auch irgendwo von Dell,HP,... für unter 1000 Euro in einem 1 bzw. 2U Rack bekommen, sprich E3-1225 + 32GB Ram + Lan - keine HDDs ?