Server auf ESXi-Basis für Heimnetzwerk, Entwicklung und Fortbildung

[Tailtinn]

Hallo zusammen,

ich würde mir gerne für zuhause einen Home Server auf Basis von ESXi aufbauen.
Jetzt bin ich etwas hin und her gerissen, wieviel Power ich eigentlich benötige.


Zuerstmal die Anforderungen:

Spoiler

Preisspanne
Maximal ~1300€ gerne auch deutlich weniger

Verwendungszweck
Heimnetzwerk-Verwaltung
Ich möchte mich vom Router und meiner Synology lösen und die Netzwerkverwaltung davon unabhängig machen.

• Sophos Firewall
• Eigener DNS, DHCP
• VPN-Server
• Eventuell zentrale Verwaltung von Backups

Softwareentwicklung

• Eine Windows Instanz mit SQL Server, ProGet, .Net Anwendungen und Webs
• Eine Instanz für GitLab
• Eine Linux-Spielwiese (.Net Core, ggf. Python) inkl. Datenbanken und Webserver

Fortbildung

• Virtualisierung ansich
• Docker, CI/CD, DevOps, usw.

Was ist bereits vorhanden
Nichts

Geplante Nutzungszeit/Aufrüstungsvorhaben
So lange wie möglich. Das einzige was sinnvoll aufrüstbar sein soll ist RAM und ggf. zusätzliche Netzwerkkarten.

Besondere Anforderungen und Wünsche
Der Server soll 24/7 laufen, wird aber nicht permanent unter Last laufen.
D.h., der Stromverbrauch sollte sich in Grenzen halten und die Lautstärke so gering wie möglich sein.
Ich schätze, dass 4 bis 5 VMs permanent aktiv wären.

Nun habe ich mal zwei völlig gegensätzliche Systeme in der engeren Wahl.

Das erste wäre ein Intel NUC mit i5 (Baby Canyon), 32GB RAM, M.2 SSD (Das mit i7 soll recht laut sein)
Vorteil: Klein, leise, vergleichsweise günstig und grundsätzlich für Virtualisierung geeignet.
Nachteil: Bei 32GB RAM ist Schluss, und ich habe die Befürchtung, dass die CPU-Leistung dauerhaft nicht ausreicht.

Für den Heimnetzbereich sollte ein NUC reichen. Sobald Windows oder GitLab dazu kommen, schätze ich, wird das aber knapp.

---

Das zweite System ist ein "Bolide" für 1200€+

• Intel Xeon E5-2608L v4
  Octa-Core mit HT mit gerade mal 50W TDP. Der sollte sich leise kühlen lassen bei genügend Leistung für einige VMs
• Supermicro X10SRM-F
  Bis zu 512GB RAM, 2x Intel Gbit-Lan, µATX, IPMI, VT-d
• Für den Anfang 1x 32GB LRDIMM ECC
  Damit verzichte ich zwar auf Quad-Channel, aber ich kann langfristig günstiger aufrüsten.
• Samsung SSD 960 EVO 250GB
• be quiet! Pure Power 10 300W
• Fractal Design Define Mini C, schallgedämmt
• Scythe Mugen 5 PCGH-Edition
  In meinem Festrechner habe ich einen Mugen 4 und bin mehr als zufrieden
• be quiet! Silent Wing 2 140mm und 120mm
  Die werkeln auch in meinem Desktop und der ist fast unhörbar im Normalbetrieb

Weitere Festplatten sollen (zunächst) nicht rein. Für die grundlegenden VMs hab ich genug Platz auf der SSD. Ansonsten habe ich noch eine Synology, auf die ich ebenfalls auslagern könnte.

Vorteile: Ich schätze mehr als genug Leistung für den anspruchsvolleren Heimbereich und Unterstützung für mehr RAM, als ich je brauchen werde. Niedrige TDP und damit schön leise. ECC.
Nachteil: Da fällt mir nur der Preis ein

---

Was meint Ihr?
Die NUC wird knapp, richtig?
Passt ansonsten die Zusammenstellung vom Xeon?
Was wären die (günstigeren) Alternativen?


Danke schonmal & viele Grüße,
Tailtinn

 

[alexx_pcfreak]

Wie wäre es mit einer gebrauchten i7 Kiste (zB Skylake 6700) als Desktop CPU, nicht die aus dem NUC? Sofern du auf ECC verzichten kannst, wirst du die Stromkosten über Jahre nicht reinholen können. Vorteil, den ich sehe: Mehr Power als das NUC und nicht so oversized wie der XEON.

 

[Tamron]

Ich werfe mal den HP Microserver in den Raum. Damit hättest du auch direkt die Synology in Rente geschickt.

 

[KillerCow]

Egal wofür du dich entscheidest, prüfe vorher unbedingt, ob ESX für alles auch Treiber mitbringt... der Krempel ist da gerne mal wählerisch. Nichts ist ärgerlicher, als ein nicht unterstützter SATA Controller

 

[Gohst]

Bei den Anforderungen würde ich spontan zu 8 oder mehr Kernen und 32-64GB Ram raten.

Das NUC eignet sich nicht so wirklich weil ein genug grosses und genug schnelles Storage wichtig ist. 4 HDDs oder besser ein paar SSDs sollten schon dabei sein.

Besonders günstig wirst du Xeon CPUs und DDR3 ECC Reg Ram auf Ebay erhalten.
Dort gibts Xeon CPUs für Sockel 2011 aus Sandy, Ivy und bereits Haswell für unverschämt günstig.

Da wirst du schnell einen kleinen Server zusammen haben der weniger als 70w im Leerlauf braucht - trotz vielen Cores und viel RAM.

Neu bauen kannst du auch, aber nimm nicht den allerkleinsten Xeon (teils ohne HT
) und mit extrem dürftigem Turbo Boost. Weil die dann doch lahm sind.

 

[Xes]

Ich würde mich auch vorher darauf festlegen wie ernsthaft du das Ganze angehen willst.
Wenn es 24/7 stabil laufen soll, solltest du schon auf Server Hardware inklusive ECC RAM achten. Das kann aber schnell ins Geld gehen.

Geht es dir mehr um ein "Bastel-System" um Dinge auszuprobieren, zum lernen und testen reicht gegebenfalls auch ein gebrauchter Rechner mit i7 und 16GB RAM oder neu ein kleines Ryzen System z.B. mit R5 1400.

Ein (gebrauchter) HP Microserver Gen8 als Whitebox könnte ein Kompromiss zwischen basteln und "soll sicher stabil laufen" sein.

 

[razzy]

der Gen8 hat aber nur unterstützung für 16 GB RAM. Mehr leider nicht.
Und was sind 16GB in der Virtualisierung

Klar mit Ballooning und co kann man auch ein wenig überdimensionieren, aber die Performance von geteiltem RAM ist unter aller Kanone

 

[eRacoon]

Würde auf ganz "normale" Desktop Hardware setzen, ECC RAM brauchst du daheim nicht.
Habe mittlerweile seit 6 Jahren+ daheim ein ESXi stehen und noch nie einen Absturz gehabt und selbst wenn wäre es daheim zu verkraften.

Wenn es "viele" Kerne sein sollen für wenig Geld dann kannst du dich mal nach den Xeons für die 2011er Boards umschauen.
Da bekommst du schon für unter 100€ die 8 Kerner, die brauchen aber durchaus Strom, auch im idle.

Ansonsten tut es vermutlich auch ein älterer i7.
Würde unbedingt bezüglich Supports auf Intel setzen und wenn du die Wahl hast dann versuche ein Board mit Intel NIC zu bekommen.
Chipsatz und Sata Treiber gibt es bei fast allen Intel Chipsätzen als unsupportetes Community Paket zum nachinstallieren.

Schaust du hier... laufen auch mit 6.5.
https://www.v-front.de/2013/11/how-to-make-your-unsupported-sata-ahci.html
https://vibsdepot.v-front.de/wiki/index.php/Sata-xahci

NUC ist P/L zu teuer, wenn du Platz für einen normalen Tower hast dann niemals einen NUC.

 

[Tailtinn]

Danke schonmal für die zahlreichen Antworten!

Ich würde mich auch vorher darauf festlegen wie ernsthaft du das Ganze angehen willst.

Durchaus ernsthaft.
Das System soll die bisherige Netzwerkverwaltung ablösen und zentralisieren und mir als Fortbildungsmittel dienen.
Ich bin Softwareentwickler und will etwas besser auf dem Laufenden bleiben.
Daher der Gedanke ein etwas leistungsstärkeres VM-System aufzuziehen, wo ich mal "schnell" VMs erstellen kann und auch vom Laptop aus gut damit arbeiten kann.

Wie wäre es mit einer gebrauchten i7 Kiste (zB Skylake 6700).

Hatte ich mir auch schon überlegt, mich halten aber die max 64GB im Moment noch leicht davon ab.
Da fällt es mir aber schwer, meine zukünftigen Anforderungen abzuschätzen.

Damit hättest du auch direkt die Synology in Rente geschickt.

Die Synology darf ruhig noch eine Weile bleiben. Mit selbt aufgesetzten NAS-Systemen wollte ich mich in nächster Zeit nicht beschäftigen. Und nachdem es um zum Teil wichtige Daten geht, vertraue ich da lieber auf etablierte Hersteller.

Egal wofür du dich entscheidest, prüfe vorher unbedingt, ob ESX für alles auch Treiber mitbringt... der Krempel ist da gerne mal wählerisch. Nichts ist ärgerlicher, als ein nicht unterstützter SATA Controller

Das wird definitiv noch gemacht. Deswegen auch mal das Xeon-System, da Supermicro soweit ich weiß grundsätzlich eine gute Unterstützung hat.

Neu bauen kannst du auch, aber nimm nicht den allerkleinsten Xeon (teils ohne HT
) und mit extrem dürftigem Turbo Boost.

Würde Deiner Meinung nach der E5-2608L v4 mit seinen 1,6/1,7GHz dann schon rausfallen?


Mal noch in die Runde:
Was wäre denn grundsätzlich von dem zusammengestellten Xeon-System zu halten? Mal unabhängig davon, ob es das werden wird oder nicht.

 

[XN04113]

ich würde zu einem Sockel 2011-3 Server oder WS Board greifen, die V3 CPUs sind inzwischen bezahlbar gebraucht zu bekommen und gibt es mit richtig vielen Cores. ohne ECC Speicher würde ich kein Virtualiserungssystem betreiben wollen. ich nutze ein Asus Z10PE-D16 WS.

 

[eRacoon]

Mal noch in die Runde:
Was wäre denn grundsätzlich von dem zusammengestellten Xeon-System zu halten? Mal unabhängig davon, ob es das werden wird oder nicht.

Wenn du wirklich über mehr als 64GB RAM nachdenkst dann setz auf ein Board mit 8 RAM Slots.
Da würde sich ja schon eher eine aktuelle Skylake-X Platform mit dem kleinsten Prozi lohnen.

200€ Mainboard
350€ CPU 6 Cores + HT

 

[Gohst]

Wenn man den RAM als Schreibcache für ein Raid System benutzen will (erspart oft den Raidcontroller), ist ECC quasi Pflicht. Auch je mehr RAM man verwendet und wie wichtig absolut stabiler Betrieb ist entscheidet letzlich über ECC oder nicht.

Kommt dazu dass DDR3 Registered RAM aus Server auf dem Gebrauchtmarkt nix kostet (16GB ca. 40€).

Dass Xeon CPUs ab Sandy Bridge sparsam sind (auch im Leerlauf) sie auch mal dahin gesagt. Noch ne Schippe besser sieht es dann ab Haswell aus. Da können Server mit z.B zwei Xeon 2650L v3 durchaus in der Nähe von normalen, gut ausgestatteten Desktop PCs liegen.

Nichts destotrotz, einen Xeon mit nur 1.7GHz halte ich für zu klein. Auch hier, der braucht im leerlauf auch nicht weniger als der schnellste mit gleich viel Kernen. Erst unter hoher Last, wenn man z.B vom Kühlsystem limitiert ist, machen diese kleinen CPUs sinn.

Ehrliche Empfehlung, kauf dir gleich einen fertigen Server wenn er nicht extremst leise sein muss. Eigenbau macht Sinn sobald spezielle Gehäuse und Kühler gewünscht sind.

 

[alexx_pcfreak]

max 64 GB sollten wirklich für 4-5 VMs reichen :-D

 

[Xes]

Durchaus ernsthaft.
Das System soll die bisherige Netzwerkverwaltung ablösen und zentralisieren und mir als Fortbildungsmittel dienen.
Ich bin Softwareentwickler und will etwas besser auf dem Laufenden bleiben.
Daher der Gedanke ein etwas leistungsstärkeres VM-System aufzuziehen, wo ich mal "schnell" VMs erstellen kann und auch vom Laptop aus gut damit arbeiten kann.

Wenn Lautstärke kein Problem ist, könntest du dir einen gebrauchten Server kaufen.
Mein aktuelles Testsystem in der Firma ist ein "IBM System x3650 M3" Server mit zwei Hexacore Xeons (+HT) und 48GB RAM. Die Teile findet man gebraucht frei konfigurierbar mit Raidcontroller und flotten SAS Platten für unter 500€.
Hier z.B.
https://www.servershop24.de/server/...MI_f2m2fDR1gIVzJIYCh3GpAqFEAQYAiABEgLMj_D_BwE

Auf einem solchen System habe ich zuletzt ESXi 6.5 mit mehreren VM`s problemlos betrieben.

Die Teile hätten den Vorteil, dass sie auf Dauerbetrieb ausgelegt sind und mit ECC-RAM und redundanten Netzteilen sehr zuverlässig laufen. Nachteil werden die höheren Stromkosten gegenüber einer neuen Lösung sein.

 

[Tailtinn]

Wenn du wirklich über mehr als 64GB RAM nachdenkst dann setz auf ein Board mit 8 RAM Slots.
Da würde sich ja schon eher eine aktuelle Skylake-X Platform mit dem kleinsten Prozi lohnen.

Vier Sockel sollten eigentlich reichen. Beim Preis pro Gigabyte spielt es bei ECC fast keine Rolle, ob ich 2x 16GB oder 1x 32GB nehme.

Ehrliche Empfehlung, kauf dir gleich einen fertigen Server wenn er nicht extremst leise sein muss. Eigenbau macht Sinn sobald spezielle Gehäuse und Kühler gewünscht sind.

Wenn Lautstärke kein Problem ist, könntest du dir einen gebrauchten Server kaufen.

Die Lautstärke ist mir sehr wichtig. Der Server wird bei mir im Arbeitszimmer stehen wo ich auch den einen oder anderen Tag im Home Office verbringe.
Daher auch der Gedanke eine CPU mit niedrigerem Takt und niedrigerer TDP zu wählen.

Jedenfalls, Danke für Eure Tipps.
Die Gebraucht-Server sind preislich wirklich attraktiv. Muss ich mir mal genauer anschauen. Eventuell kann ich da ja mit anderen Lüftern noch was raus holen.
Ansonsten schau ich mich mal bei den älteren Xeons um und stell mir da ein System zusammen. Die Preise für DDR3-RAM hatte ich tatsächlich nicht im Blick.

 

[DaKill3r185]

Ich bringe mal den Dell PowerEdge T30 für den Einstieg ins Spiel. Je nach dem wie groß Du die VMs Dimensionierst, solltest Du mit dem 4-Kerner und max. 64GB RAM hinkommen. Infos zu der Kiste bekommst Du hier. Den Server bekommt man ab 400€.

Jedoch kann ESXi / vSphere auf Hardware, welche nicht in der VMware HCL steht, etwas fummelig sein. Gibt es aber scheinbar auch Lösungen für.

Mal als Randnotiz zur Dimensionierung: auf einem 6-Kerner und 64GB kann man z.B. einen Windows Domaincontroller (AD, DNS, DHCP, File, Print, WSUS), einen Windows SQL-Server, einen Windows-Terminalserver für 5-10 Leute und einen Windows Backupserver laufen lassen. Die höchste Last bzw. Peaks verursachen dabei nicht unbedingt die Serverdienste im Hintergrund, sondern die Leute auf den Terminalserver und die abendlichen Backups (Komprimierung). Es kommt immer auf die Anwendungen an!

Wichtig für den parallelbetrieb, bzw. Systeme wo Nutzer direkt drauf Anmelden, sind schnelle Platten bzw. eine geringe Zugriffszeit, wie am normalen PC auch.

Jetzt musst Du überlegen, wie stark Du bzw. Deine Anwendungen das System belasten werden.

• niedrige Last: DNS, DHCP, VPN (außer bei 100 Leuten)
• Sophos Firewall: im Heimbetrieb vermutlich auch gering (2 vCPU, 2GB vRAM) --> siehe Systemvorraussetzungen hier
• SQL Server: je nach Menge der Abfragen, DB-Größe und Anzahl Nutzer vermutlich auch eher gering. Man bedenke, dass ein MS SQL Express nur eine CPU und 1GB RAM pro Instanz nutzt
• GitLab: Wenn Du es alleine nutzt: 1/2 vCPU(s) und 2/4GB vRAM - siehe hier
• ProGet, .Net Entwicklung, Linux-Spielwiese: keine Ahnung. Zumindest die letzten beiden Sachen werden temporär mehr Leistung benötigen als die zuvor genannten Serverdienste. Z.B. beim Starten von Anwendungen durch Dich oder Kompilieren.
• Backup: Verbraucht durch die Komprimierung evtl. etwas mehr CPU-Leistung, da Backups i.d.R. aber Nachts laufen sollte das nicht weiter stören.

Da vermutlich nicht alle VMs zur gleichen Zeit hohe Last fahren, kann man die bei der Vergabe der vCPUs auch Overcommiten. Das geht wohl je nach Szeanrio bis zu einem Verhältniss von 3:1 ohne Probleme. Also bei 4pCPU 12vCPUs in Summe an alle VMs verteilen sollte kein Problem darstellen. (Quelle).

Ansonsten X99/X299 Board mit einem i7 6- oder 8-Kerner. Wenn ECC gewünscht ist, dann beim Board genau schauen und dazu einen Xeon kaufen oder gleich ein C612 Board +Xeon so wie bereits angedacht.

Je nach dem wie gut Deine Anwendungen mit Cores oder Takt skalieren wurde ich mir im Bereich von unter 400€ die hier ansehen:

• Intel Xeon E5-1620 v4, 4x 3.50GHz
• Intel Xeon E5-2620 v3, 6x 2.40GHz
• Intel Xeon E5-2620 v4, 8x 2.10GHz

 

[Tailtinn]

Danke Dir für die ausführliche Antwort.
Insbesondere das Beispiel mit Windows-AD usw. hat mir geholfen. Wenn ich beim RAM auf ein Maximum von 64GB runter gehe, bringt das bspw. auch Kaby Lake-S ins Spiel und ich könnte auch Richtung E3-1230 v6 gehen.

Bei der TDP werde ich dann auch erstmal nicht so niedrig ansetzen, was den E5-1620 v4 attraktiv macht (Dass ich mich auch nach Jahren noch von der maximalen TDP blenden lasse. Aber ja, der Server läuft nicht permanent unter Volllast)

Jetzt hab ich jedenfalls wieder Lektüre, viele Anregungen und werde damit noch ein paar Zusammenstellungen durchspielen.

Danke an alle!

 

[DaKill3r185]

Gerne Doch!

Beim E5-1xxx jedoch daran denken, dass die nicht für Dual-Socket-Systeme sind, also nicht zwei auf einem Board betrieben werden können.

Vielleicht kommen ja Coffee Lake Xeons mit sechs Kernen... .

 

[T3mp3sT1187]

Hi,

ich habe den Server aus meiner Signatur seit 3 Jahren 24/7 im Einsatz. Wichtig sind wie gesagt, schnelle Platten, habe daher zum Beispiel inzwischen 4 500er SSDs über Windows Storage Spaces zusammen geschlossen, die HDDs sind für Daten (Backups, Fotos usw.). Ansonsten laufen grundsätzlich 2 Domain Controller, ein Remoteserver für VPN, ein TS. Der Host übernimmt zusätzlich TV-Funktionen mittels MediaPortal.

Habe testweise schon SharePoint-Instanzen, SQL und Co. mit drauf laufen lassen. Die Leistung reicht für das, vor allem, wenn es nicht rund um die Uhr produktiv eingesetzt wird.

 

[Tailtinn]

Beim E5-1xxx jedoch daran denken, dass die nicht für Dual-Socket-Systeme sind

Danke für den Hinweis. Aber über Dual-Socket habe ich bisher garnicht nachgedacht. Das dürfte für privat wirklich zu viel des Guten sein

ich habe den Server aus meiner Signatur seit 3 Jahren 24/7 im Einsatz.

Super, auch Dir Danke. Dann lag ich mit meinen Schätzungen definitiv daneben und kann den Server kleiner dimensionieren.