"Spielzeug Server" Hardware?

[Mickey Mouse]

ich weiß, der Titel klingt komisch, trifft die Sache aber hoffentlich ganz gut.

Hintergrund:
"ich brauche privat zum spielen Server Hardware", da ist mehr der Weg das Ziel, also es steht keine konkrete Anwendung dahinter, sondern mehr zusammen stellen, konfigurieren, ausprobieren...
aktuell habe ich dafür ein Asus P9D-M mit einem i3, 16GB RAM, BMC und TPM.
im Prinzip reicht das für meine Zwecke auch völlig aus aber jetzt habe ich gerade mal vSphere/ESXi 7 darauf installiert. Dadurch habe ich von VMware ja auch wieder eine 60 Tage Lizenz für vCenter bekommen (die alte ESXi 5/6 Lizenz konnte ich dafür nicht weiter verwenden).

und da geht es los. Das aktuelle vCenter will mit einer minimal 12GB VM schon 3/4 meines Servers "auffressen", obwohl alles auf tiny, small oder eben so klein wie möglich konfiguriert wurde. Nachträglich noch an den Schrauben drehen geht auch nicht, habe ich ausprobiert.

der maximale Ausbau wären 32GB aber ich habe jetzt 4x4GB drin stecken und müsste alles raus schmeißen und auf 4x8GB gehen, das sehe ich bei DDR3 ECC aber für "rausgeschmissenes Geld" an, ich denke mal das seht ihr ähnlich.

also entweder so lassen und sich damit abfinden oder nach neuer HW gucken.
nur damit das nicht falsch verstanden wird: vCenter war jetzt nur der Auslöser mich mal umzugucken, es geht nicht ausschließlich darum! Es laufen z.B. mal zum Vergleich 3 oder 4 Linux Versionen parallel oder es wird mal ein physikalischer Windows Rechner für einen Umbau in eine VM gecloned, solche Sachen halt, bei denen 16GB ausreichend aber nicht üppig sind. Genauso sind die nur 2 "echten" Cores (4 virtuelle mit HT) manchmal "etwas zäh".

aus Erfahrung mit anderen Boards (z.B. Asus Z97-A) weiß ich, dass ESXi mit dem Consumer Kram echte Schwierigkeiten hat. Prinzipiell funktioniert es, aber es kommt z.B. zu solchen Dingen wie: WoL funktioniert beim ersten Start, wenn aber einmal ESXi aktiv war und man es runter gefahren hat, dann ist WoL deaktiviert, erst nach einmal Power ganz weg kann man den Rechner wieder per WoL starten. Das führt WoL etwas ad absurdum.

lange Rede, kurzer Sinn:
ich suche "so günstig wie möglich" die HW (Board, CPU, RAM) für einen "Server", der stabil mit ESXi läuft.
ich könnte auf BMC, iLO, IPMI usw. verzichten wenn WoL wirklich 100% läuft, nett wäre aber natürlich Redfish schon
2x LAN + BMC wäre ebenso schön aber auch hier könnte ich mit nur 1xLAN (unter Schmerzen) leben, wenn das den Preis drastisch drückt (werden (bezahlbare) PCI(e) LAN Karten von ESXi vernünftig unterstützt?).
4 cores mit HT wären auch schon genug und es müssen keine 5GHz sein.

was käme in solch einem Fall in Frage?

 

[Nizakh]

Wenn es hier eh nur um eine „Spielwiese“ geht und du mit deiner Hardware grundsätzlich zufrieden bist - warum probierst du nicht einfach einen anderen Hypervisor aus?
Proxmox und XCP-ng sind da gute Alternativen.

Wenn ESXi aber verpflichtend ist, dann solltest du halt nach was neuem mit unterstützen NICs schauen, alles weitere funktioniert idR problemlos - also egal ob Intel Core/Intel Xeon bzw. AMD Ryzen/Threadripper/Epyc nur bei den Netzwerkkarten sollte man halt auf Broadcom/Intel/Mellanox achten.

 

[Masamune2]

Da würde ich mich einfach nach einem gebrauchten Server der großen OEMs umschauen. Kompatibilität ist da auf jeden Fall gegeben und so Sachen wie IPMI Schnittstelle und Wake on LAN können die auf jeden Fall.

(werden (bezahlbare) PCI(e) LAN Karten von ESXi vernünftig unterstützt?)

Eine Intel Desktop Gigabit Karte kostet 20 EUR und wird voll unterstützt.

 

[AAS]

Da würde ich mich einfach nach einem gebrauchten Server der großen OEMs umschauen. Kompatibilität ist da auf jeden Fall gegeben und so Sachen wie IPMI Schnittstelle und Wake on LAN können die auf jeden Fall.


Eine Intel Desktop Gigabit Karte kostet 20 EUR und wird voll unterstützt.

Wenn mansowieso in der IT unterwegs ist kriegt man das Zeug eh geschenkt,
ich hab den Keller voll mit HPE G8/G7/G9 Server.

Wenn ESXi aber verpflichtend ist, dann solltest du halt nach was neuem mit unterstützen NICs schauen, alles weitere funktioniert idR problemlos - also egal ob Intel Core/Intel Xeon bzw. AMD Ryzen/Threadripper/Epyc nur bei den Netzwerkkarten sollte man halt auf Broadcom/Intel/Mellanox achten.

Einen Realtek Treiber zu integrieren ist ja jetzt auch keine Kunst, das sind 1-2 Zeilen auf der PowerCLI.
Wenn da nicht krass Load drüber geht merkst du genau keinen Unterschied, ausser dass du Pro NIC ca. 1 GB RAM knicken kannst.

 

[eRacoon]

Hab auch einen kleinen ESXi hier laufen, als kleiner Tipp einfach mal folgende Stichwörter

- Intel CPU mit iGPU wegen geringer Leistungsaufnahme im idle, das merkst du bei 24/7 auf deiner Stromrechnung

- Hab bei mir vor kurzem auf einen i3-9100 geupdated weil ich den für 80€ günstig bekommen habe.
Einfach mal umschauen, alles ab Gen7 kann man dafür aktuell verwenden, auch gebraucht gute Chancen.
Kann alles von i3 bis i9 sein da die im idle ähnliche Stromverbräuche haben.

- Mainboard mit 4 RAM Bänken!

- Onboard Intel NIC!!! Ja man kann Realtek Treiber integrieren, ist aber gebastel und ob das ewig funktioniert ist auch fraglich

- RAM einfach 2x 16GB nehmen, dann ist noch Luft für Updates, hier reichen die billigsten Module mit <2666Mhz, Speed spielt kaum eine Rolle, Platz ist eher relevant bei so Projekten wie du selbst schon gemerkt hast.
Auch hier gebraucht mal schauen, RAMs mit 2133 MHZ will sich keiner mehr einbauen.

 

[dj-melo]

https://www.jacob.de/produkte/mainb...-system-on-chip-4x-dimm-1x-artnr-3797761.html

betreibe den Vorgänger (A1SRM-2558F) und läuft diese sollte also auch gehen. VM's werden über die Weboberfläche verwaltet bei mir. 3 Stück.

 

[Nizakh]

Einen Realtek Treiber zu integrieren ist ja jetzt auch keine Kunst, das sind 1-2 Zeilen auf der PowerCLI.

Bis ESXi 6.7 war das kein sonderliches Problem. Das ist korrekt.
Aber mit ESXi 7 hat sich ja einiges geändert.

It should come as no surprise that in vSphere 7, the legacy VMKlinux Drivers will no longer be supported. I suspect this will have the biggest impact to personal homelabs where unsupported devices such as network or storage adapters require custom drivers built by the community such as any Realtek (RTL) PCIe-based NICs which are popular in many environments.

Quelle: https://www.virtuallyghetto.com/2020/03/homelab-considerations-for-vsphere-7.html

Ich selber habe das nicht getestet, aber habe dazu auch nichts weiter im Internet gefunden.

 

[AAS]

Bis ESXi 6.7 war das kein sonderliches Problem. Das ist korrekt.
Aber mit ESXi 7 hat sich ja einiges geändert.

Quelle: https://www.virtuallyghetto.com/2020/03/homelab-considerations-for-vsphere-7.html

Ich selber habe das nicht getestet, aber habe dazu auch nichts weiter im Internet gefunden.

Boah, ich wollte die Tage einen 7.0 aufsetzen, Danke für den Hinweis!!!

 

[Mickey Mouse]

Wenn es hier eh nur um eine „Spielwiese“ geht und du mit deiner Hardware grundsätzlich zufrieden bist - warum probierst du nicht einfach einen anderen Hypervisor aus?
Proxmox und XCP-ng sind da gute Alternativen.

ok, danke für den Tip, aber...
ich habe gleich wieder die Schnauze voll. Ohne Minimum 85€/Jahr/CPU einzuwerfen geht bei Proxmox gar nichts, die Kiste schmeißt mich immer wieder raus (muss mich neu anmelden) und kurz danach kommt irgendein PVE Error und der Link zu der Seite, bei der ich eben minimal die 85€ zahlen soll.
Ok, also nicht und beruflich ist solch eine Firma damit auch gestrichen, mit solcher Verarsche (behaupten es ist frei und verschweigen, dass man Support kaufen MUSS) machen sie sich keine Freunde/Kunden!

heute habe ich keine Lust mehr noch den anderen zu probieren. Ist das genauso eine Verarsche oder kann man das (privat) kostenlos zumindest ausprobieren?

Wenn ESXi aber verpflichtend ist, dann solltest du halt nach was neuem mit unterstützen NICs schauen, alles weitere funktioniert idR problemlos - also egal ob Intel Core/Intel Xeon bzw. AMD Ryzen/Threadripper/Epyc nur bei den Netzwerkkarten sollte man halt auf Broadcom/Intel/Mellanox achten.

das Board auf dem ich das getestet hatte (ein Asus Z97-A) hat einen Intel NIC, das läuft eben nicht richtig!
es funktioniert "im Betrieb" aber wenn man den ESXi runterfährt, kann man den PC nicht mehr per WoL starten, erst nachdem das Netzteil einmal vom Stromnetz getrennt wurde. Wenn man dann ESXi startet, geht es nicht nochmal, bei Windows oder Linux passiert das nicht, da geht es "mehrfach hintereinander".
ich meine es gab auch noch ein anderes Problem mit den Sensoren, daran kann ich mich aber nicht mehr erinnern.

 

[Nizakh]

@Mickey Mouse Kann ich so zu Proxmox nicht bestätigen. Klingt so als würde bei dir etwas nicht funktionieren. Dann probiere mal XCP-ng aus.

 

[Mickey Mouse]

keine Ahnung was da falsch läuft, es kommt immer wieder mal die Anmelde-Abfrage (so jede Minute oder so), dann das Hinweis-Fenster, dass ich Support kaufen muss und anschließend die PVE Fehlermeldung:

XCP-ng stürzt beim Abschluss der Installation ab (auf einem Rechner, der ansonsten rock solid 24/7 läuft) und hinterlässt die HDD mit einem kaputten grub (nichtmal UEFI Boot, ich musste wieder das gesamte BIOS Setup umstricken).

Ok, ich habe von "Spielzeug" geredet, aber so war das nicht gemeint. Da bleibe ich doch lieber bei VMware, das scheint mir "etwas solider" (in jeder Hinsicht) zu sein...

 

[Nizakh]

@Mickey Mouse Sehr komisch... Ich kenne beide Hypervisor aus Produkivumgebungen und auch aus dem Privat-Einsatz. Da sind die durchgehend absolut stabil und ich bevorzuge Sie gegenüber VMware aufgrund der Funktionen/Mgmt.
Schade das es bei dir da zu Problemen kommt.

 

[Mickey Mouse]

sorry wenn es OT wird, ich finde die Diskussion recht interessant!

hmm, du nutzt Proxmox VE6.2 ohne Support Vertrag?
ich habe ältere Beiträge gefunden, da wurde schon über diese "Anmeldefenster zum weich klopfen der Schnorrer" gemeckert, die man eben nur durch Einwurf von Kohle weg bekommt. Dort wurde aber darauf hingewiesen, dass "trotzdem" eine kostenlose Nutzung möglich wäre, es ist halt nur gewollt nervig.
wi gesagt, bei mir kommt nach kurzer Zeit zusätzlich noch diese Fehlermeldung und ich kann zwar die Menüs angucken aber keine Aktionen starten (ich habe auch nicht die Stelle gefunden um eine ISO für die Installation der ersten VM hoch zu laden und per Browser gefüttert werden ging auch nicht).

da wäre die Frage, ob sich an der Lizenz-Politik etwas geändert hat. Ich habe jetzt auch direkt keinen Hinweis mehr auf "kostenlos" gefunden, das stand wohl in älteren Berichten.

XCP-ng ist da ja etwas transparenter und sagt ganz klar: der Hypervisor ist bescheiden zu bedienen und die Windows Oberfläche taugt gar nicht aber er ist dafür gedacht mit Xen Orchestra verwaltet zu werden. Da gibt es eine stark beschränkte Version für lau und für die nächsten Schritte (HA, Backup usw.) muss man zahlen oder sich das selber compilieren.
da werde ich noch einen Installationsversuch wagen, vielleicht lag dem Rechner ja nach der Windows mit VMware/VirtualBox, ESXi, Proxmox und dann noch XCP-ng irgendwo ein Bit quer, kann ja mal vorkommen.
Edit: nochmal probiert, XCP-ng stürzt reproduzierbar ab. Die Installation läuft soweit mit einigen Abfragen durch. Irgendwann kommt: "Completing Installation..." mit einem Fortschritt Balken, das dauert eine Weile und wenn er bei 50% angekommen ist (wie gesagt, reproduzierbar) dann drehen die Lüfter hoch und die Kiste startet neu, findet dann aber nur einen grub ohne Boot Einträge.
System: Asus Z97-A, i7 4790K (iGPU), 4x8GB Ballistix Sport, 500GB Samsung HDD (zum Test), ansonsten stecken da nur noch ein TPM und USB Dongle für Logitech Smart Keyboard zusätzlich drin.

noch eine Edit:
XCP-ng läuft auf diesem Rechner nicht, auch mit EXT statt LVM (was auch immer das genau heißen soll, Volume und Filesystem sind doch zwei verschiedene Dinge). Grub kann das Dateisystem auf dem Boot Device nicht lesen.

ich habe jetzt aber nochmal Proxmox installiert und das läuft seit einer halben Stunde mit einer einzigen Passwort Abfrage ganz am Anfang (klar mit Hinweis auf: kein Support Plan) aber ohne Fehler. Keine Ahnung was da gestern Abend so Amok gelaufen ist.
das sieht auf jeden Fall sehr vielversprechend aus, die NoVNC Console ist hübsch, auch wenn gerade während der SuSE Installation die Skalierung auf dem Server (noch?) nicht funktioniert ich muss mir nach dem Mittag z.B. mal die Zertifikat Verwaltung angucken.

nichtsdestotrotz ist das "eigentliche" Thema immer noch nicht durch!
Hinweise auf "eher günstige" aber aktuelle HW von der Stange, die elementares remote management, zwei NIC usw. mit bringt, sind immer noch willkommen

 

[nosti]

Moin,
ich finde dein Thema sehr interessant.
Du kannst dir mal einen HPE Microserver Gen10 plus anschauen.
Alternativ fällt mir ein AsrockRack x470 Board und eine passende Ryzen CPU ein. Das Refresh von 1600er ist ein günstige Einstieg. Problem ist nur die Verfügbarkeit Vom Board.

schau auch mal nach Boards mit integrierter CPU, Supermircro hat interessante Boards im Angebot, mit IPIM, Intel NIC und ECC-Support. Je nach benötigter CPU Leistung, reicht vielleicht schon ein Atom 8-Kerner, alternativ ein Epic Embedded.

Des Weiteren könntest du auch in Richtung eines komplett Servers schauen. Hier fällt mir ein HP DL20 oder DL60 ein. Auch Supermicro hat ein paar Sachen hierzu im Angebot.....allen gemeinsam ist aber, dass es etwas kostspieliger ist.

Gebrauchte Server kannst Du zuhauf im Internet finden. Einen HPE DL360 gen7 würde ich aber nicht mehr nehmen, da ich diesse als zu alt empfinde.

ich persönlich finde die Lösung mit dem ASRock Rack Board und einer Ryzen CPU am interessantesten.

grüße

 

[Mickey Mouse]

gute Tipps!
das schöne ist ja, dass ich keine wirkliche Eile habe und ganz in Ruhe nach "Schnäppchen" (in welche Richtung auch immer) Ausschau halten kann.
da es mir ja weniger (bis gar nicht) auf Hochverfügbarkeit ankommt, würde ich gerne auf ECC verzichten, ganz einfach aus Kostengründen. Wenn man ganz ehrlich ist, dann ist ja nach der Installation des Hypervisors das BMC/IPMI nicht mehr so relevant. Wenn man OS'es "direkt" installiert, dann ist es halt ganz nett das BIOS von remote anpassen und natürlich dem Rechner virtuelle Boot Medien unterschieben zu können.

ich muss zugeben, dass ich sehr auf VMware fixiert war, das ist für mich halt immer noch DIE Lösung wenn es um Virtualisierung geht.
Mit den Alternativen (wenn sie denn auf Standard-HW laufen (würden)) ergeben sich ja auch noch ganz neue Möglichkeiten, die ich bisher noch nicht auf dem Schirm hatte. Ich habe noch ein paar alte Rechner rumstehen, da kann ich mir auch einen netten Cluster basteln und habe noch mehr Spielmöglichkeiten
ich weiß ja, dass ich ohne vCenter Lizenz damit bei VMware nicht weit komme (so ein HA Tripple zuhause war immer mein Traum, nur so weil man es kann ), mal sehen was mit Proxmox in der freien Version möglich ist. Mir reicht es ja schon mal eine VM von einem auf den andern host zu schieben, die muss dabei nichtmal laufen...

 

[nosti]

Mir geht es ganz ähnlich, wobei ich das Ganze als „Testsystem“ für bestimmte Szenarien nutzen möchte und nebenbei die Dienste die ich aktuell bei Hetzner laufen hab, zu mir nachhause hole. Deswegen ist für mein Vorhaben auch der ESXi gesetzt.
Du kannst mal bei VMWare schauen, durch die Mitgliedschaft in der VMUG kann man gültige Lizenzen erhalten. Vielleicht kann euch euer Key Accounter bei VMWare dort mit einer Mitgliedschaft weiterhelfen 😉
das aber nur als Idee.

Grüße

 

[Nizakh]

XCP-ng ist da ja etwas transparenter und sagt ganz klar: der Hypervisor ist bescheiden zu bedienen und die Windows Oberfläche taugt gar nicht aber er ist dafür gedacht mit Xen Orchestra verwaltet zu werden. Da gibt es eine stark beschränkte Version für lau und für die nächsten Schritte (HA, Backup usw.) muss man zahlen oder sich das selber compilieren.

Das stimmt so nicht. XCP-ng Center lässt eigentlich nichts vermissen. Auch HA usw. ist vollständig nutzbar. Mir persönlich gefällt die Windows Management-Software sehr gut. Was du vermutlich meinst, ist die Management-Software des Citrix Hypervisors in der Free Edition.
Wenn XOA (der Orchestrator) genutzt werden soll, kann auch das volle Featureset verwendet werden, sofern man eben auf die Variante ohne Support -> die Community Edition zurückgreift. Diese lässt sich aber mit einem Command via Skript auf einem Ubuntu Server 18.04. LTS installieren.
Link: https://github.com/Jarli01/xenorchestra_installer

auch mit EXT statt LVM (was auch immer das genau heißen soll, Volume und Filesystem sind doch zwei verschiedene Dinge).

Stimmt. Aber das hat hier folgende Bedeutung: Wird EXT ausgewählt, dann nutzt der Server einfach nur EXT4 - sogennantes Thin-Provisioning. VMs, Snapshots, usw. benötigen dann nur den Speicher, der auch wirklich belegt ist. Wird Thick-Provisioning gewählt - also LVM (welches in dem Server auf einem EXT4 Filesystem läuft) - dann wird immer der volle Speicher benötigt. Das ist gerade bei der Verwendung von internem Storage nicht zu empfehlen, da sehr viel Speicher verwendet wird. Allerdings bietet einem Thick Provisioning mehr Flexibiliät, gerade mit externen SRs. Das betrifft aber in der Regel keine Homelab. Soll heißen:
Homelab: EXT
Professionelle Umgebung mit SAN: LVM

hmm, du nutzt Proxmox VE6.2 ohne Support Vertrag?

Genau. Drei Server im Cluster Betrieb. Keine Probleme.

Da du ja zu Begin mit beiden Hypervisoren Probleme hattest, glaube ich das es entweder eine Einstellungssache im BIOS/UEFI sein sollte oder das es - was ich nicht glaube - Probleme im Bezug auf ältere Hardware gibt.