PCs für Homelab

[flo36]

Hallo, ich würde mir gern nen kleinen Versuchscluster für Proxmox, VMs, Docker, Kubernetes (Alles was nem Admin im 21ten Jahrhundert eben so Kopfschmerzen bereitet) usw. aufbauen.

Anfangs dachte ich an Asrock X300 mit kleinen AM4 CPUs, gibts beides nicht wirklich im Moment.🤬
Dann kam mir die Idee mit Intel NUC aber da is unter 300€ pro Stück auch kaum was möglich.

Nun kam mir die Idee dafür gebrauchte Office PCs zu verwenden mit z.B. i5-6500(t) oder 7te Generation.
Ich hab mich bis jetzt punkto CPU Leistung bei dem Projekt am CPUBenchmark von Passmark orientiert und nun stellt sich mir grad die Frage ob ich dafür überhaupt so viel Rechenleistung brauche oder ob das überhaupt Sinn ergibt mit dem alten Zeug.

Aktuell ist mein Lab auf dem Hauptpc (R7-5900X mit 32 GB Ram) Da läuft dann virtualisiert in Virtualbox ein Proxmox Cluster der dann wiederum auch VMs, Container usw. hat.

Es soll eben eine Spielwiese aus 2 - 4 PCs werden, aber ich bin mir nicht sicher was sinnvoll ist. Vom Anwendungszenario her macht Blech als Grundlage für einen Cluster schon sinn, da ich glaube, dass Virtualbox für sowas glaub ich garnicht gemacht ist.

Vielleicht hat sich ja jemand schon was ähnliches zusammen gebastelt.

Vielen Dank für Ideen🤯

Lg. Flo

 

[Masamune2]

Was kannst du denn in deiner bisherigen Umgebung nicht testen? Ich sehe da den großen Vorteil nicht dafür das es hinterher so viel Geld kostet.

 

[chrga]

proxmox läuft bei mir auf nem thinkcenter tiny mit nem i5 4570t. Zum Basteln und bei kleiner User Anzahl reicht das völlig, solange du genug RAM parat hast.

 

[flo36]

Ja genau Geld kann ich gern in die Hand nehmen dafür, aber sinnlos verheizen will ich es auch nicht.
Für einen realistischen Rechenzentrumsbetrieb bräuchte ich richtige Server, so weit bin ich schon.
Ich will mir aber keine 4 oder mehr großen HP, Fujitsu etc. Server zulegen nur um ein paar Szenarien mit der Zeit zu testen.

Probleme die mir die aktuelle Lösung macht:
Beim virtuellen Proxmox Cluster mit Ceph hab ich das Problem, dass mir im laufenden Betrieb immer wieder teile des Ceph Clusters wegbrechen. Nicht die gesamte VM oder der Dienst selber, sondern die OSDs und das schon im Leerlauf.

Ein Problem machte auch das Netzwerk punkto Verbindungsstabilität, wobei ich mir da nicht sicher bin obs nicht vielleicht der Onboard Chip meines Mainboards und nicht der VSwitch war.
Internet und Netzwerk auf der Hostmaschine war die ganze Zeit da, aber im VM System immerwieder Mal weg.
Deswegen hab ich die Ceph Kommunikation, so wie die HA von Proxmox z.b. auch in ein eigenes internes Virtuelles Netz (ohne Netzwerkhardwar am Mainboard) abgeschoben.

Dann geht mir oft einfach der Ram aus bei 32GB. Lösung wäre natürlich einfach auf 64 oder gar mehr Ram zu gehen, aber 160€ für Ram ausgeben, nur um dann 2 Wochen Später erst recht andere PCs zu brauchen.

 

[chrga]

unklar wie sehr du auf realistisch gehen willst. Klar, man kann Server hardware nehmen, aber oben sprichst du ja selbst von nem NUC.
Die Serverhardware macht das ja nicht zuverlassiger im Sinne von "dann geht das Netzwerk besser" sondern sie ist ja nur ausfallsicherer, was bei Dir ja keine wirkliche Rolle spielt so wie ich das verstehe. In so fern sollte das mit jeder x86 Hardware laufen würde ich sagen, so lange du genug Ram hast.

 

[Digitalzombie]

proxmox läuft bei mir auf nem thinkcenter tiny mit nem i5 4570t. Zum Basteln und bei kleiner User Anzahl reicht das völlig, solange du genug RAM parat hast.

Hier auch (aber Zotac, nicht Lenovo)!
8GB RAM ist ein bissi knapp, aber trotzdem erstaunlich nutzbar.

 

[TheHille]

Schau mal hier im Forum.
Von VBOX als Grundlage einer BM-Hypervisors solltest du wegkommen.
Für Proxmox empfehle ich dir zumindest drei Nodes für einen Cluster (ja, es gibt auch Optionen mit zwei Nodes, da muss man etwas basteln, wenn auf einen Raspberry zurückgegriffen wird).

Im Grunde kommt es drauf an, was du bereit bist zu investieren.
Gebrauchte Server gibt es en masse und vergleichsweise günstig. Allerdings sind die beim Stromverbrauch nicht ohne.

Alternativ stromsparende Mini-Rechner oder Selbstbau von Ebay weg.

Edit: Vielleicht sind die Qotoms keine schlechte Option, die haben auch massig LANs für deine Zwecke.

 

[flo36]

Alles klar, also gehts eigentlich nur um den Ram und der Prozessor sollte, wenn eine gewisse Mindestleistung gegeben ist, egal sein oder?

Ergänzung (17. März 2022)

Schau mal hier im Forum.
Von VBOX als Grundlage einer BM-Hypervisors solltest du wegkommen.
Für Proxmox empfehle ich dir zumindest drei Nodes für einen Cluster (ja, es gibt auch Optionen mit zwei Nodes, da muss man etwas basteln, wenn auf einen Raspberry zurückgegriffen wird).

Im Grunde kommt es drauf an, was du bereit bist zu investieren.
Gebrauchte Server gibt es en masse und vergleichsweise günstig. Allerdings sind die beim Stromverbrauch nicht ohne.

Alternativ stromsparende Mini-Rechner oder Selbstbau von Ebay weg.

Ja daher auch mein Lab mit 4 Ceph und einer VM Maschine bei Proxmox. Finale Konfig sollte sein: 3 Ceph und 2 VM Maschinen bzw. die 3 Ceph Maschinen als Fallback für die VMs.
Aber das is nur das Proxmox Szenario.

Ich würde darauf oder zeitweise auch z.b. statt der beiden VM Maschinen auch Windows Server bzw. Azure drauf laufen lassen und damit dann die Verbindung zu Ceph probieren.

Es wäre einfach ein komplettes LAB.

Schön wäre eben auch nicht zu warm, nicht zuviel Stromhunger und nicht zu viel Lautstärke.
Daher die Idee mit den Minipcs.

Bei den gebrauchten Servern finde ich überall nur Geräte ab 250€ wenns auch nur halbwegs aktuell sein soll.

 

[TheHille]

Bei den Rechnern würde ich schon auf die CPU (Kernzahl) und RAM (je mehr desto besser) schauen.
Wenn du aber mehr Nodes hast, kannst du ja auch kumulieren.

 

[wahli]

Mir stellt sich die Frage, ob dein Ceph Cluster auf einer anderen Hardware mit Proxmox dann stabil läuft.
Vielleicht suchst du nochmals nach dem Fehler im aktuellen Setup.

Falls neue Hardware angeschafft wird:
CPU spielt kaum eine Rolle, trotzdem würde ich nicht unter einem i3 gehen. Die Single-Core-Leistung ist da einfach top. Das wichtigste ist genügend RAM.
Bei mir läuft Proxmox auf einem NUC8i3 perfekt und super sparsam.

Vielleicht wäre dieser NUC etwas für dich --> klick

 

[flo36]

Hmm ok alsozusammen gefasst mal folgende Punkte:

• Auf jeden Fall weg von Virtual Box
• Prozessor quasi ausreichend wenn i3 neuere Generation oder i5 auch etwas ältere Gens.
• Ausreichend Ram

Hyper-V will ich eigentlich garnicht zurück, da hat mir zwar gefallen, dass es ein Typ 1 Hypervisor ist aber die Netzwerk Funktionen und möglichkeiten zur Hardwaredurchreichung selber waren irgendwie nicht das wahre.

Es soll ja auch, ein wenig in die Zukunft gedacht, der Weg am Haupt PC eventuell auch weg von Windows gehen. Bzw. Windows einfach zum Zocken in ner VM und die Grafikkarte dann ans System durchreichen.