ProxMox System mit diversen VMs

[chr1zZo]

1. Möchtest du mit dem PC spielen? NEIN!

• Welche Spiele genau? …
• Welche Auflösung? Genügen Full HD (1920x1080) oder WQHD (2560x1440) oder soll es 4K Ultra HD (3840x2160) sein? …
• Ultra/hohe/mittlere/niedrige Grafikeinstellungen? …
• Genügen dir 30 FPS oder sollen es 60 oder gar 144 FPS sein? …

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
ProxMox und diverse VMs

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
Leise

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
Wird keiner benötigt

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

• Prozessor (CPU): …
• Arbeitsspeicher (RAM): …
• Mainboard: …
• Netzteil: …
• Gehäuse: …
• Grafikkarte: …
• HDD / SSD: …

Nichts vorhanden.

6. Wie viel Geld bist du bereit auszugeben?
2000€

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Zeitnah

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von freiwilligen Helfern)?
Selber zusammenbauen

Hallo Freunde, heute mach ich auch mal einen Thread

Ich bin mir derzeit unschlüssig ob Intel oder AMD nehmen soll für einen ProxMox Server wo ich diverse VMs drauf machen möchte. Er soll überwiegend als Playground fungieren, aber ein paar diverse VMs als Usefull Case nutzen.

VMs sollen sein: Backup, Sophos, pfSense, verschiedene Linux Distris zum Testen wie z.B. Debian, QubeOs, CentOs etc, Kali, Parrot sowie Windows Server um weitere Fähigkeiten mit AD und DomainControllern zu erlangen.

Das Gehäuse darf gerne etwas Kompakt sein, aber guten Airflow haben. Eine Onboard GPU würde reichen, kann aber auch was kleines rein. RAM denke ich mal 32-64GB. CPU Cores gerne ab 10 und mehr.

Vielleicht nutzt ja einer ProxMox und hat paar Erfahrungen zur Auslastung usw. was also wirklich sinnvoll wäre.

 

[Rickmer]

Eher denn viele CPU-Kerne würde ich bei 'rumprobieren' eine große SSD als wichtig sehen. Wenn man ständig auf lahmen Storage warten muss, vergeht schnell die Lust auf Experimente.

Für Proxmox (oder sonstwie Hypervisor) rumexperiementieren würde ich auf Intel Alder Lake (12th gen) verzichten, sondern dann eher zu älterem Intel oder zu AMD greifen.

Wenn du ECC RAM willst bist du bei Intel auf Server-Komponenten oder sehr spezifische CPU-Modelle (meistens core i3) angewiesen. Bei AMD geht da deutlich mehr.


Ich denke auch nicht, dass du 10 CPU-Kerne brauchst - ein paar VMs brauchen nicht viel Leistung, solange die nicht aktiv ausgelastet werden. Der R5 3600 in meinem Heimserver ist schon kompletter Overkill, da sind meine 1TB SSD und 32GB viel schneller das Limit.

 

[0x8100]

CPU Cores gerne ab 10 und mehr

das ist übertrieben, die VMs idlen im grunde vor sich hin. ich sehe nichts was bei dir hohe cpu last verursachen würde. tipp: als cpu-typ "host" anstatt kvm64 wählen. dann hat man auch die cpu-features wie aes-ni in der vm, womit das ganze performanter läuft.

 

[Pako1997]

Ich würde es da auch eher im Bereich unter 1000€ halten, das sollte für die Anforderungen reichen. Die Frage ist ja, normaler RAM oder ECC. Brauchen wirst du ECC eher nicht, denke ich.
Effektiv also die Frage wie viel Geld du ausgeben möchtest, ob es eher günstig sein soll oder du 2000€ ausgeben willst.

Brauchst du eine dedizierte Grafikkarte? Falls nicht wird es erneut deutlich günstiger.

 

[chr1zZo]

ECC RAM werde ich nicht zwingend brauchen. Eine dedizierte GPU muss aktuell nicht sein. Ja, da habt ihr schon recht, nutze ja nicht jede VM mit Volllast. Werde ja auch nicht alle gleichzeitig laufen lassen zum Testen. SSD Speed und Size war mir bewusst, da muss keine HDD zwingend rein.

 

[madmax2010]

Wie schaut dein stromanbieter aus und wie viel der aktuellen marktlage hält er von dir weg?
Bedenke, dass die Preise für alle angezogen werden.
Rechne also mindestens mit 3 Euro pro Jahr pro Watt grundlast.

Macht im 24/7 Betrieb von so einem System mindestens 500 Euro im Jahr, eher mehr.

Aber auch schon mit deinem Basis Budget, kannst du super nen ax101 für 2 Jahre mieten:

https://www.hetzner.com/dedicated-rootserver/matrix-ax

Dann hast du 128 GB RAM, 2x 4tb NVMe, AMD 5960x und einen richtig flinken uplink mit geiler Anbindung.

Der Reicht dann auch, um Dienste zu hosten, die von sehr vielen Menschen simultan genutzt werden.
Videokonferenzen bekomme ich mit knapp 3000 Teilnehmenden da drauf.
Oder Webanwendungen kleine Webanwendungen fuer bis zu 50.000 User.
Oder nextcloud fuer ein paar Tausend leute...
Die Haben schon Performacne

 

[thuering]

Nur ganz wenige Mainboards erlauben bei AMD die Aktivierung von ECC. So einfach ist das Thema also bei Team Rot auch nicht. Ich sehe ECC auch nicht als must-have. Speicherfehler sind heutzutage extrem selten und Dank MemTest86+ u.ae. kann man sowas vor Ablauf der Widerrufsfrist ausgiebig durchtesten.
Ich empfehle einen i9-12900K, der Dank GVT-g seine iGPU auch gleich an mehrere VM gleichzeitig vollwertig durchreichen kann, z.B. fuer Videobeschleunigung in mehreren VM.
Dazu ein Asus Prime Z690M-PLUS D4 (Micro-ATX) und 128 GB DDR4-3600 RAM.
Arctic Liquid Freezer II 240/280/360, je nach Gehaeuse.
120/250 GB SATA SSD fuer Proxmox, 2000 GB Samsung 970 Evo Plus fuer die VM. Kleines Gehaeuse, kleines Netzteil wie z.B. Pure Power CM 400W. Summa Sumarum: ~1700 Euro oder weniger.

 

[whats4]

hm, wozu ein thread über einen server... ...wenn der dann aus gaming hardware halt ohne graka bestehen soll?

 

[scoutone]

Hi ... ich hab grad selbst erst mein "Homelab" aufgerüstet .. hatte zuerst nen DELL Poweredge R220 mit Xeon 1231 V3 drin, 32 GB RAM und 2x 2 TB im Raid 1 ... im idle war das alles ok, aber wenn man das rumspielen angefangen hat, waren die 4 Kerne + HT schon ein bisschen langsam.

Hab jetzt nen Supermicro Serverboard mit Xeon E5 2670 V2 (10 Kerne + HT 2,5 GHz Base mit 3,3 GHz Boost), 64 GB RAM und 6 x 3TB WD RED Platten im Raid 10 in einem Inter Tech IPC 4408 4U Gehäuse drin ...
passt grad noch so in mein 60 cm tiefes Rack kann dafür aber nen EATX Board aufnehmen und hat 8x 3,5" Hot Swap und 6 x 80 mm Fans .. von daher maximale Ausbeute auf minimalem Platz.
Und sollte die Power mal nicht reichen ist noch nen 2. Sockel und noch 8 weitere RAM Slots zum erweitern vorhanden. mit 2 mal Xeon E5 2697v2 (12 Kern + HT 2,7GHz Base und 3,5 GHz Boost) haste schon 48 Threads und die 8 RAM Slots je CPU nehmen glaub 32 GB Module im Maximum auf .. 16x32 = 512 GB RAM ... das sollte in Maximalkonfiguration also ausreichen um jegliche Ansprüche an nen Homelab zu erfüllen.
Dank integriertem IPMI brauch ich nie nen Bildschirm ETC anschließen.
Preislich hab ich alles zusammen für um die 500 € bekommen.

Laufen tut da aktuell:
DNS Filter (sowohl über IP als auch Windows Domain User kann gefiltert werden), Windows Domain Controller, Docker mit 5 Containern, WindowsSQL Datenbankserver, nen Windows 11 zum probieren, 3 Windows 10 Maschinen und nen XPenology (Synology) NAS .. und das ganze unter Proxmox 7.
Dank dem Raid 10 aus 6 HDDs kann ich aktuell über Performance nicht klagen. Das Netzwerk bekommt demnächst noch nen Upgrade auf 2x 2,5 GBit.
Ich kann nur empfehlen .. besorg dir ausrangierte Serverhardware .. da bekommste echt viel für wenig Geld
Der RAM ist natürlich DDR3 Registered ECC ...
.. im Maximalausbau haste gegenüber dem I9 12900K mit 128 GB RAM ... doppelt so viele Threads und 4 mal so viel RAM ..... ach ja und 1000€ gespaart.. ach ja und das bei gleicher Leistungsaufnahme
Bei Fragen dazu .. gerne PN

 

[whats4]

so stell ich mir das schon eher vor

 

[Testa2014]

Was spricht gegen einen fertigserver ala Dell T40? Wäre mit max 64GB RAM im Rahmen und kostet keine 500€. Falls das nicht reicht, verkaufst du ihn wieder und nimmst was größeres. Für den Home Bereich sollte das mehr als ausreichen.

Habe einen rumdödeln mit Proxmox, Joar, die meiste Last zieht ne In Memory DB beim Start. Rest des Tages langweilt der sich mit keinen 15% Auslastung (kommt hauptsächlich durch die DB, wenn die aus ist im einstelligen Bereich) oder ist halt aus. Kommt natürlich auf den anwendungsfall drauf an, bei mir sind das 2x DB VM, 2x NAS Container, Webserver Container, Windows Desktop und zum Schluss n kleiner Container für microservices. Sogar n alter T20 vollrichtet noch immer den Job, aber nur mit 32GB RAM.

@scoutone schönes Setup, was zieht das den aus der Dose im Leerlauf? Wird doch irgendwas jenseits der 50W sein. Da bin ich mit meinen 22W sparsam.

 

[scoutone]

@Testa2014 ... der Server gönnt sich so ca 90 W (24 W davon die HDDs und 5W die Lüfter) ... könnte natürlich auch gern weniger sein aber es ist eben nicht alles gute beisammen ...
ich schlüssel mal den Verbrauch auf:
6 Lüfter: 5W, 6 HDDs a 4W: 24W; 8 RAM Module a 1,5W: 12W, Raidcontroller DELL PERC 310H 5-10W, IPMI 4W der Rest verteilt sich auf die 1 SSD auf der Proxmox drauf ist (hab ich vergessen zu erwähnen), CPU Kühler, Board und CPU

 

[F31v3l]

Bitte zu den Begriffen, die da in den Raum geworfen werden, auch mitteilen, was quasi 24/7 laufen soll/muss und was die VMs machen (Load).
Die ganzen Server hören sich nett an. Wenn man allerdings die Leistung nicht nutzt, ziehen die halt ordentlich Strom. Wer da keine PV-Anlage hat, wird dann schnell "arm".

 

[HerrRossi]

Diese Boards hier finde ich ganz interessant, damit kann man sich dann einen kompakten VM-Server bauen, die CPU-Leistung liegt knapp unterhalb eines Ryzen 7 1700X: https://geizhals.de/?cmp=2005070&cmp=2005071

 

[Rickmer]

Hab jetzt nen Supermicro Serverboard mit Xeon E5 2670 V2 (10 Kerne + HT 2,5 GHz Base mit 3,3 GHz Boost), 64 GB RAM und 6 x 3TB WD RED Platten im Raid 10 in einem Inter Tech IPC 4408 4U Gehäuse drin ...
passt grad noch so in mein 60 cm tiefes Rack kann dafür aber nen EATX Board aufnehmen und hat 8x 3,5" Hot Swap und 6 x 80 mm Fans .. von daher maximale Ausbeute auf minimalem Platz.

Sowas geht aber auch nur wenn man den Platz hat, um einen Rack irgendwo aufzustellen, wo der Lärm nicht bis zu den Wohnräumen durchdringen kann. In meiner Mietwohnung ist so ein Setup völlig unmöglich.

Nur ganz wenige Mainboards erlauben bei AMD die Aktivierung von ECC. So einfach ist das Thema also bei Team Rot auch nicht. Ich sehe ECC auch nicht als must-have. Speicherfehler sind heutzutage extrem selten und Dank MemTest86+ u.ae. kann man sowas vor Ablauf der Widerrufsfrist ausgiebig durchtesten.

Ein Beispiel für ein ECC-fähiges AMD-Setup ist in meiner Signatur. Es gibt zwar auch deutlich günstigere Boards, die ECC bieten, aber mit IPMI, ausgezeichneter Connectivity und der Möglichkeit zum vollkommen passivem Betrieb gibt es etwas weniger Auswahl.

 

[scoutone]

zum Thema Lautstärke und Platz ... ja nen Rack muss man irgendwo hinstellen, daher hab ich auch nur eins was 60 Breit und 60 Tief ist und kein full Size Server Rack. Da passt das genannte Gehäuse grade so rein. Ich hab das extra in ein 4U Gehäuse gepackt, damit man leise Lüfter verbauen kann. Das Rack hat 50 cm davor einen Geräuschpegel von 29 dB was schon kaum hörbar ist. Man könnte die Gittertüren noch durch geschlossene ersetzen und Akustikschaum einbauen.. dann kommt man noch mal 2-3 dB runter. Die Hardware könnte man aber genauso in ein größeres Midi Tower Gehäuse bauen .... also Rack ist kein muss.

Ich hab ein Rack, weil ich da drin meine komplette Netzwerk und TV Verteilung vom Haus realisiert hab.

Da ist nen SAT Multischalter drin (4 Zuleitungen 8 Abgänge), eine Ubiquiti UDM Pro, ein Ubiquiti 24 Port Switch Gen2 (leider sind die Ports schon voll XD), 3 x 24 Port Keystone Patchpanels der Ordnung halber, der genannte 4U Server, der DELL Poweredge R220, ein weiterer 2U Server (Altlast aus Zeiten vor dem Dell R220) ... demnächst zieht noch eine 2U USV ein und dann ist das Rack mit seinen 27 HE schon ganz gut bestückt ... trotzdem kann man an alles gut ran.

 

[scoutone]

jetzt muss ich noch mal was zum Thema ECC loswerden

ECC ist nicht dafür da kaputte Speichermodule zu korrigieren ... das hat also gar nix damit zu tun ob MemTest86+ durch läuft oder nicht

ECC ist dafür da um eventuell auftretende Signalfehler, z.B. durch Spannungsschwankungen, zu erkennen und zu korrigieren damit am ende der richtige Code ausgeführt oder eben die richtigen Daten übertragen werden.

Systeme wie Proxmox, VM Ware ESXI oder Hyper V auf denen mehrere VMs laufen sollen .. und das möglichst unterbrechungsfrei .. meine persönliche Meinung: da gehört einfach ECC Speicher rein. Preislich ist DDR3 Registered ECC aktuell für 0,80-1,20€ / GB zu kaufen. Ebay ist voll mit DDR3 Server Hardware der letzten Generation. Ich würde da auf keinen Fall irgendwas wie 12900K oder gar Threadripper rein bauen. Welcher Server braucht bitte 5Ghz? Die Anwendungen die viele aktuell in ihren Homelabs laufen haben, arbeiten auch mit 2,5-3,5 GHz schnell genug.
Wer natürlich unbedingt einen 12900K und ne RTX3090TI in seinem Proxmox Host haben muss weil er ne VM zum spielen aufsetzen will ... so mit PCIE Passthrough und so .... der kann das ja machen.

"mein Fazit" Hypervisor für Homelabs lieber mit Hardware aufbauen die für 24/7 konzipiert ist ... und da muss es nicht das neuste vom neuen sein ... die Teile gammeln eh die meiste Zeit irgendwo bei 1-10 % Last rum