Neuer Proxmox Homeserver

[GrillSgt]

Habe mir nen neuen Proxmoxserver konfiguriert und gebaut.

Möchte darüber kurz berichten und ein paar Denkanstöße für Interessierte geben. Ich habe mir lange Gedanken über die Auswahl der Komponenten gemacht. Sicherlich könnte man hier lange rumdiskutieren, aber für mich passt das so.
Komponenten:

• Gehäuse Jonsbo C6 (Gerät steht in meinem 12 HE Schrank)
• Mainboard: Asus TUF Gaming B650M-Plus Wifi (ohne war teurer, außerdem kann ich BT gebrauchen)
• CPU: APU AMD Ryzen 9600X
• RAM: 2x32 Crucial Pro DDR5 5600 MHz
• Massenspeicher: 1x 256 GB NVMe Lexar NM620 für Proxmox selbst, 1x 4 TB Lexar NVMe NM790 für die VMs (hatte ich schon)
• CPU-Kühler: Noctua NH-L12S
• Netzteil: be quiet! Pure Power 13M 550 W
• Netzwerkkarte: Intel mit 2x 10 Gbps Ports (hatte ich schon) - wird ggfls. noch getauscht.

Zum Gehäuse muss ich sagen, das Jonsbo C6, na ja die Qualität ist "O.K." für den Preis - mehr aber auch nicht. Die Nupsis an der Frontabdeckung sind kaputt, daher halte kann sie nicht befestigt. Na ja, da Sorge ich gerade für nen Austausch.
Die Auswahl des Kühlers ist bekanntermaßen durch die Gehäusegröße beschränkt. Es passt soweit alles. Aber wird der RAM aufgerüstet oder soll die NVMe an der CPU getauscht werden muss ggfls. der Kühler noch mal runter.
Ganz bewusst gewählt habe ich die NVMe Konfiguration. Ohne RAID, ohne Hotswap. Für daheim kostet das - für mich - unnötig Geld und die Ausfallwahrscheinlichkeit ist heute auch nicht mehr so hoch, das Gehäuse aufzuschrauben auch keine Arbeit. Auch wäre ein Ausfall zwar nervig aber eben "kein Drama" - jedenfalls für mich daheim nicht.
Beim Mainboard waren mir 4 Slots wichtig und die Möglichkeit für 2 NVMe sowie die Option zukünftig die CPU gegen eine Epyc 4464P zu tauschen. Das hat die Auswahl schon eingeschränkt. IPMI o. ä. wäre zwar nett gewesen, aber der Preis für ein so ein Serverboard war mir deutlich zu hoch.

Einstellungen:
Im BIOS habe ich alles aufs Energiesparen und Silent konfiguriert. PBO ist aus, nicht benötigten Komponenten aus (SATA, Wifi, serieller Anschluss etc.). Bisher ist das System praktisch lautlos. Das war für mich sehr wichtig. Der Lüfter der CPU und am Netzteil laufen im Idle bislang nicht mit. Eine Langzeiterfahrung kann ich aber noch nicht geben. Evtl. brauche ich nen Lüfter im Netzwerkschrank.
Bin alles in Allem sehr zufrieden.

Konfiguration:
Proxmox ist wie angesprochen auf der NM620 installiert. Als Dateisystem habe ich ext4 gewählt. Anders auf der NM790 für die VMs. Dort handelt es sich um ein ZFS.
Ich verwende ausschließlich VMs. OPNSense, Proxmox Backup Server, Home Assistant, Nextcloud, Freifunk Offloader, Plex und OMV. Zukünftig wahrscheinlich noch sowas wie ne VDI und ggfls. einen UCS.

Fazit:
Nach einigem Konfigurationsaufwand bin ich "zufrieden" mit dem Energieverbrauch. Hatte eigentlich gehofft ihn unter den Wert meines alten Servers mit Xeon 1241 zu drücken. Das hat nicht so ganz geklappt. Ein Sparwunder ist das System insofern nicht geworden - aber mir ist es das wert. Habe allerdings alles was ich nicht brauche deaktiviert. Ebenso die LED vom Gehäuse.

Falls noch Fragen sind, gern melden.

Gruß
Michael

 

[Mickey Mouse]

kurz: halte ich für "sinnlos"!
einer meiner Proxmox "Server" läuft auf einem Deskmini X300 / 5700G mit ebenfalls 64GB RAM und der NM790 4TB SSD.
ich habe es leider nicht geschafft, die "magische" 10W Grenze zu knacken, aber mit ca. 11W im Leerlauf (aus Steckdose mit kalibrierten Messgerät) liegt die Kiste nur unwesentlich darüber.

ich habe jetzt nicht gefunden, was dein System zieht?!?

wie gesagt, der Deskmini ist nur EINER meiner Proxmox Server, ich habe mehrere! Reicht einer nicht aus, nimmt man einfach zwei! Ich hätte zwar auch drei Systeme, die will ich aber nicht alle 24/7 laufen lassen. Daher läuft auf einem alten Pi-Zero noch ein QDev und ich kann auch nur mit zwei Proxmox einen Cluster bilden, bei dem auch noch ein System offline sein kann und der andere immer noch weiter läuft.

das halte ich(!) für die deutlich bessere Alternative!

und ja, einer der anderen "Umwelt-Säue" hat ein vollständiges IPMI/BMC und kann daher auch von Remote jederzeit gestartet und konfiguriert werden, WENN ich es denn brauchen würde.

 

[oicfar]

@GrillSgt yo, kann man machen.

Wozu so starkes Netzteil?

 

[floklo4]

Wieso alles in VMs? Viel zu viel Overhead. Plex kannst du als LXC inkl. Hardware Transcoding laufen lassen. Gerade AMD ist meist stromhungriger im Idle als Intel.

 

[Der_Dicke82]

Genau das was @floklo4 schreibt! Alleine alles in VMs zu packen sorgt wahrscheinlich dafür das die CPU so gut wie nie zum idle kommt, weil der VM Overhead bedient werden muss.

Dann gilt natürlich auch, wenn AMD dann eine APU mit monolithischem Aufbau und keine chiplet CPU, die sind im idle leider eine Katastrophe.

Ich schätze du liegst so bei 50 Watt ohne große Last vielleicht sogar mehr durch den Netzwerk NIC. Alleine bei Reduzierung der VMs und Wechsel auf lxc könnte 5-10 Watt bringen. Wahrscheinlich sollte ein Systeme mit dem 9600x bei 35-45 Watt im idle liegen.

Die APUs schaffen es auf 10-15 Watt je nach Board.

 

[GrillSgt]

LXCs sind mir zu wenig isoliert und das Durchreichen von Hardware ist auch ne nervige Fummelei die heir und da auch nur zeitweise oder zufällig funktioniert. Abgesehen haben die mich schon genervt weil sie sich nicht live migrieren lassen und auch deshalb habe ich sie beruflich wie privat alle LXCs eliminiert. Dass die mitunter Ärger machen können beim Backup wie beim Restore hat dem die Krone aufgesetzt.
Und diese Tatsachen können alle Fan-Boys von LXC auch nicht wegdiskutieren.

Wer meint ne Nextcloud ins Netz hängen zu müssen als Container oder sonst gerne in Containern macht, kann das ja machen wenn er das für richtig erachtet. Ist ja jeder selbst der Architekt seiner Umgebung.

Und, die GPU via Passthrough durchzureichen ist bei Plex (nicht Plesk was es auch gibt) auch kein Problem - wenn ich's denn bräuchte. Ist aber eh nicht der Fall weil sämtliche Medien die ich habe Direct Play auf allen meiner Geräten wiedergegeben werden können.
Ist sogar die bessere Lösung als irgendwelchen Kram - der da nichts zu suchen hat - auf den Host zu packen.

 

[floklo4]

Sorry, war noch auf der Arbeit. Deshalb ist aus Plex Plesk geworden

Du musst ja nicht alles in LXC Container packen, aber ein Plex muss nun wirklich nicht seine eigene VM bekommen. HAOS hab ich auch als VM, wie auch Immich und eine Windows VM. Docker mittels Portainer hat auch ne eigene VM. Auf der Portainer VM laufen dann Sachen wie Zoraxy als Proxy Manager, Vaultwarden, RuskDesk, AdGuard, Homarr, Overseer, Wireguard und Watchtover. Keep it Simple. Backups (ohne Plex und Immich) werden nach extern zu Hetzner geschoben. Immich und Plex landen daheim aufm NAS, weil zu groß.

Bedenke immer: Je mehr VMs, desto höher der administrative Aufwand. Update vom OS einspielen und von der Software selber, da hatte ich keinen Bock mehr. Vorher hatte ich alles, was jetzt in Portainer läuft als einzelne VM bzw. LXC.