Server für Virtualisierung

[neo-logism]

Hallo.

Ich möchte mir eine Server für Virtualisierung (Proxmox) zusammenstellen, um meine bisherige Systeme (3x Dell T1600 - modifiziert) zu ersetzen.

Ich habe dafür folgendes System zusammengestellt:

https://geizhals.de/?cat=WL-2419670

Dieser soll dann zukünftig auch in ein Rack (sobald ich weiß wohin damit ^⁾ wandern, daher das Gehäuse und die Schienen.

Ich bin mir vor allem wegen dem RAM unsicher, vielleicht reicht auch ein geringer getakteter aus, bzw. die Frage, ob dieser zum Board kompatibel ist (das musste ich erst letztens schmerzlich mit RAM feststellen, der nicht zu meinem Desktop-Board kompatibel ist.
Auch ist das Netzteil vielleicht eine Nummer zu groß, aber ich möchte ihn so leise wie möglich...

Was haltet ihr davon?



Weitere Fragen des Templates:


…
Q: Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?

A: In ca. 2 Wochen kaufen
…

Q: Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von freiwilligen Helfern)?

A: Selber zusammenbauen, so wie bisher auch

…

 

[Fujiyama]

Da fehlen noch einige Informationen.
Generell, was wird den überhaupt auf den VMs so gemacht?

 

[Tornhoof]

Moment, du willst ein Desktop Board ohne IPMI in ein Rackgehäuse packen und damit in ein Rack?
Also falsches Motherboard, eine passende Alternative wäre ASRock Rack X570D4U-2L2T (und dazu dann ECC RAM)

 

[honky-tonk]

was soll in den VMs laufen?

auf keinen fall ne wakü verbauen, wenn der server zuverlässig sein soll.

brauchst du nicht noch eine minimal grafikkarte?!

und das ist kein server, das ist ein desktop im server gehäuse.

beim netzteil sollten auch 4-500W reichen. und es heist nicht, je mehr watt desto leiser das netzteil

 

[0x7c9aa894]

• zuviel CPU Power
• kein ECC RAM
• kein Server MB, läuft das überhaupt ohne GPU?
• Consumer SSD ohne PLP Edit: nimm die Samsung PM9A3
• kein 10GbE
• Wakü AIOs sind nicht empfehlenswert
• Edit: Die Silent Wings 2 sind eine Katastrophe nimm entweder die 3 oder Arctic P12/14 oder Noctua

 

[KoKsPfLaNzE]

Ich würde auch eher auf eine andere CPU gehen und ein Serverboard mit ECC und IPMI.

ich selbst habe so ein ähnliches Setup mit einem Xeon Silver 4210 und eine Supermicro X11SPM.

Ob nun DC oder Customer SSDs ist deine Sache aber es sollten sicher schon 2 sein.

 

[M-X]

Was soll das Ding überhaupt machen ? So kann man keinerlei Empfehlung abgeben.

 

[neo-logism]

Hier wird ja gleich geschrieben wie wild.... Gut, dann mal soweit alles beantworten

Grundlegend:

Ich bin DevOp und ein Großteil meiner Aufgaben dreht sich um Infrastruktur und deren Probleme. Ich habe festgestellt, dass es für mich oft einfacher ist, die externen Systeme nachzustellen oder neue Projektierungen vorab bei mir zu testen. Ziel ist es daher NICHT 24/7 das System am laufen zu haben, sondern eben bei Bedarf. Bisher haben das die Dells erledigt (Aufgewertet mit 16GB RAM und jeweils einer SSD). Dennoch bin ich an meine Grenzen was CPU und RAM angeht und der Strombedarf lag bei ca >350 Watt.

• Grafikkarte: Nehme ich aus den Dells, sind Nvidia Quadro 400, reicht für das nötigste...
• RAM: Ist mir persönlich nicht so wichtig, ich kann aber nicht sagen was die Frequenzen und Timings nun für einen Unterschied in der Performance machen
• kein 10GBE: für meine Zwecke reicht das 2.5GBE aus, ich habe auch kein 10GBE (da zu teuer für Privat)
• Netzteil: Soweit ich das bei den Kurven gesehen hatte, haben die meisten Netzteile bei 30-70% Auslastung die Höchste Effizienz, ich kann aber gerade nicht einschätzen, wie viel so ein System ziehen wird... Ich nehme auch gerne kleiner...
• WAKÜ: Ich Habe etwas gesucht, was mir möglichst viel Wärme möglichst leise und wartungsarm abführen kann. dachte dafür wären die AIOs gedacht... zumal der Platz nach oben limitiert ist..,
  Was schlägst du denn für eine Alternative vor?
  
  
  Vielen Dank :-)

 

[M-X]

Jetzt wissen wir leider trotzdem nur das dir die 3x T1600 zu langsam waren, aber nicht was du zukünftig an Leistung brauchst. Kannst du vielleicht mal die laufenden Anwendungen näher skizzieren ? Was ist denn bei den heutigen Kisten der limitierende Faktor ?

Wenn ich DevOps höre vermute ich das ist etwas berufliches ? Willst du da sicher eine selber zusammengebaute Kiste haben ? Was ist wenn das Ding ausfällt ? Kannst du ne Woche warten bis die Teile da sind ?

Von einer Wakü würde ich auch Abstand nehmen.

 

[neo-logism]

OK, praktisches Beispiel:

Ich habe vor kurzem eine Konfiguration für das Deployment ein Kubernetes Cluster getestet. Es wurden insgesamt 13 VM erstellt und eingerichtet. 3 Master Modes, 5 Worker, ein Loadbalancer und 3 storage Nodes. das alles geschieht mit Terraform und Ansible Automatisch, ist ein Fehler drin, muss im diese zum Teil noch einmal wegräumen und wieder neu aufsetzen.

Dann teste ich zum Teil auch ob und wie die Anwendungen sich in Cluster verhalten, wie viele Ressourcen sie brauchen um eine entsprechende Konfiguration zu finden.

Manchmal brauche ich aber auch einfach nur so eine VM, musste ein 200GB SVN nach Git migrieren... Auf einem Desktop unmöglich und beim Kunden schon gar nicht....

Ergänzung (31. März 2022)

PS: Das System würde mir quasi als Arbeitsgerät finanziert in dem aktuellen Preisrahmen. Ist quasi ein Bonuszahlungen mit praktischem Nutzen.

 

[M-X]

Naja ein leeres K8s Cluster braucht ja quasi keine Leitung (außer ggf etwas RAM aufgrund der vielen VMs). Wo limitiert denn heute dein Setup?

Und was ist mit Verfügbarkeit ? Ist es OK eine Woche oder länger auf Teile warten zu müssen ?

Und wenn es primär ums testen geht ? Wäre da nicht AWS oder Azure billiger ? So nen Cluster für paar Minuten laufen lassen kostet ja quasi kein Geld.

 

[honky-tonk]

WAKÜ: Ich Habe etwas gesucht, was mir möglichst viel Wärme möglichst leise und wartungsarm abführen kann. dachte dafür wären die AIOs gedacht... zumal der Platz nach oben limitiert ist..,
Was schlägst du denn für eine Alternative vor?

hier kommen halt oft threads hoch mit "CPU temperatur 100C und PC langsam" da ist meist die pumpe der AIO defekt. bei nem luftkühler passiert es selten/nie, dass der lüftermotor kaputt geht. daher ist luft einfach zuverlässiger. Als alternative würde ich hier mal ein noctua kühler ansetzen da sind alle modelle sehr gut und leise.

 

[neo-logism]

Bzgl Verfügbarkeit: nein, es stört nicht, wenn ich ein paar Tage darauf warten muss, es ist ja quasi eine Zusatzoption.

Es sollte ja ein Bonus sein, quasi wie andere ein Smartphone bekommen.

AWS/GKE ist keine Option, Ionos und co sind zu teuer oder zu unflexibel.


Meine T1600 waren bei dem Setup ganz schön am schuften, klar kein Vergleich zu einem ryzen, aber habe gerne Spielraum.
Wer weiß, vielleicht wird er in 3 Jahren nicht mehr benötigt und ich verwende ihn dann noch als Workstation ...

Ergänzung (31. März 2022)

hier kommen halt oft threads hoch mit "CPU temperatur 100C und PC langsam" da ist meist die pumpe der AIO defekt. bei nem luftkühler passiert es selten/nie, dass der lüftermotor kaputt geht. daher ist luft einfach zuverlässiger. Als alternative würde ich hier mal ein noctua kühler ansetzen da sind alle modelle sehr gut und leise.

Danke. Dann werde ich wohl doch Mal wegen der Höhe und den verfügbaren Noctua suchen

 

[0x7c9aa894]

Das System würde mir quasi als Arbeitsgerät finanziert in dem aktuellen Preisrahmen. Ist quasi ein Bonuszahlungen mit praktischem Nutzen.

Es sollte ja ein Bonus sein, quasi wie andere ein Smartphone bekommen.

Das ist keine gute Idee, es ist immer die Frage was dann als Gegenleistung verlangt wird, z.B. ständige Verfügbarkeit. Man kann sowas auch ablehnen. Ich war da, und heute trenne ich strikt Berufliches von Privatem.

 

[neo-logism]

Das ist keine gute Idee, es ist immer die Frage was dann als Gegenleistung verlangt wird, z.B. ständige Verfügbarkeit. Man kann sowas auch ablehnen. Ich war da, und heute trenne ich strikt Berufliches von Privatem.

Keine, hier ist es für beide Seiten einfach von Vorteil eher auf die Hardwareb zu setzen.

Aber wieder zurück zum eigentlichen Thema. Ich habe noch eine zweite Liste gemacht, in die ich die Vorschläge z.t. schon eingebaut habe.

IPMI klingt zwar ganz gut, aber kann ich das nicht auch mit blikvm erreichen? Wie gesagt, er steht zu Hause, nicht in einem Rechenzentrum.

 

[0x7c9aa894]

Ich komme aus der Homelab-Ecke und alles was ich mache ist mein Bier. Wenn man die Szene verfolgt merkt man schnell, daß sehr viele Leute eben gebrauchtes oder auch neues "Enterprise-Equipment" verwenden. In dieser Hinsicht ist der Übergang fließend.

Aus rein technischer Sicht ist das Problem, daß viel Boards ohne GPU nicht starten. Ein Workaround ist ein IPMI, das entweder eine Konsole, oder sogar eine grafische Ausgabe ermöglicht. Es geht da auch um den Stromverbrauch des Servers, da eine GPU auch eine gewisse Grundlast hat. Du hast aber eine GPU, also brauchst Du dir da auch keine Gedanken zu machen.

Edit: Bei Consumer Hardware kommt dazu, daß man nur eine sehr begrenzte Anzahl an PCIe Lanes hat, und eine GPU verbrät mal schnell einen 16x Slot, den man gerne für etwas anderes verwendet hätte, wie einen HBA, oder NVMe ...

Edit2: Gerade wenn man gebrauchtes Zeug kauft, ist das noch "old Tech" also PCIe 2.0 - 3.0 da braucht man einfach die PCIe Lanes.

Edit3: Damit wir nicht den Fokus verlieren. Das waren die Gründe warum man einen IPMI in einem Homelab will. Bei Firmen gibt es noch mehr Gründe. In deinem Fall ist wohl eher nicht relevant.

 

[neo-logism]

Bei den Lüftern gibt es bei Noctua quasi nur 2 mögliche Varianten:

Noctua NH-C14S​

oder

Noctua NH-U9S​

Der NH-U9S hat zwar weniger Durchsatz, könnte aber sinnvoller sein, aufgrund des Airflow.



Für die Front wären es dann die

Noctua NF-S12A PWM​

für die Rückseite je nach der Anzahl der 4 PIN Stecker

Noctua NF-A8 PWM oder Noctua NF-A8 5V​

 

[honky-tonk]

da es ein server rack ist, wäre ein NH-U9S wohl vom airflow besser.

der NF-A8 5V ist ein 5v lüfter...da wäre die pwm version vorzuziehen. die lüfter kannst du auch über Y-Kabel betrieben, wenn überall die selben modelle dran hängen.

 

[neo-logism]

da es ein server rack ist, wäre ein NH-U9S wohl vom airflow besser.

der NF-A8 5V ist ein 5v lüfter...da wäre die pwm version vorzuziehen. die lüfter kannst du auch über Y-Kabel betrieben, wenn überall die selben modelle dran hängen.

@5V ok, hab das falsch interpretert... ging darum eine 3pin lüfter auszuwählen, wenn nicht genügend 4 pin auf dem board sind...

Ergänzung (31. März 2022)

Der Arbeitspeicher ist wie gesagt auch noch so eine Frage. Habe eigentlich nicht vor zu übertakten (macht in einem Server keinen Sinn?). Würden damit nicht auch "normale Module mit der entsprechenden Spezifikation reichen?
z.B.

G.Skill RipJaws SO-DIMM Kit 64GB​

 

[honky-tonk]

Der Arbeitspeicher ist wie gesagt auch noch so eine Frage

das wäre so-dimm...du braucht normale, keinen notebook speicher. bei deinem vorhaben dürfte sogar non-ECC ram genügen.