Wie bekomme ich die Kühlung meiner Xeon E-2x36 CPUs in den Griff?

[ich_heisse_Shag]

Hallo Community,

ich betreibe zuhause ein Proxmox-Cluster bestehend aus drei Servern. Basis ist jeweils Supermicro X11 Mainboard für Inte-Prozessoren der 9. Generation. Ein Server hat einen core-i3 9100F, die anderen beiden einen Xeon. Einmal E-2136 und einmal E-2236. 80W TDP, 6 Kerne mit HT. Der mit der 2 taktet etwas schneller.

Bei den beiden Xeons habe ich das Problem, dass diese in manchen Lastszenarien so heiß werden, dass die Mainboards anfangen zu piepen, um vor einer Übertemperatur der CPU zu warnen. Das ganze geht so schnell, dass auch das Hochsetzen der Lüfter-Settings nicht hilft. (Davon abgesehen, dass ich die Lüfter auch nicht dauerhaft auf 100% laufen lassen möchte.).

(Der i3-9100F hat diese Probleme zu keinem Zeitpunkt)

Die Server mit den Xeons haben ein Fractal R5 Gehäuse mit guter Lüftung, einen Wärmestau kann ich ausschließen.

Wenn nun aber meine Immich-VM anfängt ein neu hochgeladenes Bild zu durchsuchen, fängts an zu piepen. So zuverlässig, dass ich weiß, wenn ich die App auf dem Handy aufmacht und sie fertig ist mit dem Sync, gehts los.

Als ich die Server aufgesetzt hatte, hatte jeder einen Arctic Alpine CO. Da am Anfang noch keine rechenintensiven Aktivitäten liefen, ging das auch erstmal rund ein Jahr gut. Dann hat es das erste mal angefangen mit dem Piepen beim erstellen der Proxmox-Backups. Mittlerweile habe ich mit Immich und HomeAssistant zwei weitere VMs/Container die kurzzeitig hohe Lastspikes produzieren können.

Ich habe inzwischen schon viele CPU-Kühler durchpropbiert. Angefangen mit dem Arctic Alpine CO habe ich welche mit Heatpipes und Kupfer gehabt, dann sogar auf welche ohne Heatpipe-direct-touch umgestiegen, um auch das letzte bisschen Kühlleistung herauszuholen. Aktuell ist ein Jonsbo HX4170D verbaut, welche bis 170W TDP zugelassen ist. Auch hier gibt es die genannten Probleme.

Ich habe bisher Arctic MX-4 verwendet, habe mir die neue MX-7 gekauft und werde diese zukünftig nutzen. Ich befürchte dies allein wird mein Problem aber nicht lösen, weshalb ich jetzt nach eurem Rat frage.

Ich baue seit über 20 Jahren meine Rechner selbst. Ich weiß wie man PCs baut, Kühler montiert, WLP aufträgt. Mein Desktop-PC mit 5800x3d und auf aio-wasserkühlung umgebaute 3090 funktioniert seit jahren problemlos (auch mit mx4). Nur diese Xeons, die krieg ich nicht in den Griff.

Irgendwelche Tipps? Köpfen möchte ich die CPUs nach Möglichkeit nicht.

 

[firexs]

Um welche Temperaturen geht es denn? Gibt es für dein Board evtl Firmware Updates?

 

[Tornhoof]

Die Kühlkörper sind auch alle für den Sockel zugelassen?

 

[Tom-S]

Kommt halt drauf an wieviel die Xeons dann an Watt verbrauchen.
Dem Jonsbo Kühler traue ich so 60-80 Watt zu, die 170Watt TDP sind Grimms Märchen für
einen Kühler dieser Bauform, das können sonst Tower-Kühler mit 4-6 Heatpipes!
Das Fractal R5 hat noch dazu auch keine tolle Frischluftversorgung.

 

[honky-tonk]

welche temp hat die cpu tatsächlich (hwinfo oder das remote management des mainboards) und wird der kühler/heatpipes warm, wenn nicht gibt's evtl montagefehler.

evtl ist auch die warn temp zu niedrig eingestellt für die cpu

 

[ich_heisse_Shag]

Um welche Temperaturen geht es denn? Gibt es für dein Board evtl Firmware Updates?

Laut IPMI sind CPU-Temperaturen ab 100°C Critical. Ich gehe daher davon aus, dass die Temperatur kurzzeitig 100°C erreicht und dann der Warnton losgeht. Im normalen Betrieb (durchaus etwas zu tun, also kein Idle) ist die Temperatur zwischen 50-55°C.

Firmware-Updates sind eingespielt.

Die Kühlkörper sind auch alle für den Sockel zugelassen?

Laut geizhals ja (daran habe ich mich orientiert): https://geizhals.de/jonsbo-hx4170d-black-a2790317.html

Kommt halt drauf an wieviel die Xeons dann an Watt verbrauchen.
Dem Jonsbo Kühler traue ich so 60-80 Watt zu, die 170Watt TDP sind Grimms Märchen für
einen Kühler dieser Bauform, das können sonst Tower-Kühler mit 4-6 Heatpipes!
Das Fractal R5 hat noch dazu auch keine tolle Frischluftversorgung.

Im Bios sind die Power Settings auf jeden Fall so gewählt, dass die Limits der CPUs nicht gerissen werden sollen.

welche temp hat die cpu tatsächlich (hwinfo oder das remote management des mainboards) und wird der kühler/heatpipes warm, wenn nicht gibt's evtl montagefehler.

evtl ist auch die warn temp zu niedrig eingestellt für die cpu

Ich denke es sind 100°C:

(hier sieht man auch, dass die übrigen Temperaturen durchaus niedrig sind)

Wenns piept wird der folgende Logeintrag erzeugt:

 

[Tom-S]

dass die Limits der CPUs nicht gerissen werden sollen.

PL2 von denXeons kann aber über 100 Watt sein, und das schafft der Kühler halt nicht mehr.

 

[rollmoped]

Verstehe. Das eigentliche Problem ist: Du hast nur 2HE oder sowas, keine Klimaanlage wie in Rechenzentren üblich, und somit nur diese Popel-Kühler zur Auswahl, die da reinpassen müssen.
Habe ich das richtig zusammengefasst?

Wenn das so ist, dann kann ich dich "beruhigen". Ab 65W TDP wird es halt schwer in so einem beengten Raum noch eine CPU zu kühlen. Ich gehe selbst nicht über 65W TDP in einem 2HE Gehäuse. Du bist also vermutlich da mit dem Problem nicht alleine.

 

[Tom-S]

Du hast nur 2HE oder sowas

Laut TE hat er Fractal R5, da passt dann aber deutlich mehr rein, obwohl die auch nicht die vom TE behauptete
"gute Lüftung" haben.

 

[Mojo1987]

Ich mein die Antwort auf deine Frage ist simpel... anständige Kühler verbauen.

Du verbaust da halt so Zwergendinger, weder für die TDP noch für Xeons geeignet, was erwartest du.

Bau einen anständigen Towerkühler ein, der für den Sockel und das Board gedacht ist, dann klappts auch.

 

[ich_heisse_Shag]

Welchen Kühler empfiehlst du?

Mich wundert es etwas, dass die Temperatur innerhalb von wenigen Millisekunden den kritischen Bereich erreicht. Auch bei meinem "nicht anständigen" Jonsbo müsste sich doch erst die Kühlerplatte erwärmen, bevor es ein Problem gibt? bis 290g Metall erwärmt sind, müsste doch selbst bei 150W Wärmeleistung etwas mehr Zeit vergehen?

 

[Fujiyama]

Was wird den offiziell als Kühler für solche Systeme verwendet?
Kenn das so das zum Teil passive kühlkörper verbaut sind und mehrere hochgedrehte Lüfter rein und raus befördern.

 

[xxMuahdibxx]

" Jonsbo müsste sich doch erst die Kühlerplatte erwärmen, bevor es ein Problem gibt? bis 290g Metall erwärmt sind, müsste doch selbst bei 150W Wärmeleistung etwas mehr Zeit vergehen?

Temperatur ist schnell erzeugt... Wärme ableiten ist was anderes...

 

[firexs]

das geht schneller als du gucken kannst. ich hatte schon kundenserver, der lief auch immer heiss und daher laut im serverraum. als dann nach 1,5h ich vor ort war und mal die Wärmeleitpaste zu erneuern, stellten wir fest, das der Hersteller die Schrauben nie angezogen hatte, daher kein Anpressdruck und daher immer 20-40grad wärmer als die anderen Server gleicher Bauart. Seitdem schnurrt der Server.
Gut, ist auch ein HP, wo die Lüfter vorne reinziehen, am Kühler vorbei und hinten rausdrücken.

 

[whats4]

is viel herumprobiererei mit dual boards.
in meinem fall hat es geklappt, einen lufttunnel aus zwei unterschiedlichen noctua´s für zwei broadwell zwanzigkerner zu basteln.
ein D14 und einer der tower kühler. müsste nachschaun, welcher. montagekits von noctua.
definitiv vollastfest, relativ leise.

die "rechte" cpu, die, die frischluft kriegt, ist der 120er towerkühler in push/pull.
der zweite xeon, der die luft "vorgewärmt" kriegt, ist der D14, bei dem der "runde" lüfter zwischen den türmen bestückt ist, und noch ein saugender 120er am ende des tunnels.
dahinter dann der case auslass. jo, auch noctua. ich hab recht viel von denen.

selbst ohne abdichtungsmaßnahmen geht sich das genau so aus, daß der tunnel recht dicht is, und der überwiegende luftstrom direkt am auslass landet.

vollastfest, hochsommer, achtzig threads. klar, hörbar, aber ned zu unangenehm.

 

[honky-tonk]

wenn die temps so sprunghaft ansteigen kann das auf schlechten kontakt zum kühlkörper hindeuten, evtl falscher anpressdruck oder verkantet...passiert auch erfahrenen. hast du ein zeitlichen verlauf wie lange es von ~50 bis 100C dauert bei anliegen von last?

 

[ich_heisse_Shag]

Leider nein. Gefühlt wenige Sekunden, teilweise piepts sofort los, während ich höre wie das System gerade anfängt die Lüfter höher drehen zu lassen.

Beim Sockel 1151 zieht man die Schrauben handfest an um den richtigen Anpressdruck zu erzeugen. Abwechselnd wenige Umdrehungen, damit sich nichts verkantet. Wie könnte ich das besser machen?

 

[modena.ch]

Ich sehe es auch so wie Mojo1987, du hast im R5 den Platz, da kann ein dicker Kühler hin, nicht son Zwergenverschnitt!
Das R5 hat Kühler bis 180mm Platz.

https://geizhals.de/thermalright-peerless-assassin-120-black-v3-a3545106.html
https://geizhals.de/thermalright-peerless-assassin-140-v174358.html
https://geizhals.de/thermalright-phantom-spirit-120-v128686.html

Die sind alle sehr stark und können sehr leise geregelt werden.

Wenn es Federschrauben am Kühler hat, würd ich nicht nur handfest anziehen sondern bis zum Anschlag und dann wieder ne halbe Umdrehung auf machen.

 

[ruthi91]

Aktuell ist ein Jonsbo HX4170D verbaut, welche bis 170W TDP zugelassen ist.

Das glaube ich im feuchten Traum nicht, früher waren solche Winzlinge für ITX Systeme bis 95W freigegeben und das war schon Oberkante Unterlippe.
Zb der ähnliche Noctua NH-L9 dümpelt auch bei ~65W Freigabe rum:
https://www.noctua.at/en/expertise/guides/noctua-standardised-performance-rating

Die Server mit den Xeons haben ein Fractal R5 Gehäuse mit guter Lüftung

Wieviele Gehäuselüfter und wie schnell drehen die?

Gönn den Systemen einen normalen Towerkühler mit 120mm Lüfter so wie hier viele vorgeschlagen wurden.

Edit: ich hab mir gerade die Specs vom Xeon 2236 angeschaut, ist ja vergleichbar mit dem populären 8700K.
Hier eine Kühlerdiskussion die genauso verlaufen ist:
https://www.computerbase.de/forum/threads/low-profile-kuehler-fuer-i7-8700k-bis-max-54mm.1753402/

 

[ich_heisse_Shag]

Danke für eure Unterstützung. Habe jetzt weimal den TR Phantom Spirit 120 bestellt und werde berichten.

@ruthi91:

3x in (2x vorne, 1x seitlich für die nvme-ssds), 2x out (hinten, oben). Drehgeschwindigkeit dynamisch je nach Last, wobei das "Heavy Workload" Profil aktiv ist, bei dem die Gehäuselüfter generell etwas höher drehen als im Standardmodus und bei Last schnell weiter hochgedreht werden.

Die Temperatur der ausströmenden Luft liegt zwischen 23 und 25°C.

Ich wollte ursprünglich die Kühlerart (kleiner Top-Blower) beibehalten, weil ich so sichergehen konnte, dass die NVMEs (Micron 7400 pro) genug vom Lufstrom des seitlich eingebauten Lüfters abbekommen. Wieder was gelernt

Edit: Gerade nochmal getestet, er piept sobald die CPU-Temp 90°C überschreitet.

Eidit2: Okay, das ist ja vernichtend mit dem 8700k. Auch der verlinkte Test mit dem Noctua-Kühler. Danke für den Link.