Xeon Gold 6248R erreicht nie Boost Takt bzw. mehr als 3,6 GHz

[ZFS]

Hallo Leute,

ich habe hier 2 Server zum Test jeweils mit einer Xeon Gold 6248R CPU. Diese hat lt. Spec. 3 GHz Grundtaktfrequenz und 4 GHz Max. Turbo-Taktfrequenz. Betriebssystem ist Red Hat Enterprise Linux 8.4.

Problem: wenn ich auf einen Kern Last gebe (ich verwende sysbench --num-threads=1 --test=cpu --cpu-max-prime=30000 run) dann hat der Kern mit Last eine Frequenz von max. 3618 MHz. Er kommt nie darüber hinaus.

Der Befehl cpupower frequency-info bringt mir folgende Ausgabe:

analyzing CPU 0:
driver: intel_pstate
CPUs which run at the same hardware frequency: 0
CPUs which need to have their frequency coordinated by software: 0
maximum transition latency: Cannot determine or is not supported.
hardware limits: 1.20 GHz - 4.00 GHz
available cpufreq governors: performance powersave
current policy: frequency should be within 1.20 GHz and 4.00 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency: Unable to call hardware
current CPU frequency: 3.60 GHz (asserted by call to kernel)
boost state support:
Supported: yes
Active: yes

Das Umschalten mittels Befehl cpupower frequency-set -g [powersave / performance] zwischen Powersave und Performance funktioniert. Bei Powersave laufen alle Kerne mit ~1200 MHz bei Performance alle mit ~3600 MHz. Gerade im Powersave Mode hätte ich erwartet, dass der Prozessor mehr TDP Spielraum hat und den Kern mit Last auf 3,8 - 4,0 GHz taktet. Das macht er leider nicht - bei 3,6 GHz ist immer Schluß. Hat jemand eine Idee?

 

[honky-tonk]

Gerade im Powersave Mode hätte ich erwartet, dass der Prozessor mehr TDP Spielraum

warum sollte er bei powersave höher takten? das wäre doch kontra produktiv!?

wie sehen denn die temperaturen aus? ggf liegt hier das limit!

 

[Phrasendreher]

Hatte noch nie einen Xeon Gold in den Fingern, aber AFAIK tun sich alle Intel-Prozessoren da nix:
Der maximale Boost-Takt wird nur für Milli-(Mikro?)Sekunden erreicht, so dass Du ihn kaum (mit einfachen Mitteln) benchen kannst. Demnach wäre es ganz normal, dass Du mit einem Programm wie sysbench (hatte ich auch noch nicht...) diese Frequenz nie zu sehen bekommst.

 

[ZFS]

Temperaturen sehen ok aus. Folgende Werte werden geboten:

CPU0_Temp 27 °C
CPU0_VR_Temp 26 °C
CPU1_VR_Temp 23 °C
CPU0_DTS 68 °C
CPU0_DIMM_Temp 28 °C

 

[dcz01]

Ich vermute fast, dass das bereits am guten Thread-Scheduler vom Kernel liegt...
Denn normal kannste auf 2 Kernen locker die 4 GHz erreichen: https://en.wikichip.org/wiki/intel/xeon_gold/6248r#Frequencies

Bitte mal nochmal testen und dann per

top

prüfen, ob er wirklich nur auf 1-2 Kernen läuft, sonst wird die CPU dies nie erreichen.

 

[ZFS]

Läuft definitiv nur auf einen Kern.

 

[dcz01]

Ist CPU1 nicht normal ein Thread und kein richtiger Kern?

 

[ZFS]

Stimmt, das kann das Hyper Threading sein.

 

[eRacoon]

Stell im BIOS das PowerMGMT mal auf Max Performance.
Gibt so einige Hersteller wie Dell und HPE die haben so geile eigene Powerlevel, die führen dann dazu dass du im GuestOS zwar eine CPU siehst die alle C Levels unterstützt aber unter der Haube wird die Power trotzdem begrenzt.

Wenn es daran liegt kann man danach Controlled by GuestOS als Setting nehmen, aber würde sowas immer erstmal im Max Performance Profil testen wo alles deaktiviert wird was Energie sparen will.

 

[ZFS]

Hier ein Top ohne Hyper Threading.

 

[dcz01]

@ZFS Und wie sieht nun ohne HT der Takt aus?

 

[Sahit]

Nutzt dein Bench AVX? Normale Mainstream CPUs haben nen AVX Offset da AVX die CPU mehr belastet. Ob das nun bei Servern auch so ist kann ich aber nicht sagen.

 

[ZFS]

@ZFS Und wie sieht nun ohne HT der Takt aus?

Der Takt hängt unverändert bei 3600 MHz.

Anbei meine Bios Settings ...

 

[eRacoon]

Was kannst du unter "Power Performance Tuning" alles auswählen?

 

[ZFS]

Es gibt OS Controls EPB oder BIOS Controls EPB. Das habe ich beides schon erfolglos probiert. Default ist BIOS Controls EPB.

 

[eYc]

Um welche Server geht's überhaupt, mit welcher BIOS-Version, und den Performance-Optionen die hier möglich sind?

 

[ZFS]

Es sind 2 Inspur NF5280M5 Server mit BIOS Version 08/25/2021 Version 4.1.21. Im BIOS habe ich noch einen Punkt namens "Config TDP" gefunden. Den gab es in der HTML Oberfläche nicht. Ich habe alle Level probiert - brachte nichts. Ich werde mal den Support schreiben ...

 

[eYc]

Intel schreibt in den Spezifikationen zur CPU

Max. Turbo-Taktfrequenz​

Die maximale Turbo-Taktfrequenz ist die maximale Einzelkern-Taktfrequenz, zu der der Prozessor mit der Intel® Turbo-Boost-Technik und, falls vorhanden, mit Intel® Thermal Velocity Boost betrieben werden kann. ...

"... kann." steht da, nicht muss. Und, wie oben schon zu lesen war, kann der max. Turbo-Takt auch nur sehr kurz anliegen, so dass er dir gar nicht angezeigt wird.
Könnte es außerdem auch mit fehlenden Vorraussetzungen (Betriebssystem, Treiber, Kühlung u. optionale Lüfter) zusammenhängen?

 

[ZFS]

Schon klar. Es ist doch aber komisch, dass ich nie deutlich über die 3600 MHz hinaus komme. Erwartet hätte ich mal 3750, 3890 und vielleicht 3999 MHz kurz bei den Kernen mit Last zu sehen. Wenn ich die Kerne mittels cpupower frequency-set -g powersave auf Energie sparen setze, dann funktioniert das ja auch. Alle Kerne fahren brav den Grundtakt von 1200 MHz außer die mit Last.
Ganz früher war es unter Linux mal so: https://www.heise.de/ct/hotline/Turbo-Boost-unter-Linux-861189.html aber das sollte doch heute kein Thema mehr sein, Frequenzen korrekt anzuzeigen?

 

[ZFS]

So, ich habe es gefunden. Es muss im BIOS unter "CPU C State Control" die Option "Monitor/Mwait Support" enabled sein. Dann funktioniert es. Im Anhang ein Bildschirmausdruck. Der Kern mit Last taktet bei 3962 MHz während Kerne ohne Last bei ~ 3GHz stehen.