Dein OC ist einfach nicht stabil. Das hat nichts direkt mit der Temperatur zutun.
Höhere Temperatur bedeutet in der Regel das eine höhere Spannung benötigt wird. Deswegen steigt die Leistungsaufnahme mit zunehmender Temperatur in der Regel auch.
Kann sein, dass das in Kombination mit deinen Einstellungen dann in dem Temperaturbereich plötzlich instabil wird.
Ein höheres Temperaturlimit, dass Stock eigentlich schon bei 88°C liegen dürfte, wird dir auch nicht weiterhelfen.
Ansonsten: Jeder Chip ist anders. Du hast keine Garantie auf OC. Dein Chip kann halt einfach weniger geeignet für OC sein.
Bei meiner FE habe ich aktuell stabil +465 MHz laufen. Allerdings habe ich gleichzeitig undervoltet. Mein Ziel war es, den Stock Takt bei niedrigerer Spannung zu erhalten. Kann sein, dass meine 5080 sogar etwas mehr verträgt. Ich wollte im Grunde nur die Leistung bei weniger Leistungsaufnahme "konservieren". So habe ich aktuell eher 280 statt 360 Watt z.B. im Steel Nomad.
Selbst in Valorant bei 4k und maximalen Einstellungen habe ich einiges weniger an Leistungsaufnahme und dadurch einfach insgesamt ein leiseres System, auch wenn die GPU mehr gefordert wird, weil sie nicht mehr über 1400 rpm dreht.
Kann sein, dass meine GPU, würde ich sie quasi ohne UV betreiben, bei dann über 3,2-3,3 GHz auch eher instabil werden würde, weil der Takt dann einfach auch nicht mehr stabil ist.
Um mal ein anderes Beispiel zu bringen. Meine CPU wird beim Undervolting bei höheren Temperaturen auch instabil. Mit einer AIO konnte ich in Cinebench CO -30 oder gar -35 einstellen.
Mit meiner aktuell eher kleinen Luftkühlung macht er schon bei -20/-25 dicht, sobald sie die 90°C-Marke ankratzt schmiert entweder der Benchmark ab oder das System friert ein. Halte ich die CPU mit einem Temperaturlimit gezielt niedriger (bei 80°C bspw.) passiert das nicht. Ich verliere dadurch dann aber natürlich Leistung, weil die CPU um die 80°C zu halten den Takt immer weiter senkt um die Leistungsaufnahme zu drücken.
Einfach nur so als Beispiel, dass die Temperatur schon ein Faktor sein kann. Aber sie ist nicht die Ursache an sich, sondern einfach die Tatsache, dass es elektrisch AB einer Temperatur ggfs. einfach nicht mehr stabil ist. Heißt: Darüber ist es dann auch nicht mehr stabil.