CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

Volker Rißka et al. 2.537 Kommentare
CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

tl;dr: Die von ComputerBase an dieser Stelle vor zweieinhalb Wochen publizierten Benchmarks waren falsch. Das kann die Redaktion mittlerweile bestätigen und damit ist es höchste Zeit das auch öffentlich einzugestehen. Wir möchten uns dafür entschuldigen und liefern gleichzeitig korrigierte Benchmarks nach.

Wir haben einen Fehler gemacht

Update 17.10.2018 09:21 Uhr

Der Artikel enthält jetzt auch die aktualisierten Testergebnisse des AMD Ryzen 5 2600X, die vor zwei Tagen noch durch den Kopierschutz diverser Spiele verhindert wurden.

Update 15.10.2018 17:17 Uhr

Schon kurz nach der Veröffentlichung war die Kritik an den Benchmarks groß. Der Core i7-8700K zeigte sich im Vergleich zu Ryzen 7 2700X, Ryzen 5 2600X aber – seltsamerweise – auch dem Core i5-8400 zu stark. Ja, das war uns auch aufgefallen, aber weil alle Einstellungen am System und in den Spielen nachweislich korrekt vorgenommen wurden und reproduzierbar waren, haben wir den Artikel dann doch veröffentlicht. Das war falsch.

Denn auch wenn wir im Nachgang der Veröffentlichung intern abermals nachweisen konnten, dass keine falschen Einstellungen in Spielen, keine falschen Speicher-Einstellungen (Timings, Takt, Single- statt Dual-Channel), keine Auto-OC-Funktionen im BIOS, kein aktiver Game Mode bei AMD Ryzen und keine Hintergrundprozesse in Windows die Ursache waren, dass etwas nicht stimmt, schien trotzdem auf der Hand zu liegen.

Was genau die Ursache war, können wir bis heute nicht sagen, doch nach unzähligen Umstellungen an der installierten Software oder der genutzten Hardware stand am Ende fest: Das Problem lag schlussendlich in der genutzten Installation von Windows. Woran genau, ließ sich auch nach langen Analysen nicht herausfinden, Prozesse und Dienste offenbarten keinerlei Ungereimtheiten. Ein frisches Windows zeigte bei ansonsten identischen Einstellungen jedoch andere, schnellere Werte. Hätten wir sofort auf ein komplett frisch aufgesetztes System gesetzt, wären wir schneller zu dieser Erkenntnis gekommen.

Am Ende war es wohl auch unsere sture Überzeugung, das Richtige getan zu haben, die uns davon abgehalten hat, einfach den Reset-Knopf für Windows zu drücken, wenn doch alles, was manuell vorzunehmen war, korrekt vorgenommen wurde. Der Reset erfolgt jetzt. In den Benchmarks und beim Hochmut. Unser Dank gilt allen in der Community, die mit Sachlichkeit über Tage am Ball geblieben sind und uns damit nicht aus der Verpflichtung gelassen haben, der Sache weiter nachzugehen. Der Lohn sind korrekte Benchmarks, auf denen wir aufsetzen können.

Testmethodik und System

Die nachfolgenden Benchmarks korrigieren nicht nur die alten Aussagen, sie werden gleichzeitig als Basis für die anstehenden Neuvorstellungen von Intel dienen (können). ComputerBase hat die Benchmarks deshalb mit der GeForce RTX 2080 Ti als derzeit schnellste Grafikkarte wiederholt, die Testergebnisse mit GeForce GTX 1080 Ti und GeForce RTX 2080 wurden bisher nicht neu aufgelegt. Im Vergleich zum letzten Artikel kam allerdings die GeForce RTX 2080 Ti Strix OC von Asus zum Einsatz und nicht die Founders Edition. Die Founders Edition findet für GPU-Tests aktuell und die nächsten Monate quasi täglich Verwendung, mit dem Wechsel auf ein Custom Design in den CPU-Benchmarks werden zeitraubende Überschneidungen in der Redaktion minimiert.

Um auszuschließen, dass der Wechsel der CPUs bzw. der Plattformen für Probleme sorgt, wurde Windows auf zwei SSDs neu installiert – eine für das Intel-System und eine für das AMD-System. Ein vollständig aktualisiertes Windows 10 Version 1803 (April 2018 Update) mit dem aktuellsten Treiber von Nvidia, dem GeForce 416.34, wurde gewählt.

Auf beiden Plattformen waren alle Auto-OC-Funktionen abgeschaltet, der Speicher war jeweils im Dual-Channel-Modus aktiv. Bei Intel kam, wie es die Spezifikation der CPU vorsieht, DDR4-2.666, bei AMD DDR4-2.933 zum Einsatz (jeweils G.Skill DDR4-3200 14-14-14-34, 1.35 Volt). Die Timings betrugen in beiden Fällen nun 14-14-14-34-1T. Als Kühler für AMD Ryzen kam der Noctua NH-U14S zum Einsatz, bei Intel ist es der Noctua NH-U12.

Die Einstellungen in den Spielen haben sich im Vergleich zum letzten Artikel nur in einem Fall geändert: In Wolfenstein 2 wurde auf „Mein Leben!“ gewechselt.

Spiele und Einstellungen bei 1.920 × 1.080 Bildpunkten
Titel Detailstufe Benchmark-Typ
Assassin's Creed: Origins Extreme High Savegame
Kingdom Come Deliverance Ultra hoch Savegame
Far Cry 5 Ultra Savegame
GTA V Ultra Kampagne (Savegame)
Total War Warhammer Ultra Kampagne
Project Cars 2 Ultra Freies Rennen (Spa)
Wolfenstein 2 Mein Leben! Savegame
Destiny 2 Höchste Savegame
Overwatch Ultra Mehrspieler-Match auf Dorado
Ghost Recon Wildlands Hoch Kampagne (Savegame)
Star Wars Battlefront 2 Ultra Kampagne (Savegame)

Im Optimalfall hätte dieser Artikel auch schon die neuen Testwerte des AMD Ryzen 5 2600X enthalten. Der Kopierschutz Denuvo, der in vielen Spielen auf maximal 5 aktive Systeme in 24 Stunden limitiert, hat das aktuell aber noch verhindert, da parallel auch an weiteren Artikel mit denselben Spielen gearbeitet wird. Diese Messwerte werden in Kürze nachgereicht.

Testergebnisse

Im Vergleich zum Stand von vor zwei Wochen haben alle Systeme bei den absoluten FPS zugelegt – nicht nur einer. Besonders deutlich davon betroffen sind allerdings – den Erwartungen entsprechend – der Ryzen 7 2700X und der Core i5-8400, die auf den Core i7-8700K infolgedessen deutlich aufholen. Core i5-8400 und Ryzen 7 2700X trennen hingegen im Durchschnitt weiterhin nur fünf Prozent – im Frühjahr waren es im Test von Ryzen 2000 vier Prozent.

FPS-Abstände im Vergleich (Testparcours nicht 100 % deckungsgleich)
i7-8700K vs. i5-8400 i5-8400 vs. R7 2700X R7 2700X vs. R5 2600X
Artikel mit Stand 26.9.2018 (RTX 2080 Ti) +24 Prozent +5 Prozent +9 Prozent
Artikel mit Stand 15.10.2018 (RTX 2080 Ti) +11 Prozent +5 Prozent +2 Prozent
Artikel Ryzen 2000 im Test (GTX 1080 Ti) +6 Prozent +4 Prozent +5 Prozent

Nochmals deutlich mehr Bewegung zeigen wiederum die Frametimes: Der Ryzen 7 2700X überholt jetzt den Core i5-8400 und kommt bis auf 13 Prozent an den Core i7-8700K heran.

Frametime-Abstände im Vergleich (Testparcours nicht 100 % deckungsgleich)
i7-8700K vs. i5-8400 i5-8400 vs. R7 2700X R7 2700X vs. R5 2600X
Artikel mit Stand 26.9.2018 (RTX 2080 Ti) +24 Prozent +11 Prozent +17 Prozent
Artikel mit Stand 15.10.2018 (RTX 2080 Ti) +17 Prozent -3 Prozent +5 Prozent
Artikel Ryzen 2000 im Test (GTX 1080 Ti) +7 Prozent -1 Prozent +8 Prozent
Bearbeiten
Performancerating – Frametimes (15.10.)
Angaben in Prozent
    • Core i7-8700K + RTX 2080 Ti
      98,3
    • Ryzen 7 2700X + RTX 2080 Ti
      86,8
    • Core i5-8400 + RTX 2080 Ti
      84,3
    • Ryzen 5 2600X + RTX 2080 Ti
      82,8
Die Performance-Ratings aus dem Test mit Stand 26. September 2018

Gegenüber dem Test im April zeigt sich der Core i7-8700K damit auch weiterhin stärker, wenn auch insbesondere in den Frametimes weitaus weniger drastisch. Der Test mit Stand 26. September zeigte zwar keinen Vorteil durch den Wechsel von einer GeForce GTX 1080 Ti auf eine GeForce RTX 2080 Ti, der Nachweis, dass auch die aktualisierten Testsysteme hiervon nicht profitieren, steht aber noch aus. Auch Benchmarks mit GeForce GTX 1080 Ti werden wir also noch nachreichen.

Fazit

Wir haben aus diesem Fehler gelernt und bereits Maßnahmen definiert, die in Zukunft hoffentlich dazu führen, dass ein derartiger Fehler nicht mehr auftreten kann. Darüber hinaus steht in Zukunft auch ganz prominent das, was Redakteure nicht selber einstellen können, als potentielle Fehlerquelle mit auf dem Programm, damit „wir haben alles richtig gemacht“ kein Ergebnis, das offensichtlich nicht richtig sein kann, dann trotzdem zur Veröffentlichung freigibt.

Der Artikel wird kurzfristig auch noch um den aktualisierten Testlauf mit AMD Ryzen 5 2600X erweitert. Darüber hinaus werden wir uns auch dem Test zu Threadripper 2000 noch einmal annehmen, der bei den Spiele-Benchmarks potentiell auch schon von diesem Problem betroffen gewesen sein konnte. Ein entsprechender Hinweis wurde gesetzt. Für andere Artikel schließen wir das wiederum aus.

Dieser Artikel war interessant, hilfreich oder beides? Die Redaktion freut sich über jede Unterstützung in Form deaktivierter Werbeblocker oder eines Abonnements von ComputerBase Pro. Mehr zum Thema Anzeigen auf ComputerBase.