AMD R 3x000-CPUS + alte MoBos - Leistungsverluste?

[VelleX]

Dass der Speichercontroller in der CPU sitzt ist mir klar. Trotzdem hängt es auch von den Lanes und der Qualität des Boards ab was für maximalen Taktraten möglich sind.

 

[cm87]

Sofern wie von Ryzen 3000 reden, ist das Board gar nicht mehr so wichtig.

 

[Bigfoot29]

@cm87: Da möchte ich Dir auch nicht widersprechen. Allerdings bleibt es dabei, dass der Chipsatz damit nix zu tun hat. Nach außen hin "sichtbar" arbeitet der Speichercontroller - zumindest bei den klassischen Ryzen-CPUs wohl weitgehend identisch. Ich bin mir nur nicht sicher, ob/wie sich die Speicherbandbreiten-Thematik der Dual-Die-Modelle (vs. Single-Die) nach außen hin darstellen würde.

Oder liege ich da dermaßen daneben? grübel

Regards, Bigfoot29

Nachtrag/PS: Ich bezog mich auf den Post von cm87 von Seite 1.

 

[chithanh]

Hardware Unboxed hat Ryzen 3000 auf einem billigen B350er Mainboard (ASRock AB350M Pro4) getestet. Ergebnis:
Ryzen 3900X ca. 4% Leistungsverlust in Multithread-Anwendungen gegenüber einem X570
3700X und 3600: 0-1% Leistungsverlust.

Dabei war auf dem AB350M Pro4 noch das alte BIOS drauf.

Was den Speicherdurchsatz angeht, limitiert das IFOP bei Ryzens mit nur einem Zen2-Chiplet die Schreibbandbreite: https://www.overclockers.com/amd-ryzen-9-3900x-and-ryzen-7-3700x-cpu-review/ (siehe Abschnitt "Memory")

 

[Baal Netbeck]

Wie soll auch eine PCIe 3.0 Spec Karte von 4.0 provitieren? 10%?????

Die 5700 XT, kann ja 4.0 theoretisch kann sie profitieren....

Ist unglaubwürdig, das sehe ich auch so....aber man sollte meinen, das ein Magazin wie PCGH ihre Werte prüft bevor sie so was veröffentlichen.

Ist halt die Frage ob es an der Bandbreite liegt, oder ob eventuell die doppelte Frequenz die Verarbeitungsgeschwidnigkeit erhöht....selbst wenn man im CPU limit hängt, würde ich da aber nur die 0-2% erwarten, und keine 12%.

Ich würde das gerne mal untersuchen, aber ohne 4.0er Hardware wird das schwer.

 

[Blade0479]

Ist unglaubwürdig, das sehe ich auch so....aber man sollte meinen, das ein Magazin wie PCGH ihre Werte prüft bevor sie so was veröffentlichen.

Ist halt die Frage ob es an der Bandbreite liegt, oder ob eventuell die doppelte Frequenz die Verarbeitungsgeschwidnigkeit erhöht....selbst wenn man im CPU limit hängt, würde ich da aber nur die 0-2% erwarten, und keine 12%.

Ich muss mir das mal durchlesen, habe ja die Magazine hier.. wenn ich es finde, unter welchen Umständen genau da was wovon profitiert aber die 5700 Rohleistung wird ja nicht 10% mehr nur weil die in einem PCIe4.0 sitzt, da sie ja auch den PCIe 3.0 Slot nicht ausreizen würde, daher finde ich dass alles irgendwie sehr merkwürdig. Aber ich will mich da auch nicht aus dem Fenster lehnen, kann gut sein, dass es da einen gewissen Umstand gibt wo sie profitiert.

 

[Ulvi]

Kann ich nicht nachvollziehen. Link? Quelle?

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Leo.16]

Naja, +-10FPS sind bei ca 130FPS 13FPS. So wie die Frameraten im Video schwanken, sind das die Messunsicherheit.

In bezug auf den höheren Datendurchsatz und niedrigere Latenz kann ich mir höchstens vorstellen, dass die GPU dadurch weniger auf Daten von der CPU oder vom RAM warten muss. Da PCIe3.0 meistens eh nicht ganz ausgereizt wird, wäre das aber va durch die niedrigere Latenz zurückzuführen

 

[Blade0479]

Naja der ganze Artikel (wenn man es Artikel nennen kann) ist mir zu reißerisch...

Bei Igors Lab hätte ich die Sache auch verstanden, bei PCGH und ihren Fps Filmchen .. hust.
AC ist ja sowieso sehr speziell (CPU) ...

 

[Baal Netbeck]

bei PCGH und ihren Fps Filmchen .. hust.

Es ist schon komisch....bei CB hätte ich gerne mehr Transparenz wie die Werte entstehen...vertraue ihnen aber meist.....bei PCGH sieht man es und glaubt es trotzdem nicht.

Das komische ist ja, dass man sogar das overlay sieht....man sieht, dass der CPU takt stimmt, dass die Temperaturen stimmen...aber drei Spiele, die alle einen deutlichen Unterschied zeigen....sowas ist auch weit entfernt von Messeschwankungen!

Wäre es ein Spiel würde ich unterstellen, das einfach die Grafiksettings nicht gleich waren...einmal hoch und einmal ultra oder so.
Aber das so ein Fehler in drei Spielen passiert?

Es könnten Einflüsse vom RAM sein....einmal hoch getaktet und einmal Default 2133....aber im Video scheint es ein GPU Limit zu sein....da dürfte der RAM nicht so viel ausmachen.

 

[Leo.16]

sowas ist auch weit entfernt von Messeschwankungen

Was ist denn für dich eine Messschwankung?

Mach mal folgenden Versuch:
1) mach jede sagen wir mal Sekunde (du kannst auch häufiger oder seltener machen, wird dadurch aussagekräftiger bzw. weniger) eine Screenshot
2) notiere dir die Framerate
3 bilde Mittelwert und Standartabweichung

Etwa 68,5% aller Messwerte liegen nun im Bereich +-eine Standartabweichung um den Mittelwert. Um sicher zu gehen, dass dein "FPS-Gewinn" nicht nur eine rein statistische Sache ist, sollte der Mittelwert mit PCIe4 also außerhalb dieses Intervalls (besser zweimal diesem Intervall, dann liegt der PCIe Mittelwert oberhalb von 95% der Messwerte mit PCIe3) liegen. Ansonsten ist der Test nicht aussagekräftig genug, die Behauptung zu stützen, dass PCIe4 irgendetwas bringt (in bezug auf PPS, im Jahr 2019).

Davon abgesehen muss man sagen, dass die Tester bestimmt nicht immer genau den selben Pfad durch die Map gegangen sind, andere Spieler auf dem Map waren, evtl andere Hintergrundprozesse am laufen waren, die INternetverbindung eine andere war, also kurzum es viele, sehr viele Störgrößen gab. Das allein macht einen Vergleich schwirig.

Ich muss eigentlich immer schmunzeln, wenn ich Tests hier oder wo anders im Netz lese, weil genau solche Betrachtungen nie gemacht werden. Da wird dann bei 3FPS mehr gejubelt, dabei war die Grundlage 60FPS....
Es wird aber nur einmal der Benchmark gemacht, ein bisschen mehr Statistik könnte man schon betreiben.

 

[Baal Netbeck]

Mach mal folgenden Versuch:
1) mach jede sagen wir mal Sekunde (du kannst auch häufiger oder seltener machen, wird dadurch aussagekräftiger bzw. weniger) eine Screenshot
2) notiere dir die Framerate
3 bilde Mittelwert und Standartabweichung

Ich denke ich habe schon weit mehr gemacht als ein par Screenshots.

Mein Desktop hat einen Ordner mit über 21000 Benchmark files zu verschiedensten Spielen.
und 94,4 zu 101,9FPS als Durchschnitt über eine grob 45s Messung, oder 52,9 zu 59,3FPS über grob 50s ist keine Messungenauigkeit.

Wenn man einen Benchmark sauber durchführt, dann sind die Unterschiede durch den menschlichen Einfluss sehr gering...integrierte Benchmarks sind da nicht besser oder schlechter......und natürlich vergleicht man keine Screenshots sondern Durchschnittswerte....und besser auch die Frametimes, denn das sagt viel mehr aus über die Art und Weise wie sich die FPS anfühlen.

Es gibt viele Stoperfallen.... Ein simplet Neustart kann die Ergebnisse verändern....Daten landen an anderen Stellen im Ram...Das Spiel läuft auf anderen Kernen mit anderer Cache Belegung oder Konflikten....die Temperaturen und damit Boost von CPU und GPU sind anders.
Der erste Benchmarkdurchlauf nach einem Neustart ist fast immer problematisch....Ram und Cache sind noch nicht gefüllt....Texturen und LODs noch nicht auf dem eigentlichen Level.....in der Regel sind die avg FPS etwas besser aber die Frametimes etwas schlechter.

Bei manchen Spielen ist es nur der erste Durchlauf der komisch ist...bei anderen ist es ein kontinuierlicher Prozess, der sich erst nach 1-3min einpgependelt hat(Anno 1800 z.B.)

Dann gibt es Hintergrundprozesse, die einzelne Messungen(vor allem Frametimes) versauen....oder gleich eine ganze Messreihe.
Es ist daher wichtig, ein aufgeräumtes System zu haben, das nicht plötzlich feststellt, dass es schonmal Windows updates vorbereiten könnte oder Virenscans startet.
Und weil man es nicht immer verhindern kann, sollte man eine weitere Messreihe zu einem späteren Zeitpunkt wiederholen....so hat man Unterschiede im Ram/Cache und mögliche Hintergrundeinflüsse variiert...passen beide Reihen nicht zusammen muss man wohl nochmal messen und sehen welche von beiden die falschen Ergebnise liefert(in der Regel die schlechtere )

Wie oft man pro Messreihe misst ist natürlich auch wichtig...ich messe in der Regel 5-7 mal....und inzwischen verwerfe ich die erste Messung und eine, die schon von der Dateigröße nicht zu den anderen passt(wenn alle passen einfach die Messungen 2-6 ....alle einzeln ausgewertet und gemittelt....korrekte Fehlerrechnung inklusive.

Ich kann denke ich ganz gut entscheiden, was Messschwankungen sind und was signifikant ist.

Ich habe weder Battelfield noch AC....aber es sollte nicht sonderlich anders sein diese zu benchmarken.

Ich nehme einfach mal avg FPS Messungen aus 2018 mit meinem alten 1800X@3,8GHz und 3200er Ram...und der Vega64 undervolted:
Damals noch 10 Messungen...a zwei Messreihen mit je 5 Messungen(die problematische erste Messung habe ich damals noch nicht rausgelassen)

Heroes of the storm
Beste..121,4 schlechteste 120,3
(Auf die Angabe der Standardabweichung einzelner Messungen gehe ich nicht ein.....das ist sinnlos, da ich ja kein Standbild messe sondern die Belastung während der Szene variiert.....hier wären es 121,4 +-38,78 und 120,3 +- 38,25 1/s....daraus kann man nichts über die Messchwankung lernen sondern höchstens über die Art der Benchmarkszene.
...Eine Standardabweichung ergibt erst für den Mittelwert mehrerer avg FPS Ergebnisse Sinn.)

Ashes of the Singularity
51,61 .... 47,67 (Der integrierte Benchmark ist leider sehr unzuverlässig...trotz 170s Laufzeit der Frametime Messung)

Cities Skylines
42,7 .... 42,3

Prison Architect
16,00 .... 15,45

Rise of the Tomb Raider
90,97 ... 90,23

Starcraft 2
68.34 .... 67.18

Witcher 3
107,4 .... 104,7 ( beide Messreihen werden von der ersten zur letzten Messung kontinuierlich schlechter, weil die GPU Temperatur steigt.....Der Durchschnitt von den 2 Messreihen ist jedoch genau gleich...106,5 ...und selbst die 1% low unterscheiden sich nur von 77,72 zu 77,74 für die guten Messungen und 76.51 zu 76.78 bei den schlechten messungen. )


Nicht viele geben sich so viel Mühe gute Daten zu erhalten....so viele Messungen an verschiedenen Tagen usw. ....PCGH hat das bestimmt nicht gemacht....aber sie haben zu den zwei genannten Spielen die Durchschnittswerte angegeben...von Screenshots vergleichen sind wir also schonmal Meilen entfernt.

....also selbst wenn sie jeweils nur eine Messung gemacht haben.....und dann ganz doll Pech hatten....und dann einmal die "beste" und einmal die "schlechteste" Messschwankung gemessen haben....sehe ich nicht, wie sie auf Unterschiede von 5 und 12% kommen können.

Das muss ein systematischer Fehler sein, weil sie etwas falsch gemacht haben...anderes Grafikpreset oder so....oder es gibt wirklich einen Unterschied. ......selbst wenn der wegen großer Messschwankungen nicht 12 sondern z.B. nur 8% ist....8% wären riesig im Vergleich zu anderen Features/hardware, die man so testet.

Das wäre laut CB der avg FPS FHD Unterschied von einem Ryzen 3600 zu einem Intel 8700K....von unter 200€ zu über 350€. Wer solche Unterschiede nicht halbwegs zuverlässig messen kann, der sollte sich schämen irgendwelche Ergebnisse im Internet und erst recht nicht in Magazinen zu veröffentlichen.

Deshalb bleibe ich dabei....das ist keine Messungenauigkeit....so schlecht könnte man gar nicht messen.
Das ist entweder ein einfacher Fehler oder wirklich etwas.....da scheinbar kein anderer sowas misst, ist es wohl ein Fehler.

Ich habe selbst einfach mal bei mir von 3.0 auf 2.0 und 1.0 runter gestellt...nur eine Einzelmessung ohne ordentliche Statistik usw.....aber ich verliere in manchen Spielen mit jeder Stufe grob 0,5-1,5% FPS....und das wird nicht an der Bandbreite liegen...sonst würde 1.0 massiver verlieren....ich denke eher da geht es um eine schnellere Verarbeitung der Daten....4.0 würde ich also auch bei 0,5-1,5% besser vermuten.

....gucke ich da in meiner Auflösung von 1440p in die CB Rangliste....dann ist das der Unterschied zwischen einer 5700 und einer 2060 Super FE....praktisch irrelevant.....das würde wirklich in die Messungenauigkeit fallen und ganz bestimmt von niemandem bemerkt werden.

Ist aus meiner Sicht trotzdem etwas das man als Übertakter mitnehmen kann.....ich tune ja auch meinen RAM um irgendwo noch 1% rauszuholen...die VRam Timings, die dann 0,5% bringen....die Kühlung wird laut gedreht um nochmal 25MHz auf der CPU zu gewinnen....
und macht man ganz viele Dinge, die alle nur grob 0.5-1% bringen, ist man am Ende doch ein paar % schneller.
....für den Alltag und 99% der Nutzer egal....für den Spaß am OC Optimieren, würde ich mich ärgern, wenn ich 1% weniger 3DMark Punkte habe weil jemand PCIe 4.0 nutzt und ich am Board gespart habe.

Bis jemand zuverlässige irgendwo Vorteile für PCIe 4.0 bei Grafikkarten findet, sollte die Kaufberatung natürlich weiterhin darauf abzielen 4.0 als irrelevant für normale Nutzer zu beschreiben.

 

[Enurian]

Da ich mit meinem C6H noch auf einem älteren BIOS bin, das mir erlaubt PCIe 4.0 einzustellen, habe ich das mal eben mit BF V und meiner 5700 XT gegengeprüft (Benchmarkstrecke von CB). Jeweils 3 Runs.

PCIe 3.0:
71,0
71,2
71,0

PCIe 4.0:
71,7
71,8
72,1

Also ja, es ist ein Unterschied messbar: 0,8 fps oder 1,1%.
Das ist aber im erwartbar niedrigen Rahmen, PCGH muss da was falsch machen...
Interessanter ist da eher, dass das mit X370 läuft. GPU-Z gibt es als 4.0 aus und die Performancedifferenz beweist auch mehr oder weniger, dass es aktiv ist.

 

[Bigfoot29]

Die Frage ist, ob die 4.0 auch durch die GPU wirklich genutzt werden oder ob man sagt "ja, das ist zwar 4.0, aber En-/decoding-technisch verwenden wir wegen höherem Jitter auf der Leitung trotzdem nur max. 3.0".

Ich will das nicht schlechtreden. Es war eigentlich immer schon so, dass zu Zeiten eines PCIe-Versionswechsels die alte Schnittstelle noch nicht ausgelastet war. Selbst mit PCIe 3.0 x8 ist der Leistungsverlust aktueller Grakas minimal.

Vielleicht können wir aber auch mit dem Spekulatius aufhören und bei PCGH mal nachforschen, was da passiert ist. - Zumindest die, die es interessiert. Ich muss zugeben: Mir reicht PCIe 3.0. Aktuell spiele auch immer mal wieder auf einem Notebook mit PCIe 2.0 x4. Geht auch.
(Neben dem CH6, das im Moment zerlegt unter dem Schreibtisch steht.)

Regards, Bigfoot29

Nachtrag: Wo es sich auswirken KÖNNTE, wäre bei extrem hohen Qualitätsstufen beim Encoding von Frame-Capturing-Software. Dort wäre es möglich, dass das Mehr an Bandbreite letztlich auch dem Spiel selbst wieder zu Gute kommt. Andererseits: PCIe ist bi-direktional. Also auch nur eine begrenzt sinnvolle Erklärung.

 

[Baal Netbeck]

Etwa 68,5% aller Messwerte liegen nun im Bereich +-eine Standartabweichung um den Mittelwert. Um sicher zu gehen, dass dein "FPS-Gewinn" nicht nur eine rein statistische Sache ist, sollte der Mittelwert mit PCIe4 also außerhalb dieses Intervalls (besser zweimal diesem Intervall, dann liegt der PCIe Mittelwert oberhalb von 95% der Messwerte mit PCIe3) liegen. Ansonsten ist der Test nicht aussagekräftig genug, die Behauptung zu stützen, dass PCIe4 irgendetwas bringt (in bezug auf PPS, im Jahr 2019).

Sorry für den Rant....habe mich vor verpflichtungen gedrückt und ist nichts persöhnliches.

Nicht nur ist die Methode mit den Screenshots die du vorgeschlagen hast sinnlos....wenn man zuverlässige Methoden hat um die Frametimes zu messen....darauf eine Standardabweichung des Mittelwertes loszulassen, ist für eine Aussage zu den Messschwankungen, auch falsch.

"Standardabweichung des Mittelwertes"...die mit den 1/(n*(n-1)) mit "n" als Anzahl der Messwerte....ist was für die Statistik von Befragungen....oder Studien zu Dingen die nicht unbedingt "den einen wahren Messwert" suchen....."wie viele Katzen leben in ihrem Haushalt?"...."Wie alt sind die Kinder, die diese Jugendeinrichtungen nutzen?"....usw.

Die Daten könnten für die Katzen 0 0 4 1 0 2 1 24 0....sein. Und für die Kinder 8 12 13 12 10 16....
Da will man nicht alle Haushalte fragen und nicht alle Kinder befragen...man weiß dass es einen "echten" Mittelwert gibt und man möchte nur so viele Leute fragen, bis die Standardabweichung sagt, dass der Fehler für den Mittelwert unseres eingeschränkten Datensatzes akzeptabel klein ist.....wir also davon ausgehen können ausreichend nah am echten Mittelwert zu sein.....Juhu Arbeit zu Ende.

Deshalb hat die Standardabweichung des Mittelwerts die n² im Nenner....auch wenn die Varianz der Messwerte gleich bleibt, so überwiegt irgendwann, mit mehr Befragungen/Messungen, das Quadrat und der Fehler wird sehr klein.

Macht man Messungen die Messschwankungen unterliegen und man möchte wissen wie groß diese Schwankungen sind....wie stark ich meinen Messungen vertrauen kann.
Dann misst man die gleiche Sache viele Male und bildet die "empirische Standardabweichung" die gibt es mit 1/n und 1/(n-1).....eigentlich egal....denn ob ich bei 5 Messungen durch 4 oder 5 teile ist eher unwichtig.
Wichtig ist, dass ich kein n² mehr drin stehen haben....so bleibt die Varianz sichtbar und mit mehr Messungen wird nicht nur mein Mittelwert besser, auch die Angabe über die Messschwankungen wird besser.

Die Daten hier könnten Abmessungen eines industriell gefertigten Bauteils sein....5mm 5,05mm 4,9mm 4,99mm 5,03mm .....
Einerseits könnte ich z.B. 30 Bauteile messen.....die empirische Standardabweichung bestimmen....an der Maschiene herumbasteln und gucken ob ich die Schwankungen kleiner bekomme.
Andererseits sollte ich das gleiche Bauteil von verschiedenen Mitarbeitern mehrfach vermessen lassen und auch hier die empirische Standardabweichung anwenden um herauszufinden, wie groß der Fehler der einzelnen Messungen ist.

Dann sehe ich wie groß die Messungenauigkeit der Längenmessung an einem Bauteil mit der Schieblehre ist...und wenn diese viel kleiner ist als die, der gemessenen Bauteilunterschiede, dann kann ich wohl den Einzelmessungen vertrauen....und kann mich darauf konzentrieren die Maschiene genauer zu bekommen.

Ist die Längenmessung ähnlich ungenau wie die Ergebnisse der verschiedenen Bauteile, waren die Bauteile eventuell alle perfekt und ich habe nur ungenau gemessen.......da könnte ich jetzt meine Messmethode verbessern oder jedes Bauteil ganz oft messen und die Mittelwerte der multiplen-Messungen der verschiedenen Bauteile vergleichen.

Man muss also die richtige Statistik auf die gegebene Situation anwenden....oder sehen, wo es nichts bringt.

Überträgt man das jetzt auf die Spieleleistung von PC Hardware, misst man Frametimeverläufe....oder FPS....ob das jetzt auf eine Sekunde gemittelte Frametimes sind...kontinuierlich aufgenommen oder mit Screenshots festgehalten.....oder avg FPS über die ganze Szene.....erstmal egal.

Sofern man kein Standbild benchmarkt, hat man im Verlauf der Benchmarkszene verschiedene Belastungen für die Hardware.
Den genauen Vergleich der Leistung an Stelle X im Benchmarkverlauf ist kaum zu reproduzieren....wie du schon sagtest, guckt man beim durchlaufen einer Szene mal etwas weiter nach rechts, links, nach unten oder ist leicht vom Weg abgekommen......Screenshots vergleichen ist daher sehr ungünstig.

Also guckt man sich den Durchschnitt an.....dabei sollten sich kleine Unterschiede an Stelle X "wegmitteln" oder zumindest bei mehreren Messungen als Teil der Messschwankung sichtbar werden.

Möchte ich jetzt eine quantitative Aussage zu meiner Messschwankung, ist die empirische Standardabweichung ein probates Mittel.....diese kann ich aber nur auf die Messung der gleichen Sache anwenden....also nur auf die Leistung an Stelle X....nur auf die Durchschnitts-FPS der ganzen Szene....auf die 1% low Frametimes der ganzen Szene....

Sie auf einzelne Screenshots in Verlauf der Szene anzuwenden ergibt diesbezüglich keinen Sinn.....dann habe ich ja mal Stelle X und Y und Z usw. gemessen.....Messschwankungen sind das nicht, sondern Schwankungen in der Hardwareanforderung.
Das könnte ich machen wenn ich wissen möchte wie gleichmäßig die Hardwareanforderung meiner Benchmarkszene ist....wenn das nicht die Fragestellung war, war das Vorgehen falsch.....
War sie es, dann könnte man streiten, ob die empirische oder die Standardabweichung des Mittelwertes hier die besser Wahl ist.

Als Hardwaretester sollte man also vorher schon seine Benchmarkszene und den Benchmarkverlauf gut erforscht haben.

Man kann den Weg den mal läuft oder die Sachen die man macht bessser üben.....man kann die Länge der Szene verändern....wenn bei 20s Messungen die Schwankungen zu groß sind, kann ich 40, 60, X Sekunden lang messen um die Durchschnittswerte zu verbessern....oder verringern, wenn es nur unnötig Zeit frisst.

Ich kann andere Variablen klein halten....viel Ram verwenden, damit nicht ab und zu ausgelagert wird...bei GPU Tests eine CPU mit festem Takt verwenden, damit die Unterschiede im CPU Boost nicht die GPU Messung beeinflussen und bei CPU/Ram Messungen den Takt der GPU möglichst genau festsetzen....Ramtimings fest setzen usw.

Gleiche Raumtemperatur und Kühlung verwenden....

immer die gleiche Vorbereitung wählen....nicht einmal frisch nach einem Neustart benchmarken und das andere mal, nachdem man schon 2h im Internet gesurft hat....oder eben einmal den ersten Durchlauf nehmen und dann etwas ändern und die Szene ohne Neustart nochmal testen.

Die Wahl der Auflösung und Grafiksettings ist auch wichtig zu wählen.
Muss es immer 720p für CPU Tests und Ultra Details für alles sein?
Ich teste lieber so wie ich das Spiel spiele...in meiner Auflösung und mit Settings, die mir einen Kompromiss aus FPS und Optik bieten....aber da gibt es viele Meinungen und legitime Argumente für verschiedenes Vorgehen.

Die Auswahl der Testszene ist eine Kunst für sich....GPU intensive Bereiche für GPU Tests und CPU intensive Bereiche für CPU/Ram Tests finden....am besten ähnliche FPS bei start und ende der Szene haben, um keine Unterschiede zu bekommen, wenn man mal eine Sekunde zu spät/früh den Hotkey drückt.
....systematische Fehler minimieren.....bei The Witcher 3 musste ich z.B. eine größere Runde in Novigrad nutzen, denn nur wenn man weit genug von NPC Gruppen entfernt ist, werden diese zufällig ausgetauscht....eine zu kleine Runde behält die NPCs die beim laden da waren....dann wären die Messungen einer Messreihe alle sehr ähnlich, würden am nächsten Tag je nach Glück oder Pech, aber besser oder schlechter ausfallen.
..gibt noch hunderte andere Sachen.

.....und wenn man irgendwann alles gemacht hat was man tun kann aber die Messungen weiterhin nicht so reproduzierbar sind wie man das für die Fragestellung braucht, dann muss man das einsehen und den Test nicht machen/verwenden.

Gerade Multiplayer Spiele sind da schwierig....Und wenn ich die unbedingt machen möchte, dann bitte über einige Messungen gemittelt und mit Angabe der empirischen Standardabweichung um die Schwankung von Messung zu Messung abschätzen zu können.

Ich muss eigentlich immer schmunzeln, wenn ich Tests hier oder wo anders im Netz lese, weil genau solche Betrachtungen nie gemacht werden. Da wird dann bei 3FPS mehr gejubelt, dabei war die Grundlage 60FPS....
Es wird aber nur einmal der Benchmark gemacht, ein bisschen mehr Statistik könnte man schon betreiben.

Es ist leider eine Schande wie intransparent ein Großteil der online Benchmarks entstanden sind....die transparentesten und zuverlässigsten Benchmarks macht meiner Meinung nach Gamers Nexus und durch die schiere Masse an Benchmarkdaten sind die Benchmarks von Hardware unboxed auch gut.

Bei Computerbase habe ich schon oft nachgefragt, über wie viele Messungen denn gemittelt wird, aber nie eine Antwort erhalten....kann man sich selbst was zu denken....in der Regel scheinen die Messungen aber brauchbar zu sein.....sie werden über die Jahre auch etwas besser....allzu genau sollte man die Werte aber nicht nehmen.

Wenn ich nur GPU A mit GPU B vergleiche und die liegen 4 oder 6% auseinander ist das ja auch nicht so wichtig....

Will ich aber etwas untersuchen.....ist PCIe 4.0 besser? ist BankGroupSwap an oder aus besser? Welchen Unterschied machen Subtimings?
.......dann sind die Unterschiede auch mal nur ein halbes Prozent! Dann muss ich da nicht nur sehr genau arbeiten und oft messen.....ich muss auch meine Fehlerrechnung beherschen, um an Ende eine Fehlerabschätzung zu machen die mir sagt ob das ein signifikanter Unterschied ist oder nicht.

Das traue ich eventuell Gamers Nexus zu....Igors Lab....und wenn er sich Mühe gibt Der8auer, aber sonst kenne ich da keine Quelle im Internet, die sich um sowas bemüht.

Und wie du schon sagtest, ist es oft so, dass Leute sich über kleine Unterschiede den Kopf einschlagen, ohne zu wissen ob das überhaupt zuverlässig gemessen wurde......Und leider wissen wir es oft einfach nicht.

Ergänzung (26. September 2019)

Nachtrag: Wo es sich auswirken KÖNNTE, wäre bei extrem hohen Qualitätsstufen beim Encoding von Frame-Capturing-Software. Dort wäre es möglich, dass das Mehr an Bandbreite letztlich auch dem Spiel selbst wieder zu Gute kommt. Andererseits: PCIe ist bi-direktional. Also auch nur eine begrenzt sinnvolle Erklärung.

Stimmt, das encoding sollte sie Bandbreite die gesendet wird nicht beeinflussen....aber wer weiß wie das intern veranbeitet wird...eventuell gibt es doch Flaschenhälse....wäre also durchaus mal zu betrachten.

Ansonsten weiß ich auch keine sinnvolle Methode das zu untersuchen.

Den VRam überlaufen lassen um mehr Datentransfer zu erzwingen wird wohl kaum reproduzierbar zu messen sein....und ob das überhaupt annährend die Bandbreite ankratzt ist auch fraglich.....die FPS werden so runter gehen, dass nur noch selten welche gebraucht werden.

Crossfire könnte mehr profitieren...ist aber tot.

Und es muss ja irgendwie relevant für den Nutzer bleiben.....die minimale Verbesserung, die Enurian gemessen hat wird wohl das sein was man erwarten kann.....soll jeder selbst wissen ob er das wichtig findet oder nicht.

 

[Leo.16]

@Enurian Drei Werte ist auch bisschen wenig für eine statistische Analyse.
@Baal Netbeck gebe ich dir vollkommen recht.
Das Problem an der Sache ist doch nur, der Großteil möchte das nicht hören. Die wollen höhren: "Mit der Grafikkarte XY hast du 3FPS mehr als bei der YX. Deshalb kauft die XY." ,und nicht "Mit der Grafikkarte XY hast du (120+-5) FPS und mit der Grafikkarte YX (123+-6) FPS. Deshalb kauft die, die euch besser gefällt."

Die Idee mit den Screenshots habe ich va deshalb vorgeschlagen, wel dir PCGH kaum die Primärdaten ihres Tests geben wird (nicht geben kann weil sie die nicht mitgeloggt haben).
In der GUM (Guide to the expression of uncertainty in measurement) wird auf die Angabe von Messungenauigkeiten eingegangen. Wenn ich mich recht ensinne wird darin bei TypA (statistische Analysen) wie folgt vorgegengen:
Zuerst wird der beste Schätzwert für den Erwartungswert x_0 als arithmetisches Mittel gebildet. Der beste Schätzwert der Varianz ergibt sich dann zu u^2(x)=1/(n-1)sum(x_i-x_0) und der beste Schätzwert für die Varianz des Mittelwertes u^2(x_0)=u^2(x)/n. Ist die Stichprobe groß, enstspricht u^2(x_0) der Messungenauigkeit, ansonsten muss man diesen noch mit dem Studentfaktor multiplizieren (bei 3 Werten wäre dies bspw 1.32).

Aber wie man vorgeht und wie man all die möglichen Störeffekte einbezieht/gleichhält/rausrechnet/.., also wie man damit umgeht, ist ja ersteinmal egal, solange man es mal machen würde und dann bitte auch immer gleich.
Evtl. findet sich in der Community ja auch eine Menge von Mitglieder, die soetwas entwickeln würde. Ich würde mich freuen, habe aber auch leider nicht die Hardwarekapazitäten einfach mal soetwas anzugehen.

 

[Baal Netbeck]

er beste Schätzwert der Varianz ergibt sich dann zu u^2(x)=1/(n-1)sum(x_i-x_0)

Das sieht richtig aus.....wäre die emprische Standardabweichung(Wurzel der empirische Varianz) Definition 1 mit 1/(n-1)

Wenn man Standardabweichung sagt meinen die Leute allerdings in der Regel die Standardabweichung des Mittelwertes, weil dass auch das ist was Excel nutzt.....was man in der Schulmathematik gelernt hat usw.

und der beste Schätzwert für die Varianz des Mittelwertes u^2(x_0)=u^2(x)/n. Ist die Stichprobe groß, enstspricht u^2(x_0) der Messungenauigkeit, ansonsten muss man diesen noch mit dem Studentfaktor multiplizieren (bei 3 Werten wäre dies bspw 1.32)

Das wäre dann Definition 2
Das mit dem Studentenfaktor geht glaube ich von einer anderen Verteilung aus.....tendenziell würde ich sagen die Fehler die hier berechnet werden, eben immer nur eine Abschätzung sind.....wenn ich mir viele FPS/Frametime Ergebnisse angucke, dann folgen die weder einer Normalverteilung noch einer anderen üblichen Verteilung aus der Statistik
Denn man hat selten Streuung nach oben(besser)...aber öfter Streuung nach unten(schlechter).

Und das nicht gleichmäßig gestreut sondern eher normalverteilt um einen Wert, überlagert mit Ausreißern und Schwankungen nach unten.....aber die Schwankungen kann man auch nicht einfach ignorieren...Es gibt ja Gründe, warum manche Hardware bessere Frametimes hat........die Ausreißer schon eher....die können auch unverschuldet durch Hintergrundlast....Shader Cache oder so verursacht werden.....ist sicherlich ein ganz eigenes Thema.