News Sports Mode: MediaTek beim Cheaten in Benchmarks erwischt

[DaysShadow]

@Lübke82 Die Benchmarks werden aber in dem Fall nicht von Herstellern dazu genutzt ihren Kram zu verkaufen bzw. zu bewerben 😉

 

[Lübke82]

@Lübke82 Was ist das denn für ein Vergleich? Wenn Benchmarkrekorde unter absurden Bedingungen erreicht wurden, wird in der Regel auch geschrieben, wie es zu dem Rekord kam. Dann weiß jeder, dass solche Werte in der Praxis nicht zu erreichen sind.
Hier wurde aber so getan, als ob solche Leistung im Alltag erreichbar wäre. Tester und Kunden wurden getäuscht.

Hab bei 3D Mark noch nie was gelesen in der Tabelle, wie die Rekorde erreicht worden sind. Da kann man genau das Selbe ableiten. Ist es auch dann cheaten, wenn ich den Stromsparmodus von ausgeglichen auf Höchstleistung stelle? Viel mehr wird der Handy-SOC auch nicht machen!

 

[Balikon]

Die 3D-Mark-Liste wird aber auch nicht für Kaufentscheidungen herangezogen, noch nutzen sie Journalisten für ihre Tests, oder? Das ist eine User Liste, die interessiert keinen.

Hier wurde wohlwissend und von Herstellerseiten aus getrickst.

 

[Lübke82]

@Lübke82 Die Benchmarks werden aber in dem Fall nicht von Herstellern dazu genutzt ihren Kram zu verkaufen bzw. zu bewerben 😉

Hab ich genauso wenig Werbung gesehen wie bei GPUs für PCs 😎

 

[iGameKudan]

Wären es nur 5%... oder meinetwegen 10%... gewesen, hätte kein Hahn nach gekräht und es wär vermutlich nicht mal aufgefallen.

Nur war man zu gierig. Geschieht MT recht. Man könnte es ja auch als Test für eine zukünftige Funktion für den User verkaufen...

 

[Trefoil80]

Gammelprozessoren - scheinst ja echt Ahnung zu haben.

Na klar, die habe ich. Wer im Smartphonebereich keine Sourcen rausgibt und auch noch bei Benchmarks schummelt, ist bei mir unten durch.

 

[Holzfällerhemd]

@Trefoil80
Das macht es nicht zu Gammelprozessoren. Wie gesagt, Ahnung...

 

[Gandalf2210]

Öhm, ja nee is klar.

Hast du andere Aussagen und Werbeversprechen von Mediatek, die anderes behaupten, was nicht eingehalten wird?

 

[(-_-)]

Erinnert an die Betrugsversuche von Samsung.

 

[Gandalf2210]

@Stanzlinger: Was nützt denn die theoretische Leistung? Benchmarks beeinflussen ja auch Ergebnisse von Testern. Vielleicht trifft es diesmal ein Autovergleich ganz gut:
Nun schaltet der Hersteller ohne Wissen des Redakteurs die 140 PS frei. Dabei werden bewußt die Grenzen des Fahrwerks gesprengt, das eine Mal packt das Fahrwerk die Mehrbelastung ja. Und was macht der Redakteur? Der berichtet im Artikel begeistert, wie agil und spritzig sich die Kiste trotz "nur" 100 PS fährt.

Und was machen die interessierten Kunden? Sie kaufen das Auto wegen der im Test gezeigten Leistung. Das Serienfahrzeug wird aber niemals wie das manipulierte Testexemplar fahren. Das soll kein Betrug sein? Selbstverständlich ist das Betrug, auch wenn der Motor selbst beim Test tatsächlich die 140 PS brachte. Oder sollte sich der Kunde mit dem Hinweis "Wir wollten das wahre Potential des Motors zeigen" zufrieden geben? Wohl kaum.

Wenn der Tester Die Rundenzeiten für die Nordschleife angibt, und der Kunde daraus folgert, dass er dann auch schneller zum Aldi einkaufne fahren kann, ist das eine sehr gewagte Schlussfolgerung. Ein guter Redakteru sollte auch den alltagsgebrauch testen und nicht nur theoretische Rennstrekcenergebnisse in den Test einfließen lassen

Ergänzung (8. April 2020)

Gandalf2210 hat wohl ein entsprechendes Chinaphone mit MediaTek SoC erworben. Nun macht es ihm schon nicht madig!

Nein. Aber wer sich ein China phone nach Benchmarks kauft, und dann Benchmark bekommt soll sich nicht wundern. Deshlab wurde das phone doch gekauft?!?

 

[mykoma]

Wenn das im Automobilsektor zum guten Ton gehört, dann bei Elektronik doch auch.

Wir schaffen "ehrlich" und "vertrauenswürdig" einfach ab und bescheißen uns alle gegenseitig:
"Herr Doktor, bin ich krank?" - "Ne, alles tutti"

Einfach wiederlich.

 

[Balikon]

Nochmal @Gandalf2210: Es werden bei Benchmarks durch bewußtes Überschreiten der Spezifikationen Werte erzeugt, die Tester und Kunden auf eine höhere Alltagsleistung schließen lassen, wie die Geräte letztendlich haben, wenn sie sich gemäß der Specs verhalten. Im besten Fall bekommen sie nur 70% der im Benchmark angezeigten Leistung, im schlechtesten deutlich mehr.
So wo soll das jetzt keine Täuschung oder Betrug sein?

Autotests sind in der Regel eine Mischung aus Hochleistungs- und Alltagstest. Wenn der Redakteur dem Auto im Alltag eine gute Agilität bescheinigt (gute Beschleunigung, gute Elastizität) dann darf der Kunde sehr wohl davon ausgehen, dass er zum Beispiel auf dem Weg zum Aldi flüssiger im Verkehr mitschwimmen kann. Oder dass er beim Überholen schnell aus der Gegenspur kommt. Was nicht der Fall sein wird, weil er mit 40 PS weniger auskommen muss.

Ich sehe schon, Du willst oder kannst kein Fehlverhalten seitens MediaTec erkennen und drehst anderer Leute Argumente so um, dass Du zum selben Schluß kommst, wie zuvor. Du nimmst wahrscheinlich auch VW bei deren Abgas-Tricksereien in Schutz. Ist doch schuld der Kunden. Und auf dem Teststand bekommen sie doch die versprochenen Abgaswerte. Alles tutti......

 

[andi_sco]

Kauft jemand tatsächlich Geräte mit deren Gammelprozessoren?

Ne, die werden produziert und gleich wieder verschrottet

 

[estros]

Ein Benchmark soll realitätstreu die Leistung wiedergeben, um den Prozessor mit anderen Prozessoren vergleichen zu können. MediaTek hat Schwein, dass hier keine rechtlichen Regularitäten greifen, sondern die Hersteller entscheiden über das Limit der Leistungsaufnahme.

Ich würde als Benchmarkersteller hier bei allen Prozessoren eines Herstellers eine Warnmeldung darstellen, dass die Ergebnisse verfälscht sein können.

 

[andi_sco]

Die Leistungsaufnahme der SoCs ist doch eh durch die abzuführende Wärme limitiert....

Da stellt sich die Frage, ob die Temperaturen für die Dauer der Benchmarks nicht einfach ignoriert werden.

 

[Rockstar85]

Das ist nichts neues und kennen wir nun von nahezu allen SoC Modellen.

Intel propagiert das nun schon seit Jahren keinen juckt es. Nennt man hier nur eben Turbo Mode.
Warum soll Mediatek da anders vorgehen?
Und die, die hier laut meckern, verkaufen es bei Intel als Fortschritt. Nennt man in Fachkreisen Doppelmoral

Und nun steinigt mich

 

[whynot?]

Bin ich der einzige den das Wort 'cheaten' in der Überschrift stört? Mit Cheaten assoziiere ich immer Computerspiele, hier würde imo schummeln/betrügen/täuschen besser passen, man muss ja nicht immer alles ver-englischen auf einer deutschen Seite

 

[Haxor]

Mein Helio X20 ist der erste und letzte Mediatek den ich gekauft habe. Werde mir nur noch Snapdragons kaufen, oder andere Prozessoren die ähnlich gut mit Custom-ROMs supported werden. Die Mediateks sind, meiner Meinung nach, reine Wegwerfprodukte.. war wohl die dümmste "Investition" meines Lebens.

 

[Gandalf2210]

dann darf der Kunde sehr wohl davon ausgehen, dass er zum Beispiel auf dem Weg zum Aldi flüssiger im Verkehr mitschwimmen kann.

nein, darf er eben nicht. Vielleicht will der Kunde ja auch ne tolle Norschleifen Rundenzeit haben? Oder vor Freunden mit dem Benchmark angeben? Kunde will hohe Benchmark Ergebnisse? Mediatek liefert. Angebot Nachfrage.

 

[DrSeltsam95]

Branchenüblich, OneMinus: https://www.gsmarena.com/oneplus_5_cheats_on_multicore_benchmarks-news-25730.php

Huawei: https://www.androidauthority.com/the-companies-we-busted-cheating-on-benchmarks-in-2018-936168/

Samsung: https://www.anandtech.com/show/7384/state-of-cheating-in-android-benchmarks

Nvidia mal im 3DMark 2003; bei der GTX 970 hat man aber auch gesehen, was die von ihren Kunden halten und beim zum Glück durch viel Gegenwind gestoppten GeForce Partner Program, wieviel Lederjacke von fairem Wettbewerb hält...

Und mit Intel könnte man ganze Seiten füllen, die Änderungen bei Userbenchmark und Passmark riechen aber 10 Meilen gegen den Wind nach Bestechung: https://www.computerbase.de/2019-07/userbenchmark-cpu-speed-index-aenderung-kritik/
https://www.computerbase.de/2020-03/passmark-performancetest-beguenstigt-intel-prozessoren/

Dann der Intel Inside Job auf der Computex '18: https://www.computerbase.de/2018-06/intel-cascade-lake-x-coffee-lake-s/

Die Benchmarks von Coffee-Lake S mit unfairsten Bedingungen: https://www.computerbase.de/2018-10/intel-core-i9-9900k-i7-9700k-i5-9600k/

Und von dem Zeug, was deren Marketingabteilung so raucht, würde ich auch mal was probieren, Roman offenbar auch:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung