Welchen Benchmarks glauben?

[wüstenigel]

Hallo in die Runde - die Frage steht eigentlich irgendwie im Titel

Ich hab mir wegen dem Kimi K3 release ein paar Benchmarkseiten angeschaut und festgestellt, dass mein "Lieblingsmodell" bzw. das Modell mit dem ich bisher die besten Ergebnisse erzielt habe (Opus 4.6) gar nicht so gut abschneidet z.B. bei vals.ai oder artificialanalysis.ai. Andere Claude Modelle sind besser, von Fablem, den neuen OpenAI oder anderen Modellen ganz zu schweigen- einzig bei arena.ai dominiert 4.6 nachwievor nahezu überall. Wobei arena.ai stark "sycophancy"-lastig ist, weil die User ja selbst abstimmen können.

Das wirft bei mir halt die Frage auf - auf welche Benchmarks kann man sich einigermaßen verlassen, wenn man die allgemeine Qualität eines Modells (Texterstellung, Analyse, Recherche, komplexe Anweisungen) einschätzen will (also alles außer swe?)

Und wie geht ihr mit dem Widerspruch zwischen subjektiver Zufriedenheit und Benchmark-Ergebnissen um?

 

[chr1zZo]

Die Frage ist immer, ist es auf deinen UseCase die richtige AI? Benchmarks sind halt Allgemein. Das beste ist die gewünschten Modelle einem eigenen Benchmark unterziehen. Hier ist eben auch ein Unterschied ob Full Power Cloud oder Lokal betrieben.

 

[madmax2010]

Ich finde die ganzen Benchmarks komplett useless. Ich spiele 20-30 Minuten mit Modellen und schaue wie gut sie tun, was ich will

Hier ist eben auch ein Unterschied ob Full Power Cloud oder Lokal betrieben.

wobei sich auch die einzelnen cloud provider unterscheiden.
Jeder hat eine andere systemprompt und hyperparameter

Wie immer am PC.
Trau deiner Nutzung und nicht den Zahlen von Fremden

 

[Rickmer]

Weil ein neues Modell generell über eine weite Breite an Wissensgebieten besser ist als dessen Vorgänger heißt nicht zwingend, dass es für deinen spezifischen Usecase zwingend besser sein muss.

Selber mal ausprobieren wie gut es für dich funktioniert kann dir keine Benchmark-Website abnehmen.

 

[Zwirbelkatz]

Und wie geht ihr mit dem Widerspruch zwischen subjektiver Zufriedenheit und Benchmark-Ergebnissen um?

Testen, weil ein Benchmark für subjektive Einflüsse nicht wirklich brauchbar ist.

 

[Fujiyama]

Wahrlich müsstest du es mit deinem Usecase testen.

 

[wüstenigel]

Danke für eure Antworten!

ist es auf deinen UseCase die richtige AI

Trau deiner Nutzung

ausprobieren wie gut es für dich funktioniert

Testen

du es mit deinem Usecase testen

Das ist genau das.. gefühlt finde ich Opus 4.6 in nahezu jedem eigenem Test (außer das bisschen coding nebenher für kleine private Projekte) überlegen.
Ich hab halt einfach nur Sorge, dass ich 4.6 besser finde, weil es (scheinbar) mehr sycophantic ist als die Nachfolger und ich eventuell ein besseres Ergebnis haben könnte, es aber ablehne weil ich z.B. finde, dass Opus 4.8 zu viel schreibt und Dinge wortwörtlich nimmt oder zu komplex schildert, oder weil Sonnet 5 bei mir übertrieben Stichpunktlisten mag.

Vermutlich ist das mehr eine philosophische Frage als eine praktische... zumindest hab ich das Gefühl langsam.

 

[chr1zZo]

@wüstenigel Opus ist auch ein echt solides Modell. Mein Main Modell bleibt Claude im Frontier Modus. Lokale Modelle wie Qwen lohnen sich für kleine Aufgaben. Bei großen muss man Scaffolden, sonst dreht er durch. Qwen 3.7 via OpenRouter als Full Modlel macht schon wieder mehr her und den lasse ich Agentiv auf gewisse Aufgaben los, am Ende schaut aber immer mein Claude drüber.

 

[Fujiyama]

Statt mit Gefühlen würde ich eher objektiv die einzelnen Modelle bzw. Dienstleister beurteilen.

 

[Drahminedum]

weil ich z.B. finde, dass Opus 4.8 zu viel schreibt

Warum passt Du das nicht an?

 

[wüstenigel]

objektiv die einzelnen Modelle [...] beurteilen.

soweit ich das kann, liefert Opus 4.6 für meine Szenarien die besten Ergebnisse. Hält sich an die custom instrutions, die skills werden ausgeführt, Projektfiles werden zuverlässig gelesen etc.

Nur laut Benchmarks scheint das Modell halt nicht mehr ganz so das zu liefern, was man SOTA nennt.

Warum passt Du das nicht an?

Hab ich. Ich bekomme das weder Sonnet 5 noch Opus 4.8 ausgetrieben. Ich hab die instructions auch angepasst extra auf die Modelle.

Wenn du da einen Tipp hast, was funktioniert bei dir, immer her damit!

 

[BeBur]

Und wie geht ihr mit dem Widerspruch zwischen subjektiver Zufriedenheit und Benchmark-Ergebnissen um?

Ich gucke fast nicht auf Benchmarks. Ich schaue, ob die KI meine Probleme löst. Wenn / Solange sie das tut gibt es kein Problem, also bedarf es auch keiner Lösung.

Wenn du da einen Tipp hast, was funktioniert bei dir, immer her damit!

Caveman ist der Klassiker.