Geekbench AI (CPU und OpenVINO)

[deekey777]

Geekbench hat einen weiteren Benchmark veröffentlicht: Geekbench AI. Anders als Geekbench ML beherrscht es nicht Direct ML.

https://www.geekbench.com/blog/2024/08/geekbench-ai/

386
Single Precision Score
409
Half Precision Score
1171
Quantized Score
https://browser.geekbench.com/ai/v1/5313
SPX mit dem SQ1 (Snapdragon 8cx), CPU. QNN lief extrem lange, abgebrochen (habe meine Zweifel, dass die NPU benutzt wurde).
Mac Mini M2 CoreML Neural Engine
2175
Single Precision Score
12077
Half Precision Score
12811
Quantized Score

 

[madmax2010]

Gibt leider keinen Rückschluss darauf welche Modelle in welcher Größe bei welcher Performance laufen

 

[DIDI007]

Es gibt eine neu Version des Tools.

Ich finde es brauch für die Zukunft ein Benchmark Tool, dass klare Transparenz über die Leistungsfähigkeit einer NPU gibt. Klar sind die Modell unterschiedlich und daher auch die Leistung einer NPU, aber irgendwie sollte ein Standard geschaffen oder gesetzt werden.

Ich würde mich freuen wenn es in Download Bereich von Computerbase aufgenommen wird.

 

[madmax2010]

@DIDI007 und was exakt testet sie an NPUs?

 

[DIDI007]

Als ersten Punkt als Entscheidungshilfe welche NPU bei Neukauf von PC Hardware.

Als zweites wie oder welches Modelle die NPU der Firma XXX am besten harmonieren.

Wenn ich als Vorraussetzung Google Gemini oder MS CoPilot habe, welche Hardware ist dann zu bevorzugen.

Das Ganze soll erstmal eine "Start- oder Orientierungshilfe" werden.

 

[madmax2010]

Als ersten Punkt als Entscheidungshilfe welche NPU bei Neukauf von PC Hardware.

Mit einem expliziten Test welche modelle funktionieren, oder eher mit einer Zahlohne Grundlage?

Als zweites wie oder welches Modelle die NPU der Firma XXX am besten harmonieren.

Harmonieren = welche architekturen auf welcher Hardware wie skalieren?

Wenn ich als Vorraussetzung Google Gemini oder MS CoPilot habe, welche Hardware ist dann zu bevorzugen.

Beide laufen nicht lokal. Da ist die NPU komplett egal. Gemma, stable diffusion oder Mistral wären lokal, brauchen aber teils komplett unterschiedliche Hardware für die man unterschiedlich testen muss

 

[DIDI007]

Ich denke man sollte eine Einordnung durch Becnhmark bekommen was wie gut funktioniert.

Klassische Benchmakrtools für GPU oder CPU haben sich ja auch mal grundlegend überlegt was wie zu Testen ist um ein Aussage zutreffen.

Vielleicht bin ich dafür auch noch viel zu naiv unterwegs. ;-)

Die Hersteller der genannten Beispiele sprechen davon daß sie lokale NPU unterstützen wollen.