Aufgaben und Einsatz einer NPU

[Bastelschlumpf]

Hallo,

eine allgemeine Frage, keine Problembeschreibung i.e.S.:

Der Mini-PC Geekom GT1 Mega mit i9-Prozessor verfügt über eine NPU, also eine Art Coprozessor für bestimmte KI-Aufgaben. Sie wird auch im Taskmanager (Win 11 Pro) angezeigt. Laufen aber lokale KI-Aufgaben wie LM Studio (LLMs) oder Stable Diffusion, ist im Taskmanager keine Regung der NPU zu sehen, obwohl die Aufgaben flott abgearbeitet werden. Bindet heutige Software die NPU noch nicht ein? Oder fehlen spezielle Treiber? Würde mich über Infos dazu freuen!

Ergänzung: Im Geräte-Manager wird die NPU auch mit allen Treibern angezeigt und mit der Meldung "Dieses Gerät funktioniert einwandfrei"

 

[BlubbsDE]

Nutzt Du auch KI Frameworks, die diese NPU unterstützen?

https://www.intel.de/content/www/de...-24m-cache-up-to-5-10-ghz/specifications.html

 

[Bastelschlumpf]

@BlubbsDE: ich weiß ehrlich gesagt nicht, ob LM Studio und Easy Diffusion diese NPU unterstützen. Gibt es einen Leistungstest, mit dem man ihre Funktion gezielt ausprobieren kann?

Ergänzung (12. April 2025)

Sehe gerade, dass Intel eine etwas neuere NPU-Treiberversion (32.0.100.3967) für die Core Ultra - Familie zum Download bereit gestellt hat (vorhandene Version ist 32.0.100.2820):

https://www.intel.de/content/www/de/de/download/794734/intel-npu-driver-windows.html

Im Moment scheue ich etwas das Risiko einer manuell angestoßenen Installation, eigentlich lädt der Rechner notwendige Treiber-Updates automatisch herunter.

 

[Bastelschlumpf]

So, neuer Treiber ist erfolgreich installiert, trotzdem keine Nutzung durch Stable Diffusion und LM Studio

 

[BlubbsDE]

Die unterstützen sie ja auch nicht.

 

[Bastelschlumpf]

Gibt es irgendein Benchmark- oder Testprogramm, mit dem man es einmal ausprobieren kann?

 

[BlubbsDE]

https://www.google.com/search?client=firefox-b-d&q=npu+benchmark+test

 

[Bastelschlumpf]

Mit Geekbench wird die NPU tatsächlich mal etwas gefordert. Immerhin weiß ich nun, dass sie tatsächlich funktioniert: