Was macht die KI/AI-Einheit in einem aktuellen Prozessor? Funktionsweise

[AMDHippster]

Hallo zusammen,

es gibt ja nun seit ein paar Jahren KI-Einheiten in Prozessoren.

Damit sollen wohl Berechnungen durchgeführt werden, die auf dem normalen Prozessor viel langsamer wären und viel mehr Energie verbrauchen würden.

So weit so gut.

Aber warum kann man da nicht einfach die Grafikkarte nehmen? Sind diese KI- Einheiten noch mal was anderes?

 

[foofoobar]

https://www.amd.com/de/technologies/xdna.html
https://docs.cloud.google.com/tpu/docs/system-architecture-tpu-vm

 

[FreshLemon]

NPUs (Neural Processing Unit) funktionieren ähnlich wie GPUs aber ohne die Einheiten, welche nur zur Grafikdarstellung gebraucht werden. Ist ein bisschen wie wenn du FPGAs und ASICs vergleichst. FPGAs können viel und sind anpassbar aber dafür nicht in allem die performanteste Lösung. ASICs sind spezialisten, die nur für eine Aufgabe aufgebaut werden und sonst nichts können. Dafür können sie die eine Aufgabe super schnell und effizient.

 

[adfsrg]

Aber warum kann man da nicht einfach die Grafikkarte nehmen?

Könnte man. Wäre dann um Größenordnungen schneller, aber braucht mehr Energie.

 

[kieleich]

Aber warum kann man da nicht einfach die Grafikkarte nehmen?

Viele Systeme haben gar keine Grafikkarte.

Wikipedia erklärt es eigentlich schön und hat noch weitere Links

https://de.wikipedia.org/wiki/KI-Beschleuniger
https://www.ibm.com/de-de/think/topics/ai-accelerator

 

[Fearing]

Stichwort Energieeffizienz - Vor allem Mobile.
Wenn du eine KI-Funktion, zBsp. Hintergrundunschärfe in einem Video-Call oder Geräuschunterdrückung fürs Mikrofon über die GPU laufen lässt, springt oft der Lüfter an und der Akku leert sich schnell. Die GPU ist überdimensioniert für kleine, dauerhafte Aufgaben.
Auch Latenz: Bei Grafikkarten müssen die Daten erst über einen Bus (PCIe) vom Hauptspeicher zur Grafikkarte und zurück geschickt werden. Das dauert Millisekunden.
Die NPU sitzt meist direkt im Prozessor (bzw. SoC) und greift auf denselben Speicher zu wie die CPU. Für kleine, schnelle KI-Aufgaben (wie Gesichtserkennung beim Entsperren oder Textvorhersage beim Tippen) ist die NPU deshalb viel reaktionsschneller.

 

[blubberbirne]

Das sagt die KI zu einer NPU. Kurz und Knapp.

 

[oicfar]

Du meinst sicherlich eine NPU?

Googlen, Informationen finden, lesen und diskutieren.

 

[Piak]

Das was selten ordentlich erklärt wird, welche Mathematischen Operationen werden tatsächlich in den verschiedenen Produkten ausgeführt: CPU, GPU, NPU. Welche Operationen sind teil des Befehlssatzes und für welche Probleme wird tatsächlich was gebraucht? Hier finde ich keine gute Quelle.

 

[Perdakles]

[IMG]https://www.computerbase.de/forum/attachments/1771415764983-png.1707232/[/IMG]

Mir gefällt sehr gut, dass die KI "speziell" mit "c" geschrieben hat. 🤣 :

So viel zum Thema "Sprache verstehen" und "Texte analysieren".

 

[SureValla]

Mir gefällt sehr gut, dass die KI "speziell" mit "c" geschrieben hat. 🤣

Und "ausführen" mit "t"

 

[blubberbirne]

Ein bekanntes Problem bei KI. Sobald Text bei Bilder ins Spiel kommt, ist sie sehr fehleranfällig.

Hier noch mit Gemini generiert. Sehe auf den ersten Blick eine Text Fehler.

 

[AMDHippster]

Wenn du eine KI-Funktion, zBsp. Hintergrundunschärfe in einem Video-Call oder Geräuschunterdrückung fürs Mikrofon über die GPU laufen lässt, springt oft der Lüfter an und der Akku leert sich schnell. Die GPU ist überdimensioniert für kleine, dauerhafte Aufgaben.

Ich glaube das trifft es ganz gut. Allerdings noch mit dem Zusatz,

• durch kürzere Signalwege (Signal muss nicht über einen Bus geschickt werden) schnellere Reaktion und weniger Energieverbrauch
• möglicherweise funktionieren bestimmte Berechnungen noch schneller als auf der Grafikkarte

Ergänzung (Mittwoch um 13:28)

Du meinst sicherlich eine NPU?

Ja, vor allem darum ging es mir.

Ergänzung (Mittwoch um 13:32)

Allerdings wäre ja eine NPU bei klassicher Nutzung des PCs oder Laptops nicht wirklich relevant. Also wenn man klassische Programme benutzt und auch bei Online-Meeting-Software keine Funktionen die Bildverändernd oder Tonverändernd sind nutzt.

 

[Luftgucker]

Und wie weit geht die Hardware Mustererkennung ohne weitere Software? Liefert der mir Kreise und andere geometrische Strukturen oder gleich eine komplette Analyse des Gesichtes?

 

[Nero FX]

@AMDHippster
Wo hast du heute noch einen echten "Bus"? Das ist alles maximal noch virtuell ein BUS System.
PCIe und anderen Verbindungen sind alle Seriell und Punkt-zu-Punkt.

@Fearing
Der Transfer per PCIe spielt keine Rolle, die Rohdaten werden einmal hin und die fertigen Daten dann zurück übertragen. Das merkt man nicht, sonst würde Desktop-PCs ohne NPU in der CPU ja massiv schlechter sein bei AI, ist aber nicht so.

NPU sind dafür da primär Energie zu sparen. Nebeneffekt sind Kostenersparnisse.
Man will eine ähnliche AI Performance erreichen ohne den Material- und Energieeinsatz vom Desktop PC.

Statt z.B. eine Grafikkarte mit 2000 Vollen Funktionseinheiten in die APU einzubauen wird eine Grafikkarte mit 500 vollen Einheiten verbaut und eine NPU 1500 abgespeckten (also funktionsmäßg stark reduziert) verbaut die keine Bildberechnung etc. mehr kann sondern nur AI. So spart man Energie und der Chip/Funktioneinheit wird kleiner als wenn man eine große Grafikeinheit verbaut hätte.

Jetzt gibt es 2 Zukunftsvarianten:
1. NPU werden überflüssig weil selbst die einfachsten APU-Grafikeinheiten die Berechnungen übernehmen
2. AI wird so komplex das immer mehr spezielle NPU-Einheiten benötigt werden.
-> Auch Desktop CPUs bzw. GPU bekommen diese speziellen NPU Einheiten onTop

 

[AMDHippster]

Ich fasse mal zusammen:

• Was macht die KI-Einheit, warum kann man das nicht auf der iGPU wenn erforderlich laufen lassen?

siehe oben, aus Effizenzgründen

• Zu was könnte die KI-Einheit in der Lage sein?

Medien in Echt-Zeit oder auch nicht Echt-Zeit verändern.
Die interessante Frage wäre hier, zu was könnte diese Einheit im Worst Case fähig sein? Vorhandene Daten manipulieren? Diverse Eingaben an den Rechner abfangen? Die Ein-und Ausgabe so kontrollieren, wie in Dystopie Szenarien? Herr über deinen Rechner? Zugang zu digitalen Identitäten kompromittieren?

• Was macht die KI-Einheit bei einem Betriebssystem, das bisher diese nicht unterstützt, zum Beispiel Ubuntu?

Vermutlich liegt sie dann nur brach.

• Kann man unter Ubuntu oder einem anderen Linux dennoch irgendwie auf diese KI-Einheiten zugreifen und wenn ja wie?

keine Ahnung, vermutlich Programmschnittstellen

 

[foofoobar]

Die interessante Frage wäre hier, zu was könnte diese Einheit im Worst Case fähig sein? Vorhandene Daten manipulieren? Diverse Eingaben an den Rechner abfangen? Die Ein-und Ausgabe so kontrollieren, wie in Dystopie Szenarien? Herr über deinen Rechner? Zugang zu digitalen Identitäten kompromittieren?

Das geht auch ohne KI-Foo.

 

[AMDHippster]

Klar, ohne KI macht das der Hacker.

Der Hacker kann ja auch die KI des PCs hacken. Malware für KI.

Ich meine, wenn auf dem Rechner eine Software läuft, aktuell gibt es ja gerade Moltbot zum Beispiel, also wenn so ein KI Asisstent läuft und fast das komplette System kontrollieren kann. Das ist doch ein Ziel für Hacker, ein gutes Einfallstor.

Microsoft könnte ja auch diverse Funktionen der lokalen KI verwalten. Wenn man dann ensprechende Befehle der Regierung umsetzen muss.

Daher die Frage, was wäre hier der Worst Case? Und wie realistisch wäre der?

 

[dms]

aktuell gibt es ja gerade Moltbot zum Beispiel

.. ne heist schon "Wochen" wieder anders.... ClawBot

Was macht die KI/AI-Einheit in einem aktuellen Prozessor​

.. mangels Software/Einsatzfal dafür - "fast" immer nüscht?

https://www.pcwelt.de/article/28799...-tools-nutzen-schon-die-neue-npu-technik.html