News LLM-Forschung: Apple will AI-Tools wie ChatGPT direkt auf dem iPhone laufen lassen

[Andy]

Bei der Entwicklung generativer AI-Tools hängt Apple noch hinterher, will aber aufholen. Eine Besonderheit bei Apples Strategie ist Medienberichten zufolge: Die Large Language Models (LLM) sollen direkt auf Geräten wie dem iPhone laufen. Ein Forschungspapier untermauert diese Vermutungen.

Zur News: LLM-Forschung: Apple will AI-Tools wie ChatGPT direkt auf dem iPhone laufen lassen

 

[controlokk]

Bald wird es bestimmt einen Markt geben für Händler die Geräte ohne Ai, Bloatware und den ganzen anderen Überwachungs-Schnickschnack an den Mann bringen.

 

[mojitomay]

Technisch sehe ich da kein großes Problem.
Wenn ich bedenke wie "gut" mistral im CPU-Modus auf meinem 4-Kern-LaborPC läuft.

Ein Eiphone hat da mehr Leistung. Und dann sicherlich auch GPU-unterstützung und spezialisierte Chips.

Spannend wird da höchstens der Akkuverbrauch.

 

[Mithos]

@controlokk
Das sind dann bestimmt die gleichen Händler, die heute Smartphones ohne GPS und Frontkameras verkaufen.

 

[wern001]

Das ganze AI und KI zeug erinnert mich an das C64 Programm Eliza

 

[iNFECTED_pHILZ]

@controlokk
Das sind dann bestimmt die gleichen Händler, die heute Smartphones ohne GPS und Frontkameras verkaufen.

This.
Warum man keine KI Beschleinigung haben will erschließt sich mir nicht.

 

[Rickmer]

GPT-4 aufm iPhone möcht ich sehen^^
Das Monster besteht (soweit bekannt ist) aus 8 LLMs mit je ~220 Mrd Parametern, die irgendwie zusammengeschaltet sind.

Dagegen sind die 1,8~3,25 Mrd Parameter von Gemini Nano ein Witz gegen - und entsprechend (nicht) überzeugend werden auch die Ergebnisse sein. Selbst die kleinsten LLMs auf Basis von LLaMa gehen eher ab 7 Mrd Parametern los.

Aber auch 1,8 Mrd Parameter werden sicherlich 2GB RAM belegen und bei aktiver Nutzung der Akku leer saugen.

Technisch sehe ich da kein großes Problem.

Bis auf einem Smartphone ein LLM lauffähig ist, das mit den Cloud-Angeboten von der Funktionalität auch nur annähernd vergleichbar ist, wird noch viel Wasser den Rhein runter fließen... so zumindest meine Meinung.

 

[w33werner]

GPT-4 aufm iPhone möcht ich sehen^^
Das Monster besteht (soweit bekannt ist) aus 8 LLMs mit je ~220 Mrd Parametern, die irgendwie zusammengeschaltet sind.

Dagegen sind die 1,8~3,25 Mrd Parameter von Gemini Nano ein Witz gegen - und entsprechend (nicht) überzeugend werden auch die Ergebnisse sein. Selbst die kleinsten LLMs auf Basis von LLaMa gehen eher ab 7 Mrd Parametern los.

Aber auch 1,8 Mrd Parameter werden sicherlich 2GB RAM belegen und bei aktiver Nutzung der Akku leer saugen.


Bis auf einem Smartphone ein LLM lauffähig ist, das mit den Cloud-Angeboten von der Funktionalität auch nur annähernd vergleichbar ist, wird noch viel Wasser den Rhein runter fließen... so zumindest meine Meinung.

Kann mir aber vorstellen das bis jetzt auch noch kein großer Bedarf war es an ein Smartphone anzupassen.

Ggf. Lag der Fokus jetzt eher darauf Ergebnisse zu erzielen, „koste es was es wolle“
Und Apple versucht scheinbar jetzt einen anderen Weg zu gehen.
Ob sie damit erfolgreich sind mal kucken, aber wäre nicht das erste mal das Apple eine Technologie von der Nische zum massenmarkt hebt

 

[wtfNow]

Apple hängt hinterher und möchte wieder sein eigenes Süppchen kochen.
Man sagt ja dass Apple erst etwas auf dem Markt bringt wenn sie es für ausgereift halten, beim Thema KI geht das aber glaube ich nicht auf denn es braucht Daten aus der realen Anwendung um die KI zu trainieren. Es muss also erstmal etwas existieren um darauf aufzubauen und da ist z.B. Google Lichtjahre voraus.
Auch das Pixel 9 soll einen KI Assistenten drin haben, wäre also nichts innovatives von Apple.

 

[Rickmer]

Ggf. Lag der Fokus jetzt eher darauf Ergebnisse zu erzielen, „koste es was es wolle“

So dumm sind die nicht.

'Koste es was es wolle' kannste schwer verkaufen, wenn die Headlines so aussehen: OpenAI will 100 Mrd. Dollar in neuer Finanzierungsrunde einnehmen
Irgendwie müssen die ja Investoren überzeugen, dass das irgendwann auch profitabel sein wird und das investierte Geld wieder rein kommt. Dafür braucht es nicht nur marktführende Fähigkeiten, sondern auch Effizienzsteigerungen um die (extrem hohen) laufenden Kosten zu drücken.

Natürlich arbeiten alle daran, dass man dieselbe Funktionalität mit kleineren LLMs erreichen kann. Da wird wohl auch guter Fortschritt gemacht - dazu hatte ich neulich im Video eine interessante Auflistung gesehen. Die Quelle konnte ich kurzfristig leider nicht mehr finden.

Aber das war irgendwas von 'heute kann ein 70Mrd Parameter LLM das, was früher ein 280Mrd LLM benötigte' - weit weg von den Zehnerpotenzen, die eine Anpassung fürs Smartphone notwendig wären.

 

[riloka]

Ich denke dass dies die richtige Lösung ist.
Helferlein, die nicht den Malus haben irgendwo in der Cloud sonst etwas mit meinen Daten zu machen sondern bei mir laufen.

 

[rooney723]

Bin gespannt was Apple da aus dem Hut zaubern kann. Nen schlechten track record mit Siri haben sie ja bereits
Gemini Nano z.B. überzeugt mich derzeit noch nicht, wir werden sehen wie es aussieht wenn die Modelle komplexer und effizienter werden.

Generative AI on device als Werbeslogan für Smartphones wird uns sicher die nächsten 2-3 Jahre begleiten.

 

[paganini]

Das wäre ja wieder ein top „exklusive“ Feature für ein neues iPhone 😬

 

[engineer123]

Jo, alles was Apple in Richtung AI ins iOS bringen möchte wäre zumindest mal ein Fortschritt.
Jeder der ein iPhone hat weiß ja:

Siri ist strohdumm

An Apple: Macht als erstes mal Siri klug, so dass sie nicht nur ein paar genau festgelegte Wörter und Stichwörter erkennt, sondern auch ganze Sätze mit verschiedenen Formulierungen versteht.

Das sollte Apple als aller erstes verbessern.

 

[LamaTux]

An Apple: Macht als erstes mal Siri klug, so dass sie nicht nur ein paar genau festgelegte Wörter und Stichwörter erkennt, sondern auch ganze Sätze mit verschiedenen Formulierungen versteht.

der ursprüngliche Chefentwickler von Siri meinte mal, dass Siri komplett neu gemacht werden muss, damit sie mit GPT-3 und 4 mithalten kann. Deswegen hat ja Apple auch im Bereich AI einen neuen Bereich eingeschlagen und entwickelt es fast komplett neu.

 

[Azdak]

Apple und der Artikel sprechen zum Glück die meiste Zeit von LLMs. Da weiß ich wenigstens, was gemeint ist. Das meiste andere "KI"/"AI"-Geblubber ist ja nur noch ein Buzzword, wo ich manchmal das Gefühl habe, dass es extra darum geht, dass keiner mehr weiß, worum es geht.
Die einfachse "KI" ist ja immer noch ein simples "if a then b else c". Kann man auch als neuronales Netz mit wahnsinnigen 3 Neuronen modelieren.
Von daher kann man auf jedes Gerät, was einen Chip enthält, "mit KI" raufschreiben und es wäre nicht mal falsch. Irreführend vieleicht, aber nicht falsch.

 

[Drummermatze]

Apple wird in das Game einsteigen wenn die Sachen im Alltag brauchbar werden und einen spürbaren Nutzen bringen.
Ich rechne damit dass Apple in 1-2 Jahren mit einer neuen Siri kommt, die alles andere erstmal auf der Strecke lässt.
Siri wird nicht mehr weiterentwickelt, sondern vermutlich komplett neu entwickelt.
Sie lassen nicht umsonst bewusst Begriffe wie AI aus ihrer Keynote raus. Bing, Copilot, Bard, alles halbgare Dinge die in den Markt gepresst wurden nur damit man irgendwie dabei ist.

 

[wtfNow]

[Komplettzitat gekürzt durch Moderator]
Ich rechne damit dass Apple in 1-2 Jahren mit einer neuen Siri kommt, die alles andere erstmal auf der Strecke lässt.

Man kann sich ja alles für seinen Lieblingsverein schönreden. Apple hat verpennt!

Apple wurde von ChatGPT böse überrascht. Zwar verkündete CEO Tim Cook, dass Apple seit Jahren an generativer KI arbeite. „Aber ich kann mit Bestimmtheit sagen, dass die Apple-Führungskräfte von dem plötzlichen KI-Fieber der Branche überrascht wurden und sich seit Ende letzten Jahres bemühen, die verlorene Zeit aufzuholen“, schreibt Apple-Kenner Mark Gurman und zitiert einen Insider mit dem Satz: „Es wird intern als ein ziemlich großer Fehler angesehen".
https://www.faz.net/pro/d-economy/k...e-dollar-fuer-die-ki-aufholjagd-19261757.html

In der KI-Branche kann man nicht mal eben was ebenbürtiges aus dem Boden stampfen wie mit Hardware, auch nicht mit sehr viel Geld. Wenn Apple zum heutigen Gemini oder ChatGPT auch nur aufholen könnte, wäre das ein Wunder!
Aktuell scheinen sie noch verzweifelt zu versuchen an Daten ranzukommen während die anderen schon lange füttern und optimieren.

Der Computerkonzern Apple verhandelt angeblich amerikansichen Medienhäusern über das Recht, deren Archive zu nutzen. Die Resonanz scheint verhalten.
https://www.faz.net/aktuell/wirtsch...r-daten-fuer-die-ki-entwicklung-19405219.html

 

[tomgit]

Apple wird in das Game einsteigen wenn die Sachen im Alltag brauchbar werden und einen spürbaren Nutzen bringen.

Ich frage mich langsam wirklich, woher diese "Wenn es jemand kann, dann Apple"-Mentalität herkommt?
Abgesehen vom iPhone und iPod, gab es von Seiten Apple in den letzten 20 Jahren genügend Misserfolge.
Power Mac G4 Cube, U2 iPod, iPod Hifi, Butterfly Keyboard, Touchbar, AirCharger, etc.
Mal davon abgesehen - was soll ein von Apple trainiertes LLM anderes können, als die anderen LLM? LLMs tun Dinge, die LLMs halt tun - Fancy Natural Language Processing. Nur weil ein Apfel dran ist, wird es nicht urplötzlich die Welt verändern und andere Dinge anbieten.

Und die Modelle lokal laufen zu lassen ist eigentlich auch nichts mehr derart besonderes - Google macht es, Intel kann es inzwischen, AMD und Qualcomm - zumindest theoretisch - schon seit mindestens einer Generation auf eigens dafür bereitgestellte Hardware. Ich lasse sogar schon Stable Diffusion lokal auf dem Mac laufen - nur leider über CPU und GPU, weil Apple es nicht hinbekommt (lese: hinbekommen möchte), dass Python Frameworks auf die NPU zurückgreifen, und dies nur mit Swift möglich ist.

 

[7H0M45]

Kann mir aber vorstellen das bis jetzt auch noch kein großer Bedarf war es an ein Smartphone anzupassen.

Das ist gar nicht so einfach.

Es hängt letztlich davon ab was für eine Art Modell du haben möchtest. Je allgemeiner und mächtiger, desto größer der Speicherbedarf. Das hat dann mit Smartphone oder nicht, nicht mehr viel zu tun.

Das einzige woran die deutlich schrauben können, ist wie viel Tokens da als Input und Output gehen.
Auf dem Smartphone wirst du zB. kaum irgendwelche 10000 Seiten analysieren wollen.