News LLM-Forschung: Apple will AI-Tools wie ChatGPT direkt auf dem iPhone laufen lassen

[HyperSnap]

Kann dann ChatGPT die nervigen Nachrichten meiner Freundin oder vom Chef dann automatisch beantworten?^^

 

[nobody360]

Gibts bei Apple schon seit dem A11 Bionic (Bj. 2017).

Nur ist das Huawei Smartphone in manchen Ländern früher erschienen und hat den Fokus auf AI on device Berechnung gehabt, der von Apple hat es nur für die Kamera genutzt!

 

[M@tze]

Abgesehen vom iPhone und iPod, gab es von Seiten Apple in den letzten 20 Jahren genügend Misserfolge.
Power Mac G4 Cube, U2 iPod, iPod Hifi, Butterfly Keyboard, Touchbar, AirCharger, etc.

Wer keine neuen Wege einschlägt, macht auch selten Fehler, wird aber sicher auch nie „the one next thing“ präsentieren können.

Kam aus China schon mal was komplett neues, was es sonst noch nie gab?

 

[Trelor]

Da ist Apple bei Smartphone SOCs mit dem A17 Pro definitiv deutlich führend.

Gibt es dazu benchmarks?
Ich kenne nur die Anandtech NPU benchmarks die zu den Tensor SoCs gemacht wurden und da war Quallcom sehr deutlich vor Apple. Selbst mit der Verdoppelung der Leistung dürften sie nur aufgeschlossen haben.

 

[Krik]

Ich kann mir vorstellen, die LLMs (oder von mir aus auch SLMs) auf einem eigenen SoC laufen zu lassen. Sie haben dann eine eigene CPU und eigenen RAM, der konkret auf die Verwendung mit einem Language Model optimiert sind. Dadurch kann man sicher einiges an Geschwindigkeit rausholen und vielleicht auch die ein oder andere Milliarde mehr an Parametern unterbringen. Diesen Chip kann man dann auf die Handy-Platine auflöten.

Einen Schritt weiter gedacht, kann man das gleiche auch auch für einen PC in Form einer PCIe-Karte oder eines USB-Geräts anbieten.
Ein paar Jahre der Weiterentwicklung später ist das sicherlich so weit geschrumpft, dass man dieses LM-SoC direkt als Modul in den SoC vom Handy bzw. PCs integrieren kann.

 

[Miustone]

Jo, alles was Apple in Richtung AI ins iOS bringen möchte wäre zumindest mal ein Fortschritt.
Jeder der ein iPhone hat weiß ja:

Siri ist strohdumm

An Apple: Macht als erstes mal Siri klug, so dass sie nicht nur ein paar genau festgelegte Wörter und Stichwörter erkennt, sondern auch ganze Sätze mit verschiedenen Formulierungen versteht.

Das sollte Apple als aller erstes verbessern.

Erzähle das Mal Cortana bzw. Bing. auf einem Windows oder Android Gerät. Alles was Cortana war und konnte ist dahin. Inklusive der Funktion den Google Assistent zu ersetzen... Microsofts weg scheint fragwürdig. Woraus Apple lernen kann... Auch Google täte sich gut daran nach gefühlten 10 Jahren mal etwas mehr zu liefern als "Hey Google" statt "OK Google" zum wecken des Assistenten per Sprache...

 

[derMutant]

Zum Artikel selbst und dessen Schreibweise:
Wenn Gendersprache zum Einsatz kommt, dann auch bitte richtig und konsequent!
Appleforschende ist zu uneindeutig. Es beinhaltet Spielraum zur Missinterpretation. Z. B. könnten auch Personen gemeint sein die über Apple forschen, etc. Ist schon klar dass ihr Appleforscher*innen meint.
Weiter unten im Artikel wiederum steht der Profiteur und der Assistent als generes Maskulinum.
Als Rezipient eines Mediums fühle ich mich nicht Ernst genommen, wenn ich mit einer unpräzisen und z. T. falschen Sprache konfrontiert werde.
Richtiges Gendern ist aufwändig und erfordert ein hohes Verständnis für Grammatik und Syntax. Sowohl von der Leser*in als auch der Redakteur*in werden erweiterte Rezeptionskompetenzen abverlangt. Allein aus diesem Grund schon würde ich als publizierendes Medium davon absehen und stattdessen mit einem Disclaimer arbeiten. In wissenschaftlichen Arbeiten ist dies Gang und Gäbe, dass man aus Gründen der besseren Lesbarkeit das Gendern weg lässt. Gerade in wissenschaftlichen Artikeln führt das Gendern nämlich gern zu Missverständnissen. Vor allem wenn auch noch unterschiedliche Genderformen zum Einsatz kommen.

 

[derMutant]

Bin gespannt ob und wie sich KI durchsetzt. Nach der anfänglichen Euphorie stellt sich zumindest bei mir hier und da Ernüchterung ein. Seien es falsche Aussagen und Behauptungen die man als Suchergebnis bekommt oder auch keine Aussagen, obwohl es die KI eigentlich weiß und man auf irgendwelche Webseiten zur eigenrecherche verwiesen wird.

 

[riloka]

Ich denke man hat den Modellen sehr starke Limitierungen auferlegt um Ergebnisse zu blockieren die unmoralisch, unethisch oder gefährlich sind und dabei etwas übertrieben.
Da leidet die Qualität drunter. "sorry, i can't do that".
Was mich etwas enttäuscht sind die Bildgeneratoren, da sieht irgendwie alles gleich aus vom Stil her.
Ich würde mal sagen klassischer HypeCycle der noch etwas geerdet werden muss um nützliche Dinge damit machen zu können.

 

[matze313]

Was mich etwas enttäuscht sind die Bildgeneratoren, da sieht irgendwie alles gleich aus vom Stil her.

Es stimmt schon, man sieht schnell, wenn Bilder KI-Generiert sind, z.B. als Thumbnail von News-Artikeln. Ich weiß schon, was du meinst.

Aber schau dir mal, entsprechende Hardware vorausgesetzt, StableDiffusion mit SDXL Style Selector an, da kann man sehr schnell verschiedene Stile ausprobieren. Oder einfach mal auf civitai verschiedene LoRAs oder Checkpoints herunterladen und ausprobieren. (aber vorsicht, da gibts leider auch NSFW Content, also nicht auf der Arbeit danach suchen).

Ich denke man hat den Modellen sehr starke Limitierungen auferlegt um Ergebnisse zu blockieren die unmoralisch, unethisch oder gefährlich sind und dabei etwas übertrieben.

Es gibt ja verschiedene Möglichkeiten, (kleine) LLMs ohne diese Limitierungen lokal laufen zu lassen. Und was dort zum Teil als Antworten herauskommt, muss ich sagen, da sind die Limitierungen wirklich sinnvoll.
Bis da eine bessere Möglichkeit gefunden wird, bestimmte Sachverhalte nicht absolut falsch, menschenfeindlich oder gar lebensgefährlich zu erklären, muss noch einiges an Arbeit in die Technologie gesteckt werden.
Und bis dahin ist die beste Möglichkeit, solche Antworten zu vermeiden, leider, die Modelle dahingehend auf Stumm zu schalten. Denn nicht wenige Leute würden sicher ohne Nachzudenken den Anweisungen folgen, wenn das global für Alle zugänglich wäre.

 

[fullnewb]

Einen Schritt weiter gedacht, kann man das gleiche auch auch für einen PC in Form einer PCIe-Karte oder eines USB-Geräts anbieten.

Gibt es schon (für Tensor Flow Lite)! https://www.welectron.com/Google-Coral-USB-Accelerator
Cheers 😋

 

[Schinken42]

--Bitte die Zitierregeln beachten--

Also forderst du basierend darauf, dass man es richtig machen soll, es zu lassen. Sehr folgerichtig xD.
Und auch wenn dein Text vor Nebensätzen, Fremdwörtern und Wortschatz strotzt, entbehrt es nicht einer gewissen Ironie: Dein Thema ist doch angeblich die Verständlichkeit des geschriebenen Wortes. Dennoch haust du hier den Bildungssprachler raus, wohlwissend, dass dein Publikum die Hälfte nicht versteht.
Beziehungsweise, solltest du davon ausgehen die Leser hier verstehen alle deinen Text: Dann kann das eine oder andere gegenderte Wort deren Leseverständnis auch nicht stören.

Sind wir ehrlich: Geschlechterneutrale Sprache stört dich. Sag es halt statt dich hinter Strohmännern zu verstecken.

 

[Reglohln]

...

Warum sollte korrektes Gendern zu Missverständnissen führen? Das würde bedeuten, dass derselbe, aber nicht gegenderte Text die gleichen Missverständnisse mit sich bringt. Denn die Bedeutung des Textes ändert sich ja nicht.

"Apple-Forschende" finde ich allerdings auch unglücklich. Zudem bin ich auch der Meinung, dass konsequent gegendert werden sollte, wenn man es ohnehin schon tut. Aber ich kann mir gut vorstellen, dass sie es aufgrund der Kritiker:innen (noch) nicht komplett umsetzen.

 

[Haldi]

Btw ich sehe Apples Ansatz Grundsatzbedingt als einzig vernünftige Lösung.
AI muss lokal laufen! Je mehr Leute das testen wollen desto mehr Ressourcen werden benötigt. Microsoft beklagt sich ja jetzt schon das es ein Verlustgeschäft ist. Und das sind die einzigen die ein Abomodel für Ki haben (und Openai... Same Same).
Momentan sind wir noch in der einstiegsphase. Es gibt ein par wenige funktionieren Geschäftsmodelle für KI die hochspezialisiert sind aber der grossteil ist eher noch sein "Hier guck mal" ohne wirklich grossartige vorteile zu bringen.
Die nächsten 3-5 Jahre werden hier zeigen in welche Richtung AI sich wirklich bewegt und welche finanzierungsmodelle sich durchsetzen werden.

 

[Restart001]

und welche finanzierungsmodelle sich durchsetzen werden.

Ich geb' keinen Cent auf KI.

 

[Azdak]

AI muss lokal laufen! Je mehr Leute das testen wollen desto mehr Ressourcen werden benötigt.

Ich bin mir nich sicher, ob ich deinem Schluss folgen kann. Wenn ich am die Zahlen von AMD letztens denke, die von einem Markt von 400mrd Dollar für datacenter AI Chips in den nächsten 3 Jahren ausgehen und dann daran denke, das Hardware in Datacentern i.d.R. deutlich effizienter als Ausgelastet wird als private, dann glaube ich, remote ist effektiver. Hier stellt sich dann die Frage nach dem ROI und den sehe ich gerade auch nicht.

 

[ThePlayer]

Bald wird es bestimmt einen Markt geben für Händler die Geräte ohne Ai, Bloatware und den ganzen anderen Überwachungs-Schnickschnack an den Mann bringen.

Also wenn die LLMs direkt auf dem Gerät laufen. Und nicht alle Eingaben in Kopie sowieso an Google oder Apple oder irgendeine AI Klitsche dann sehe ich kein Problem. Ansonsten kann man keinem Smartphone vertrauen.

Ergänzung (25. Dezember 2023)

Spannend wird da höchstens der Akkuverbrauch.

Wenn du den AI Assi nicht alle zwei Sekunden mit anfragen nervst sollte das doch nicht ins Gewicht fallen oder. Stellst eine Anfrage die wird dann in einigen Sekunden bis Minuten bearbeitet und fertig.

Ergänzung (25. Dezember 2023)

Dagegen sind die 1,8~3,25 Mrd Parameter von Gemini Nano ein Witz gegen - und entsprechend (nicht) überzeugend werden auch die Ergebnisse sein. Selbst die kleinsten LLMs auf Basis von LLaMa gehen eher ab 7 Mrd Parametern los.

Aber auch 1,8 Mrd Parameter werden sicherlich 2GB RAM belegen und bei aktiver Nutzung der Akku leer saugen.

Ich habe mich bisher nicht so tief mit LLMs beschäftigt. Aber sind die Parameter dann Begriffe/Worte? Die dann auch untereinander verknüpft sind?
2GB RAM sollte heute beim Handy kein Problem sein. Selbst die Budget Handys haben ja schon 6 oder 8 GB RAM und die top Handys doch neuerdings 16 oder gar 24. Mehrere TB Speicher im Handy zu verbauen wäre sicher auch kein Problem.
Vielleicht würde es ja dann für viele den Anreiz schaffen sich ein neues Gerät zu holen.

Bleibt natürlich die Frage nach dem Stromverbrauch und ab wann das auf dem Handy machbar wird. Sicherlich werden da aber noch einige Jahre ins Land ziehen.
Und bei den LLMs wird es bestimmt noch Potential zum optimieren geben.

Ergänzung (25. Dezember 2023)

Ob sie damit erfolgreich sind mal kucken, aber wäre nicht das erste mal das Apple eine Technologie von der Nische zum massenmarkt hebt

Mal sehen ob ihnen das ohne Jobs gelingt. Der jetzige CEO ist ja ein Verwalter kein Visionär. Glaube kaum das z.B. die VR Brille ein Massen und Systemsellerie wird.

Bei der Effizienz der LLMs bin ich aber auch deiner Meinung. Wer weiß was man da noch optimieren kann.

Ergänzung (25. Dezember 2023)

Aber das war irgendwas von 'heute kann ein 70Mrd Parameter LLM das, was früher ein 280Mrd LLM benötigte' - weit weg von den Zehnerpotenzen, die eine Anpassung fürs Smartphone notwendig wären.

Die Frage ist doch wofür braucht man 100 Mrd. Dollar? So eine Summe sagt mir nur das man das Geld links und rechts raushaut.
Naja von 280 auf 70 ist keine Zehner Potenz aber immerhin 75% kleiner. Wer weiß was da noch erforscht und erfunden wird. Nachher heißt es da was jetzt ein 70Mrd Modell brauchte kann später ein 10Mrd Modell. Und wenn das so weiter geht mit den Handys haben wir bald das erste mit 32GB Speicher das würde ja dann für 10Mrd reichen.

 

[Rickmer]

Ich habe mich bisher nicht so tief mit LLMs beschäftigt. Aber sind die Parameter dann Begriffe/Worte? Die dann auch untereinander verknüpft sind?

Nee, Parameter haben mit Worten/Begriffen nichts am Hut.

Token sind Worte, mehr oder weniger. Token sind der Input und Output für LLMs.

Parameter sind die verknüpften Punkte im Inneren der LLM Modell, die bestimmen wie aus einem Input ein Output wird - also der Teil vom Ganzen, der für 99,99% aller Leute ein Mysterium ist, das irgendwie antrainiertes 'Wissen' enthält.
Je mehr Parameter, desto mehr weiß das LLM, zumindest in Theorie.

In Praxis ist die Leistung von einer Vielzahl an Faktoren abhängig, ganz vorne dran z.B. die Qualität des Training-Material und des Training an sich.

Ich mein, um einen Vergleich bei Stable Diffusion zu machen - schau dir mal einen Vergleich an, was die original Stable Diffusion 1.4/1.5 konnten und was aktuelle 1.5 community checkpoints können. Gleiches technisches Grundgerüst, aber wow hat sich da viel getan.

 

[ThePlayer]

Ich rechne damit dass Apple in 1-2 Jahren mit einer neuen Siri kommt, die alles andere erstmal auf der Strecke lässt.

Die müssen erstmal das aufholen was die Konkurrenz die letzten Jahre gemacht hat. Und die schlafen ja nicht. Da wird nichts kommen wo alle anderen auf der Strecke bleiben.
Das sieht man auch an deren Vison Pro. Die wollen 3500 Dollar für ein Produkt wo selbst Meta für ein gleichwertiges Produkt um die 1000 Euro aufruft. Und dazu gab es das Obligatorische Buzzword Bullshit Bingo mit AR/VR Begriffen. Und das nach 5 Jahren mystischen wartens auf das Geheimprojekt von Apple. Die haben echt Glück in Cuppertino das Jobs tot ist. Sonst wären die alle arbeitslos.

Ergänzung (25. Dezember 2023)

Smartphone 2025: 64GB Ram, 4TB Flash = 4999.-€ (im Angebot!)
Endlich ergibt alles einen Sinn.

Quatsch gibt jetzt schon Handys mit 24Gb RAM und 4TB Flash kosten den Endverbraucher auch keine 250 Euro mehr. Und bis man das für die KIs im Handy braucht wird es sicherlich noch 2-4 Jahre brauchen. Und dann wird das alles bestimmt bis zum nächsten Hochwasser/Erdbeben nur Peanuts kosten

 

[Krik]

Wenn ich am die Zahlen von AMD letztens denke, die von einem Markt von 400mrd Dollar für datacenter AI Chips in den nächsten 3 Jahren ausgehen und dann daran denke, das Hardware in Datacentern i.d.R. deutlich effizienter als Ausgelastet wird als private, dann glaube ich, remote ist effektiver. Hier stellt sich dann die Frage nach dem ROI und den sehe ich gerade auch nicht.

Die KI-Chips in den Datacentern stehen aber nicht nur für GPT & Co. zur Verfügung. Firmen machen noch mehr damit, z. B. Optimierungen von technischen Bauteilen, Forschung, usw.

Allerdings muss man auch sagen, dass Microsoft bspw. 30€ pro Monat für GPT verlangt und das angeblich gerade so kostendeckend ist. Aber na gut, wir stehen noch am Anfang. In den nächsten Jahren wird man schauen, wie viel bzw. wie gut man die KI lokal beim User unterbringen kann.

Naja von 280 auf 70 ist keine Zehner Potenz aber immerhin 75% kleiner.

Doch eigentlich schon. 2,8*10^2 vs. 7*10^1. Bei der Betrachtung der Komplexität schaut man in diesem Fall auf die Zehnerpotenzen und ignoriert die Faktoren. Warum? Die Zehnerpotenz hat mehr Auswirkung auf die Komplexität als ein Faktor.

Token sind Worte, mehr oder weniger. Token sind der Input und Output für LLMs.

Tokens sind erst mal nur Textfetzen. Das können mehrere Worte, aber auch nur Bruchteile von Worten sein. Das hängt stark vom Aufkommen in einem Text aber auch auch von der Sprache ab. Bei GPT mit generellem Wissen gilt die Faustregel von 0,75 Tokens/Wort.
Betrachtet man ausschließlich z. B. die englische Sprache kommt man nahe an 1 Token/Wort. Das sollte bei Deutsch ähnlich sein.
Bei logografischen Sprachen wie z. B. Chinesisch, wo ein Zeichen ein ganzes Wort oder auch nur ein Teil eines Wortes darstellen kann und zig Bedeutungen hat, können es auch mal viele Tokens pro Zeichen sein, um diese Informationsdichte besser erfassen zu können.