News LLM-Forschung: Apple will AI-Tools wie ChatGPT direkt auf dem iPhone laufen lassen

[john.smiles]

Bald wird es bestimmt einen Markt geben für Händler die Geräte ohne Ai, Bloatware und den ganzen anderen Überwachungs-Schnickschnack an den Mann bringen.

Das hat bis heute ~99% der Nutzer nicht gestört oder vom Kauf abgehalten, das wird morgen auch nicht anders sein. Sieh dir die Zahlen der Alternativen wie Fairphone an, dazu noch wie sie hinter her hinken. Außerdem tracken dich ja die Funkmasten immer, wenn das Handy an ist, von daher ist ohne Überwachung kein Telefon mehr realisierbar.

Keine Überwachung, keine AI, keine Bloatware = kein Telefon

 

[Thaxll'ssillyia]

This.
Warum man keine KI Beschleinigung haben will erschließt sich mir nicht.

Habe überhaupt nichts gegen KI und deren Einsatzmöglichkeiten. Solange das lokal ohne Datenverarbeitung/-Speicherung irgendwo extern läuft.

Ein GPS am Handy kann ich ausschalten. Eine Kamera ist nur aktiv wenn ich sie nutze. Davon überzeugen kann man sich in dem man es im Quellcode überprüft/überprüfen lässt.

Alles andere ist reine Vertrauensbasis. Und wenn die Daten mal wieder "abhanden" gekommen sind gibt es ein kurzes Schulterzucken seitens des Anbieters und ein "Ein Softwareproblem, da kann man nichts machen".

 

[Turrican101]

Bald wird es bestimmt einen Markt geben für Händler die Geräte ohne Ai, Bloatware und den ganzen anderen Überwachungs-Schnickschnack an den Mann bringen.

Die werden dann auch sicherlich ihre 10 Käufer finden.

 

[nobody360]

Vielleicht erinnert ihr euch noch, als Huawei die ersten AI-Chips eingebaut hat und sich genau auf dieses Feature fokussiert hat? Das war im Jahr 2017, siehe Artikel von ComputerBase:

https://www.computerbase.de/2017-10/huawei-mate-10-pro/

Ich zitiere aus den Artikel weil es gerade passt :

Das Mate 10 Pro ist Huaweis neues Flaggschiff und das erste Smartphone mit Kirin-970-SoC, das eine eigene Neural-Network Processing Unit (NPU) besitzt, die die Berechnungen für künstliche Intelligenz direkt auf dem Smartphone durchführen soll.

Da sieht man, dass die Chinesen schon deutlich weitergedacht haben und wir sie eigentlich kopieren. Ich finde es lustig, weil man sonst immer behauptet, sie kopieren alles!

 

[Espero]

Wenn ich bedenke wie "gut" mistral im CPU-Modus auf meinem 4-Kern-LaborPC läuft.

Interessant. Du meinst, Mistral läuft bei dir komplett auf der CPU so gut? Kannst du bitte kurz mitteilen, welche CPU und mit wieviel RAM?

 

[Abrexxes]

Smartphone 2025: 64GB Ram, 4TB Flash = 4999.-€ (im Angebot!)
Endlich ergibt alles einen Sinn.

 

[9t3ndo]

.."die Apple-Forschenden".. bitte lasst das, die heißen Forscher, danke.

Forscher:innen

 

[gur_helios]

Das Samsung Galaxy S24 wird die AI-Tools ebenfalls bereits auf dem Gerät implementiert haben und wird somit nicht auf eine Internetverbindung angewiesen sein.

 

[PieczonyKurczak]

Mal schauen woraus Apple die KI trainieren / anlernen möchte. Da Apple (zumindest offiziell) nicht Zugriff auf so viele Daten / Informationen wie Google oder Microsoft hat, müssen die anderweitig schauen wie die KI mit Informationen trainiert / angelernt wird ohne bzw. kaum Daten / Informationen der Kundschaft zu verwenden.

Und dann kommt es auf die Hardware an, wie komplex die KI lokal auf dem Endgerät laufen kann. Aber am meisten Sinn wäre eine Kombination aus lokalen Berechnungen sowie der Cound / den Apple Servern. Sprich nicht zu komplexe Befehle / Operationen können lokal durchgeführt werden, alles darüber wird "von außen" unterstützt.

 

[steve-sts]

Ich frage mich langsam wirklich, woher diese "Wenn es jemand kann, dann Apple"-Mentalität herkommt?
Abgesehen vom iPhone und iPod, gab es von Seiten Apple in den letzten 20 Jahren genügend Misserfolge.
Power Mac G4 Cube, U2 iPod, iPod Hifi, Butterfly Keyboard, Touchbar, AirCharger, etc.
Mal davon abgesehen - was soll ein von Apple trainiertes LLM anderes können, als die anderen LLM? LLMs tun Dinge, die LLMs halt tun - Fancy Natural Language Processing. Nur weil ein Apfel dran ist, wird es nicht urplötzlich die Welt verändern und andere Dinge anbieten.

Das kommt daher dass deren Features bei Release meist funktionieren! Etwas später, technisch aber ausgereift. Das schönste Beispiel war der Fingerprint Sensor. Oder Face id. Auch Siri war bei Release nicht schlecht, hat sich aber kaum verbessert…

Mit gefloppten Ideen hat das erstmal nichts zu tun.

 

[MC´s]

Und wieder hinkt der Apfelkonzern der Konkurrenz weit hinter her. Steve Jobs würde sich im Grab umdrehen wenn er sieht was aus dem einstigen innovativen Unternehmen geworden ist. Er soll froh sein daß er das nicht mehr miterleben muss.

 

[panik]

ausgereift

Naja, ausgereift kann man nicht sagen. Klar haben die Funktionen in den basics funktioniert, das war es dann auch schon.


Wenn Apple aber da ins Geschäft einsteigen will, kommen sie nicht dran vorbei massiv von ihren Kunden zu sammeln oder haufenweise Daten einzukaufen.

 

[Haldi]

Ohooo somit werden die nächsten IPhones also endlich mal ein wenig mehr RAM haben. Die Flash Speicher Branche freut sich.
Denn die Dinger müssen zwingend im RAM laufen, ansonsten wäre der Zugriff zu langsam.

GPT-4 aufm iPhone möcht ich sehen^^

Das sind dann keine LLM mehr sonder Small Language Models.
Microsoft ist da natürlich auch dran am forschen.
https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/

Das geilste finde ich diese Folie hier:

Figure 3. Safety scores computed on 13 demographics from ToxiGen. A subset of 6541 sentences are selected and scored between 0 to 1 based on scaled perplexity and sentence toxicity. A higher score indicates the model is less likely to produce toxic sentences compared to benign ones.

"Unser neues Language Modell! Jetzt noch weniger rassistisch als zuvor!" XD

 

[matze313]

Nicht schlecht, aber bin mal gespannt wie sie mit den RAM-armen iPhones hinkommen, oder ob sie dann mehr RAM spendieren.
Llama 7B lief auf meinem Galaxy S10+ schon akzeptabel, ca. 2 Wörter pro Sekunde hat es generiert.
Hat dabei aber 8GB RAM belegt (also alles), es konnte nichts nebenher laufen, manchmal ist Termux auch abgeschmiert. Und es wurde heiß wie bei sonst keiner anderen Anwendung und hat ca. 2% Akku/Minute gefressen Wirklich nützlich war es nicht, aber dafür läuft es halt auch ohne Netz und komplett lokal, ohne irgendeine Cloud.

Also ich bin gespannt, wie es da weitergeht und ob die Hersteller das wirklich sinnvoll lokal, ohne irgendeinen Cloud-Zwang anbieten, oder ob man da doch nur mit vollständiger Datenweitergabe mitmachen kann.

 

[tomgit]

Das kommt daher dass deren Features bei Release meist funktionieren! Etwas später, technisch aber ausgereift.

Ah, so wie der Pencil, der in der ersten Generation eine super ausgereifte Idee war mit dem unfreiwilligen Selfie-Stick?

Das schönste Beispiel war der Fingerprint Sensor.

Ah, der Fingerpint-Sensor, der nach 11 Tagen gehackt war? https://www.ccc.de/en/updates/2013/ccc-breaks-apple-touchid

Oder Face id.

Das in der ersten Iteration super funktionierte - außer, man hatte soetwas absolut unberechenbares, wie "beschlagene Brille". Auch heute tut sich das Ding noch regelmäßig querstellen, wenn man zu viele Regentropfen auf der Brille hat.

Mit gefloppten Ideen hat das erstmal nichts zu tun.

Weil seit Tim Cook Apple keine Flops mehr eingestehen möchte. Es wird über Generationen mit Hand und Fuß verteidigt und nach zig Jahren gibt man sich irgendwann mal geschlagen und tut so, als würde man auf die Consumer-Base hören.
Wie viele Generationen hat es gebraucht, bis MagSafe im MacBook wieder integriert wurde?
Wie viele Generationen hat es gebraucht, bis man sich endlich vom Butterfly Keyboard gelöst hat?
Wie viele Generationen hat es gebraucht, bis man mehr als nur USB-C am Notebook eingesehen hat?
Wie lange schlug man sich mit der Touchbar rum?

Und natürlich kauft die Zielgruppe das mit, weil diese im Zweifel meist keine Alternativen hat - insbesondere, wenn man entweder auf Software angewiesen ist, welche nur auf dem Mac läuft.

Ich sage ja nicht, dass es außerhalb Apples unbedingt besser läuft. Aber bei Apple wird so getan, als würde da mit der ersten Generation alles super funktionieren, auch wenn es in fast allen Fällen nicht der Fall ist.

 

[Rickmer]

Hat dabei aber 8GB RAM belegt (also alles)

Achso, dafür sind die Smartphones mit 18GB RAM da...

 

[tomgit]

Also ich bin gespannt, wie es da weitergeht und ob die Hersteller das wirklich sinnvoll lokal, ohne irgendeinen Cloud-Zwang anbieten, oder ob man da doch nur mit vollständiger Datenweitergabe mitmachen kann.

Insbesondere Intel und Qualcomm haben doch sehr aktiv damit geworben, dass Stable Diffusion, Llama und sogar Microsofts CoPilot lokal auf den Maschinen laufen.
Die Industrie ist sich also sehr bewusst, dass lokale KI erst den Durchbruch ermöglichen wird.

 

[Restart001]

Jedem Smartphone seine eigene KI ins Netz stellen, Kampf der KI's um Daten als "Nahrung", ein riesen Chaos wird das im Netz verursachen.

 

[matze313]

Die Industrie ist sich also sehr bewusst, dass lokale KI erst den Durchbruch ermöglichen wird.

Ja, aber auch bei lokaler KI-Berechnung könnten die generierten Daten (also "Chatverläufe" oder generierte Bilder) zu Trainingszwecken (oder zum Verkauf) abgeschnorchelt werden. Aber naja, das werden die AGBs dann verraten

 

[Nizakh]

Da sieht man, dass die Chinesen schon deutlich weitergedacht haben und wir sie eigentlich kopieren. Ich finde es lustig, weil man sonst immer behauptet, sie kopieren alles!

Gibts bei Apple schon seit dem A11 Bionic (Bj. 2017). Nennt sich dort Neural Engine. Bei Qualcomm seit dem Snapdragon 855 (Bj. 2019). Dort heißt es auch NPU. Soviel zu der „deutlich weiter“ Stammtisch-Parole.
NPUs sind, um es ehrlich zu sagen, schon ein alter Hut. Interessanter wird es dann bei der Leistungsfähigkeit dieser Beschleuniger. Da ist Apple bei Smartphone SOCs mit dem A17 Pro definitiv deutlich führend. Und genau solche Engines/Co-Prozessoren, könnten für lokal ausgeführte „Ki-Systeme“ hochinteressant sein.

Mit der AMD Phoenix Plattform (Bsp. AMD Ryzen 7 7840U) gibts sowas ja auch seit 2023 endlich als integrierte Lösung in X86 CPUs. Nennt man heutzutage halt „AI Engine“.