Einige scheinen hier das Feld AI wirklich grundlegend falsch zu verstehen. LLM's sind nur ein kleiner Unterteil von AI, und nein AGI ist nicht um die Ecke. LLM's werden mit Deeplearning erstellt, Machine Learning Algorithmen sind nichtmals ein Teil davon. ML Algorithmen werden immer nur jeweils auf einen speziellen Part trainiert. Wohingegen LLM's nur Prediktoren des nächsten Wortes sind. Warum können LLM's ohne Toolcalling nur in kleinen Zahlenbereichen "rechnen"`? Weil die Lösung in den Trainingsdaten entsprechend oft vorkommt. Versucht ihr nun 21312312313131 * 2329329329113 zu rechnen, scheitern diese - da eben genau dieses Muster nicht in den Trainingsdaten vorhanden ist.
Außerdem stehen wir schon kurz davor, dass LLM's Commodity werden. Alles frei verfügbare Trainingsmaterial wurde bereits gescraped, also könnt ihr euch die Zukünftigen Entwicklungsstufen wie von einem Iphone 17 zu 18 vorstellen. Es wird sich nicht mehr viel tun. Allgemein sind die Verbesserung in den letzten 3 Jahren nur durch mehr Computing Power & mehr Trainingsdaten gekommen. Die Grundlegenden Probleme welche LLM's nun mal architektonisch mit sich bringen sind weiterhin nicht gelöst.
Ein kleines Beispiel: Ein Kind von 2 Jahren hat nur mit seinen Augen in etwa die selbe Datenmenge gesehen, wie ein LLM mit seinen Trainingsdaten.
Außerdem kann ein LLM auch keine Physik. Ihr als Menschen wisst, wenn ich auf eine volle Plastikflasche drücke, läuft diese über. Ein LLM "weiß" die nur wenn es den Satz entsprechend oft in den Trainingsdaten gesehen hat.
Deswegen ist die Forschung auch aktuell an dem Thema "World Models". LLM's werden ihren Weg gehen, jedoch nicht so wie angekündigt - ich gebe einen Single Shot Prompt ab und bekomme innerhalb von Minuten die besten Investitionsmöglichkeiten.
Wer mal einem echten Experten zuhören möchte:
was sehr viel mehr Informationen der Trainingsdaten erhalten lassen würde im AI Netz als FP32 - da weniger Rundungen und weniger "Verwässern" der bisher gelernten Informationen aus den Trainingsdaten - oder - natürlich noch zeitlich weiter weg - Quantencpus oder Analog.
