LamaMitHut schrieb:
Der Witz ist ja: die Meisten haben höchstens ein Video zum Thema LLM und was diese nicht können gesehen, und meinen sie wären dann Experten.
So wie du, der impliziert dass er mehr weiß als die immense Summe der ITler und Wissenschaftler die die Algorithmen der LLMs entwickelt haben und selbst zugeben, dass es massive inhärente Probleme gibt, die sich nicht durch "schmeiß mehr Compute drauf" oder "bessere Pre-/Post-Processing" lösen lassen?
LamaMitHut schrieb:
Die Entwicklung überholt sich gerade eher selber anstatt langsamer zu werden, aber da das Training/Forschung und Betrieb eben Kosten winken halt keine schnellen Gewinne.
Nein, tut sie nicht. Möchtest du dir mal Diminishing Returns anschauen und dir dann noch zu Gemüte führen wie LLMs am besten skalieren?
Oh Schock! Du wirst sehen dass Skalierung am besten über Daten geht und... Da hat man bereits das gesamte Internet gescannt. Ups. Schade. Mehr Daten gibt's nicht also ist man nun dabei außen drum zeug zu bauen um mehr aus den bereits "gelernten" Daten zu holen aber dass ist schon über den Punkt hinweg, wo wir überhaupt eine Skalierung haben wo der "Fortschritt" auch nur ansatzweise so aufrecht erhalten werden kann... Siehe Diminishing Returns.
Und dann warn wir immer noch nicht bei den technisch realen Problemen, die LLMs nun mal haben und zu denen du auch nicht ein einziges Paper finden wirst, was Peer Reviewed ist und was anderes sagt. Kannst ja selbst mal z.B. Perplexity nutzt und nach Papern mit dem Thema schauen. Wissenschaftler sind hier leider im Gegensatz zu Aktionären deutlich besser informiert und deutlich kritischer.
Und dann waren wir immer noch nicht bei den juristischen Problemen, die bisher weder in den USA noch in der EU oder sonst wo gelöst sind. Sowas wird gerne von "KI" Verfechtern unterschlagen aber defacto betreiben ALLE "KI" Firmen Raubkopien in einer Größenordnung die wir bisher noch nie gesehen haben. Sprich, ein einziges verlorenes Verfahren irgendwo in einem großen Markt reicht heute immer noch aus um die gesamte Branche zu crashen... Und selbst wenn es nicht gänzlich verloren wird sondern in nem erzwungenen Lizenz Deal endet, die Kosten werden nur noch mehr explodieren...
Was einen zum generellen Problem der Wirtschaft führt, du fragst dir ja gerne mal anschauen, wo quasi alle Umsätze von OpenAI her kommen. Ups. Da wirst du über ein massives Fragezeichen stoßen weil diese nämlich Zyklische Umsätze sind die von Unternehmen kommen, die OpenAI Geld geben um Geld zurück zu bekommen... Was die dann dazu führt dass egal wer mit Ahnung von Wirtschaft das Ding als Blase definiert. Subtrahiert man die Blase aber, dann siehst du ausgezeichnet, dass LLMs wie heute (!) niemals wirtschaftlich werden können.
Da kannst du noch so viel R&D betreiben, solang du bei den LLMs wie heute bleibst, die werden nicht wirtschaftlich werden.
Was einen dann zur Zukunft bringt, denn aus der Blase werden mit Sicherheit Business Modelle entstehen, die tragfähig sind und dabei mit hoher Sicherheit deutlich spezifischer ausfallen werden. Siehe z.B. "
KI findet in Hubble-Fotos über 800 Anomalien, Dutzende entziehen sich Erklärung" Als eins von XX Beispielen wo deutlich konkretere Neuronale Netze sehr interessante und sinnvolle Ergebnissen liefern... Ohne dass die mehr Kosten als manche Staaten im Jahr einnehmen.
Und wenn wir von da noch weiter in die Zukunft gehen, für eine "AGI" Wie sie Altman gerne kommen sieht, die aber auf Basis LLMs nicht möglich ist (siehe Chinese Room), müssen wir erst mal rausfinden wie sich verschiedene spezialisierte neuronale Netze mit extremer Bandbreite und Neuroplastizität überhaupt zusammen schalten lassen. Ohne sowas, wird es nämlich keine Künstliche Intelligenz geben, da sie technisch über LLMs nicht erreichbar ist. Aktuell sind wir nach allem was ich bisher gelesen habe an diesem Bereich noch in der absoluten Grundlagen Forschung, weit weg von irgendeinem technisch realisierbaren Produkt. Kommen könnte es aber und dann ist die Frage wie lange es dauern wird, bis es technisch skalierbar umsetzbar ist und erst dann dürften wir effektive, echte KIs bekommen.
Bis dahin aber ist es ein weiter Weg.
PS: Sehr zu empfehlen das Buch "How we Learn". Da sieht man schön, wie weit heutige neuronale Netze noch von effektivem Lernen weg ist und wieso wir noch lange brauchen werden, bis KI wirklich als solche bezeichnet werden kann.
PPS: Auch hilft es wahrscheinlich zu verstehen was das GPT von ChatGPT ist um nachvollziehen zu können wieso die aktuelle Straße der LLMs eine Sackgasse darstellt.