samuelclemens schrieb:Was wir als Menschen in Jahrtausenden an Wissen zusammenrugen haben die Modelle innerhalb von Jahren weggefuttert. All You Can Eat Festmenü ist alle. Ab jetzt gibts nur noch Notrationen und "repliziertes Zeug"🖖
Was danach kommt würde man in der Biologie als "Inzest" vergleichen.
Allerdings kann die AI sich auch dadurch verbessern dass sie a) die Infomationen anders verarbeitet und b) z.B. das Netz selber von FP8,32 auf 64 oder 18 geht also viel weniger Wissensverlust hat und c) grösser wird.
Durch FP32 geht extremst viel Information des trainierten "verloren" aktuell was eben auch sicher mit zu den Halluzinationen führt.
AIs sind noch extrem lange nicht am Ende immer besser zu werden - selbst wenn die Daten mit denen trainiert wird nicht mehr wachsen würden. Denn noch ist ein AI Netz ein Sieb mit extrem grossen Löchern durch die ein Elefantenvogelei passt - bis das mal auf Sandkorngrösse ist kann man mit den vorhanden Daten sicher noch ein paar Jahrzehnte die AIs verbessern.
Das ja das coole für die Zukunftsaussichten der AI Verbesserung dass wir aktuell zwar viel Wissen in die Netze pumpen aber vermutlich 99% doch in der Tiefe noch verlorengehen und nur ein minimaler Bruchteil in den Netzen "hängenbleibt" bedingt halt durch die "Rundungsfehler" von FP8 oder FP32 auf der die AI Netze basieren - man kann ganz strukturell noch massivst verbessern.
Zuletzt bearbeitet: