Aber dafür eignet sich ne K.I. genau nicht, stand doch dran das grad eine K.I. lernen soll aus vorherigen begegungen das ist dann auch explizit nicht mehr vorhersehbar.kieleich schrieb:
Deine Seite, meine Seite, und damit ist das Problem oft bereinigt.Elsativa schrieb:
Ja schon. Aber genau für dieses Konzept würde sich nen Asic lohnen den es noch nicht für consumer gibt 🫤. Aber ich kann mir vorstellen wenn in 10 Jahren und der WK3, Corona 2.0 oder der Rogue-Ai Teufel und noch nicht vernichtet hat dann wird diese NPU Show vllt doch noch nützlich in spielen sein. Mit Tensor cores könnte man Anno 2018 nix anfangen mit CUDA in 2008 auch nicht. Heute nicht mehr weg zu denken 🤷.DrFreaK666 schrieb:
Also es gab vor einiger Zeit einen Mod, dass man in Skyrim mit dem Begleiter über ein LLM gesprochen hatte und das war extrem immersiv. Ich denke allerdings, dass das LLM dann lokal lief.Conqi schrieb:
gartenriese schrieb:
/sJup, das lief bei mir damals noch mit Llama 2 8b. Text to Speech und Speech to Text ebenfalls lokal. Man hat auch.OpenAI anbinden können, war mir aber zu teuer (lol) War schon lustig, sich mit Lydia über die Welt zu unterhalten.SavageSkull schrieb:
Das hab ich auch schon von anderen Entwicklern gehört, geniales Konzept von Google
Aber bei dem Spiel geht es doch gar nicht um sowas komplexes wie Programmieren, sondern ein bisschen simples Fahranweisen geben. Können das nicht schon kleinere lokale Modelle ganz gut?lynx007 schrieb:Informier dich mal was LocalAI kostet! Es ist eben oft nicht billiger. Deshalb Sanktioniert man auch ich China, damit das auch möglichst lange so bleibt!
So nen Strix, DXG oder auch M5 bist du bei 5k aufwärts.. und dort können damti bis zu 5 Leute arbeiten.
Ich bin ja nciht grundsätzlich gegne Spiele die neuanschaffung von Hardware erfordern. Aber das CD Laufwerk bei Rebelassault damals hat glaube ich keine 5k€ aufwärts gekostet...
Nur damit du etwas einen Eindruck hast, und dort gehts nur um "coden" . Etwas was LLM noch relativ gut können!
Also, sowas das sich der User reinstellt, dürfte auch dank der Datencenterbetreiber und ihren Embargos noch lange dauern. Aber auch für kleines IndieDev Studio unstemmbar... akutel zahlst du für lokal AI den Preis von nem Gebrauchten Golf. Und dafür bekommst du dann für 5 leute Infering in Echtzeit anwendungen zum laufen... Mixtur of Experts hast du dann 5 Token... das macht kein user mit... aber auch kein Bankkonto von nem Indidev... Und dann hatt man nur die Hardware für vielicht 5 Leute... noch ohne das Model, ohne Deeplearning usw...
Wäre ja auch dumm für den Datacenter betreiber... wen die plötzlich teuer als Local wären... dann gäbe es ja keine geschäftsmodel und auch es würde weniger sinn machen die Chinesen so zu sanktionieren.
Um aufs thema zurück zu kommen. Ich bin verwundertz das sie nen Kredit aufnehem um eine ksotenlose Demo laufen zu lassen... aber vermutlich gehts hier halt auch Lerning, um das Antrainieren... das es günstiger vorort machbar wäre, das glaube ich nicht. Eben weil alles was sowas auch nur entfernt kann so unglaubl8ich teuer ist. Weil das auch so gewollt ist. Die Speicherhersteller sagen selber, bis 2030 hält die krise an. Bis dahin kannst du auch mehr oder wengier LocalAI vergessen.
Mich würde sowieo interssierne... ist das in der Demo nur inferering... oder teil des Enforcments Lerning? Vermultich letzteres..... wen das Spiel noch nicht drausen ist...
Nvidia hat genau für solche Szenarien schon im März das (damals) neue Nemotron 4B (siehe Seite 3 "use cases") vorgestellt. Es ist also vorgesehen, dass sowas in naher Zukunft lokal läuft. Es ist aber halt Arbeit, ein Modell eventuell für sowas zu finetunen. Aber dafür muss man halt wissen, was man tut. In Zukunft werden wir sowas aber bestimmt häufiger sehen, auch lokal.gartenriese schrieb:
