Größte Modell was ihr LOKAL laufen gelassen habt?

Wieviel Parameter hatte max das Modell was ihr sinnvoll lokal ausgeführt habt?

  • bis 4b

    Stimmen: 1 1,1%
  • bis 8/9b

    Stimmen: 9 9,8%
  • bis 12b

    Stimmen: 5 5,4%
  • bis 16b

    Stimmen: 0 0,0%
  • bis 27b

    Stimmen: 28 30,4%
  • bis 40b

    Stimmen: 3 3,3%
  • bis 64b

    Stimmen: 0 0,0%
  • bis 100b

    Stimmen: 3 3,3%
  • bis 128b

    Stimmen: 11 12,0%
  • bis 200b

    Stimmen: 0 0,0%
  • >200b

    Stimmen: 9 9,8%
  • noch garnicht

    Stimmen: 23 25,0%

  • Umfrageteilnehmer
    92
  • Umfrage geschlossen .
Danke, werde ich probieren.

Ich hatte jetzt mal beruflich die Gelegenheit, mit GLM 5.2 im vollen Ausbau + direkter Cloudanbindung in einer Spielwiese zu arbeiten. Gut, ich hab ja etwas Ahnung, aber es ist schon krass, was jetzt an direkter Automatisierung bzw. mit KI möglich ist, daß Du vieles ohne tiefere Kenntnisse in Stunden machen kannst, wo Du vorher mehrere Wochen gebraucht hattest. Terraform Generierung incl. Korrekturen und mal mehrere fertige Server rausrollen nur durch prompten ist schon erhellend.

BTW ist gut, daß ich doch noch mal teuer 64 GB RAM gekauft habe, es ist jetzt nach ca. 2 Wochen wieder 400 € teurer geworden.
 
Ich hatte jetzt die Faxen dicke, und hab jetzt mal bei mir auch lokal VS Code mit der Cline Erweiterung installiert, und damit habe ich endlich das, was ich erwarte: Eine lokale KI, was lokal mir Dinge machen kann. Z.B. teste ich gerade mit der WSL eine Automatisierung von Postgresql Datenbanken per Terraform und Ansible, funktioniert bisher sehr gut. Ich kann alles per KI steuern und anfragen, incl. SQL Befehle und Monitoring wie Optimierung.
 
nutrix schrieb:
Was verwendet Ihr eigentlich als Prompttool? Ich habe Tests mit LM Studio, OpenCode oder PyGPT arbeiten mit den Infernix irgendwie nicht richtig zusammen, immer gibts irgendwo ein Problem oder Verbindungsproblem. Nur über reine selbst gemachte Konsole per Powershell geht gut.

Ich finde pi.dev echt super. Läuft sogar auf android mit diesem Shell Fenster Addon

https://pi.dev/ <= wenn man CLI tools mag ist das halt denke ich einen Blick wert
 
Zuletzt bearbeitet:
Nach dem ganzen Wochenende Testen bin ich nur noch begeistert. Ich habe mit Hilfe der lokalen KI + etwas Gemini Abo hier ein komplexeres Projekt mit einem eigenen Virtualisierungsserver, um mehrere Datenbanken (14) incl. Ausfallssicherheit, Backup, Monitoring, Doku usw. zum Laufen zu bekommen. Dazu habe ich mir noch eine eigene (!!!) Weboberfläche erstellen lassen, die mir gleich die Verbindung und Infos per URL für eine SQL-IDE liefert, und wo ich alle Instanzen stoppen, starten, anlegen, löschen kann usw. Ich bin nur noch begeistert.

Ich hatte 7 Projektschritte 0-6., und wir (KI und ich) waren gerade bei 1 fertig, da wollte ich mit der Familie essen. Also habe ich geprompte, ich habe jetzt keine Zeit, er soll alles alleine mit meiner Freigabe fertig machen, und dazu noch einen Lasttest auf allen Instanzen durchführen. 2 Stunden später bin ich wieder da, alles erledigt, alles fertig. 😯

Seit Freitag bis jetzt ist mir nur einmal gestern VS Code abgestürzt, aber dank gesicherter Schritte ging nichts verloren. Ich habe ein lokales Git verwendet, um alles zu versionieren und zu dokumentieren.

Mit kleineren Modellen, die angeblich besser sein sollen und besser in das VRAM einer RTX 5090 mit 32GB reinpassen sollen, bin ich kläglich mit Ollama und qwen2.5-coder:32b-instruct-q5-8 gescheitert, ich habe es nicht mit Cline verbunden bekommen.
 
Zuletzt bearbeitet:
welches allround modell könnt ihr denn empfehlen? bis 32b sag ich mal. teste gerade gemma4 und qwen 3.8 auf ollama mit openwebui. aber es gibt ja so viele modelle...hab keine speziellen anforderungen, suche daher was, das "alles" kann, so wie mein claude ;) die beiden hat mir tatsächlich claude empfohlen, aber wer weiß, ob er meinen plan ihn zu ersetzen nicht durchschaut hat
 
Mit Qwen 3.8 und den Varianten davon hast du eignetlich schon eines der besten Allround-Modelle in der Größe. Ansonsten könntest du auch ein MoE wie Flash Next ausprobieren. Hängt aber davon ab, wie viel Speicher du zur Verfügung hast (VRAM und RAM).
 
Ich habe jetzt mal bei Google AI Studio 20 € für Coding mit Argon ausgegeben, und gefragt, wie lange das Budget wohl reichen würde. Es meinte, daß würde für ca. 2-3 Tage intensives Coding und Arbeiten reichen. Pustekuchen, ich hab das Budget jetzt innerhalb 8 Stunden schon aufgebraucht für an sich Pillepalle. Das ist auch wieder ein sehr starkes Argument dafür, für längere Arbeiten, wie ich sie jetzt in den letzten Wochen hatte, auf ein lokales Modell zu setzen. Ansonsten zahlt man sich schnell dumm und dämlich. Bei Google verdoppeln sich die Preise nach dem 30.November. Das heißt, da hätte ich jetzt für die gleiche Leistung bereits 40 € hinlegen müssen.
 
Heute läuft seit 9,5h Hermes mit Strata an einer Coding-Aufgabe. Inzwischen wurden 190 Mio Token verarbeitet (davon 150 Mio Cache Reads) + eine unbekannte Anzahl Qwen 3.8 27B Token für Tester-Agenten. Kosten über einen Cloud-Provider wären allein für Strata 8,40 USD gewesen, die Tester mit dem teureren Modell sicher auch noch ein paar Dollar. Das Programm hab ich mit Claude Opus 5.5 ein paar Mal auf Lücken testen lassen. Allein diese kurzen Tests hätten Claude API-Kosten vom Vierfachen der Strata-Kosten verursacht.

Diese ganzen subventionierten Abos kann es nicht ewig geben. Die über die Cloud bereitgestellten Open Weight Modelle dürften zu den real anfallenden Grenzkosten angeboten werden. Wenn ein Mini-Modell wie Qwen 3.8 Flash schon 8,40 USD Kosten in nichtmal 10h erzeugen kann, dann ist ein 20 USD Abo, mit dem ich in gleicher Zeit ein Vielfaches an Token mit einem deutlich komplexeren Frontier-Modell erzeugen kann, nie und nimmer kostendeckend.
 
  • Gefällt mir
Reaktionen: MuhSagtDieKuh und nutrix
hust an meiner website projekt was ich aktuell für die Firma baue, vom Umfang her schon ein mini ERP, liegen aktuell ungefähr 6 Milliarden Token von Enterprise OpenAI. Ich hab ein Limit von 300$/month was ich aktuell onTop ausgeben darf. Das was ich da aktuell baue ist ein hochgradig Speziell auf unsere Belange zugeschnitten und gibt es so nicht im Standard in irgendeinem ERP (Vertragsentwicklung, inkl. .PDF Generator, Datenbanken, Preiskalkulationen, etc., Modulare Aufbau zur Ergänzungen von weiteren Themen, etc.) Ich hab hier mit einigen befreundeten Entwicklern gesprochen und die sagen halt auch: Das was ich da gebaut habe hat unglaublich viel "Domainwissen" daher Fachwissen, weil ich seit 20 Jahren im Business unterwegs bin.

Auf was ich hinaus will - Subventionierung: Das wird nicht so bleiben, ich hab mit unter 1000$ aktuell eine Software entworfen, wo ich als Projektleiter mit externen Dienstleistungen alleine 100 Stunden für ein Lasten-/Pflichtenheft ausgegeben hätte. Wenn die großen Firmen erstmal konsolidieren und auch Ergebnisse geliefert werden müssen, dann wird es massiv teurerer. dann gehe ich eher von einem Monatsabo von 1.000$ aus im Professionellem Bereich, oder sogar mehr.
 
  • Gefällt mir
Reaktionen: VK5211, AndreasF1975 und nutrix
@Bliird

Dann kann man nur hoffen, dass lokale Modelle in Zukunft effizienter mit dem VRAM umgehen können, sodass man mit 16-32 GB VRAM gut auskommt. Qwen 4 hust

@All

Danke für eure Eindrücke, habe mir den Thread mit großem Interesse durch gelesen und hoffe auch bald etwas beisteuern zu können.
 
Zurück
Oben