Lokale KI fürs Programmieren?

[Krik]

Moin zusammen,

kennt jemand KI-Modelle, die für das Programmieren gut geeignet sind und eine API für den Zugriff durch eine IDE bieten? Die müssten in 16 GB VRAM passen und am besten in Pinokio verfügbar sein.

Vielleicht gibt es sogar welche, die gezielt auf einzelne Programmiersprachen ausgerichtet sind? Für mich müsste es eine für Bash, C# und vielleicht auch Python sein.

Ich habe bisher nur die "gängigen" Chat-KIs gefunden. Ich will aber nicht über Gott und die Welt sappeln und tausche daher gerne das "Allgemeinwissen" gegen Programmierfähigkeiten ein.

Gruß
Krik

 

[JumpingCat]

Suchst du so was die LM Studio / Ollama + OpenCode / VS Code?

 

[chr1zZo]

• Qwen3.5-35B-A3B oder Qwen 3.6-27B
• GPT-OSS 20B
• Gemma 4 26B MoE

 

[JennyCB]

Frag doch deine KI?

 

[adfsrg]

KI-Modelle, die für das Programmieren gut geeignet sind und eine API für den Zugriff durch eine IDE bieten

Die Modelle bieten doch kein API.

am besten in Pinokio verfügbar sein

Pinokio ist kein LLM-Runner

Ich will aber nicht über Gott und die Welt sappeln und tausche daher gerne das "Allgemeinwissen" gegen Programmierfähigkeiten ein.

Meinst du mit "Programmierfähigkeiten" dass das Modell als Agent selbständig programmieren soll oder willst du mit dem Modell nur chatten?

 

[Krik]

Ich habe bisher immer per Hand kleine Code-Stückchen in diverse ChapGPT-Varianten geworfen und die KI das modifizieren lassen. Für mal eine kleine Sache geht das, aber man kommt da schnell an verschiedene Grenzen.
Wenn ich aber eine lokale KI habe, auf die z. B. Rider zugreifen kann, wäre das top!

Meinst du mit "Programmierfähigkeiten" dass das Modell als Agent selbständig programmieren soll oder willst du mit dem Modell nur chatten?

Sie sollte im Idealfall selber als Agent programmieren können.

Ergänzung (Heute um 14:53)

Pinokio ist kein LLM-Runner

Ok, dann ist das schon mal das falsche Programm. Ich bin darauf gekommen, weil man darin auch Chat-KIs laufen lassen kann.

 

[oicfar]

Moin zusammen,

kennt jemand KI-Modelle, die für das Programmieren gut geeignet sind und eine API für den Zugriff durch eine IDE bieten? Die müssten in 16 GB VRAM passen und am besten in Pinokio verfügbar sein.

Habe eine RTX 4060 Ti mit 16GB VRAM und habe mir so was in den letzten 2 Jahren angesehen.

Meine Meinung: vergiss es. Damit kommst du nicht weiter. Und es wird langsam.

Vielleicht gibt es sogar welche, die gezielt auf einzelne Programmiersprachen ausgerichtet sind? Für mich müsste es eine für Bash, C# und vielleicht auch Python sein.

Für Bash und Python gehen viele kleine Modelle. C# wird schon problematischer.

 

[Gizzmow]

In VS-Code kann man m.W.n. Agenten erzeugen die dann auf ein lokales Modell zugreifen, ob die dann Zugriff auf deinen Code/Ordner dann bekommen und autonom schreiben können weiß ich nicht.

 

[Krik]

Damit kommst du nicht weiter.

Warum? Es geht nur um echt kleine Projekte, sagen wir mal <5000 Zeilen Code.

Und es wird langsam.

Das erwarte ich.
Wie langsam eigentlich? Bei mir läuft eine 9070XT, die hat etwas mehr Dampf.

 

[adfsrg]

Sie sollte im Idealfall selber als Agent programmieren können.

Also das wird nicht so gut funktionieren wie bei einem Cloud-Modell, selbst wenn das Modell auf Werkzeuge trainiert ist.

Ich bin darauf gekommen, weil man darin auch Chat-KIs laufen lassen kann.

Du kannst in Pinokio die Anwendungen, die die Chat-KIs laufen lassen, laufen lassen

Ich würde für deinen Anwendungsfall aber LMStudio nutzen. Du kannst damit Chatten und LMStudio macht es auch per API verfügbar (was die Anwendungen in Pinoki die Chat-KIs laufen lassen aber auch idR tun)

Probier's mal aus. kostet ja nichts. Die o.g. Modelle sind ok, die hätte ich auch empfohlen.

 

[chr1zZo]

Oder du nimmst halt Geld in die Hand und kaufst dir einen AI Model Hub oder ein AI Model Studio oder ein Claude Abo, dann halt aber gleich Max, weil mit Pro wirst nicht weit kommen. Weil wenn du deinen PC vollbelastest bei deiner Hardware, dann macht es auch damit kein Spass

 

[Enurian]

Dir muss bewusst sein, dass das nur Sinn macht, wenn du dich da aus Spaß einarbeiten willst, oder wenn du da so sensible Daten füttern willst, dass die auf keinen Fall deinen Rechner verlassen dürfen.
Cloudmodelle sind nicht nur besser, sie sind in vielen Fällen auch günstiger, selbst wenn du 1:1 API-Preise (z.B. über OpenRouter) zahlst. Und ich rede hier nur von Stromkosten fürs lokale Ausführen.

 

[nutrix]

Warum? Es geht nur um echt kleine Projekte, sagen wir mal <5000 Zeilen Code

Das ist für so eine lokale LLM schon an sich zuviel mit 16 GB.

Ergänzung (Heute um 15:36)

Habe eine RTX 4060 Ti mit 16GB VRAM und habe mir so was in den letzten 2 Jahren angesehen.

Selbst mit einer 3/4/090 mit 24 und 5090 32 GB RAM wird es eng. Besser ist es mit einer Nvidia Spark, AMD Strix Halo oder Apple Mac Studio M3 Ultra etc., wo Du ca. 100-110 GB RAM für die LLM verwenden kannst. Sind zwar die Antwortszeiten teilweise langsam, aber die Qualität ist deutlich besser.

Bevor man sich aber hier in Unkosten stürzt, ist jedes Abo im Endeffekt günstiger.

https://claude.com/pricing

Für ein Jahr mit 12*100€ = 1200 € bekommst Du weder eine dicke Nvida GPU noch die oben genannten Geräte.

 

[swage]

Würde LMStudio empfehlen weil bringt gleich Serverfunktionalität mit. Da kannst du direkt ein Programm (App) oder eine Webseite verknüpfen und das ganze im Netzwerk bereitstellen, ganz wie die großen. Dann hast du einen KI Server auf den du von Workstations aus zugreifen kannst.

Qwen ist ein schönes Modell, es gibt aber auch größere Gemma 4 Modelle. Gemma hat den Vorteil vision enabled zu sein. Da kann man auch Screenshots rüberreichen anstatt es nur wüst Textoutput analysieren zu lassen. Es kann sich Resultate "sehen".

Nebenbei, wenn man ein kleines Whisper Modell dazu nimmt das Geräusche in Text umwandelt kann jedes LLM "hören".

 

[oicfar]

Warum? Es geht nur um echt kleine Projekte, sagen wir mal <5000 Zeilen Code.

Du kannst es für Bash und Python schon machen und schauen, ob dir das reicht. Meistens ist aber so, dass man dann doch mehr machen will, wenn es gut läuft und dann kommt die Enttäuschung. Und Tools wie OpenCode brauchen schon LLMs mit mind. 32k Kontext. Darunter läuft es nicht.

C# wird eher scheitern. Da braucht du schon was anderes.

Für ein Jahr mit 12*100€ = 1200 € bekommst Du weder eine dicke Nvida GPU noch die oben genannten Geräte.

Eben.

Aber warten wir noch die Börsengänge ab und schauen, ob die Abos so günstig bleiben.