Programmieren mit KI

[Krik]

Wäre es vielleicht besser, das "deklarative Entwicklung" zu nennen? Im Prinzip gibt man ja vor "wie es sein soll" und nicht "wie es funktionieren soll".

 

[Micha-]

Wie sollte man sich das denn konkret vorstellen? Bei meinem letzten Versuch hat das Programm auch nicht sofort funktioniert. Web Scraping ist für mich zumindest experimentell.

Ich fordere dann in Dialog dazu auf den Fehler zu beseitigen.

Bei Spec-Driven AI/Agent Development müsste ich dann aber meine Spec an die neuen Erkenntnisse anpassen und quasi mit diesem Input wieder von vorne starten, bis meine Spec so ausgereift ist, dass sie auf Anhieb ein funktionierendes Programm erzeugt?

 

[Pummeluff]

Ich steh mit KI-unterstützter Programmierung bisher noch ganz am Anfang.

Jetzt wollte ich mal OpenRouter ausprobieren. Hab mich registriert, einen API-Key generiert und in VIM vim-ai installiert.

Als ich dann mal die freien Modelle, mit denen OpenRouter wirbt, testen wollte, bekam ich jedesmal nur:

Insufficient credits. This account never purchased credits. Make sure your key is on the correct account or org, and if so, purchase more at https://openrouter. ai/settings/credits

Das einzige Model, was funktioniert, ist meta-llama/llama-3.2-3b-instruct:free.

 

[Krik]

Insufficient credits. This account never purchased credits.

Das ist das Problem. Du hast keine Kapazitäten gekauft.

LLM-Abfragen kosten tatsächlich einiges an Rechenleistung. Diese Leistung muss man in Form von Credits kaufen. Jede Abfrage zieht dann ein wenig was vom Wallet ab, bis es irgendwann aufgebraucht ist.
Ein paar wenige Models kann man kostenfrei verwenden. Natürlich sind sie nicht so gut wie die kostenpflichtigen.

 

[Pummeluff]

Das ist das Problem. Du hast keine Kapazitäten gekauft.

Ich werf ungern Geld irgendwo ein, wenn ich nicht weiß, was dabei rauskommt. Bisher hab ich noch keine Vorstellung, in welchem Geldrahmen (€) sich das jetzt bewegt, wenn man sich z.B. ein Bash-Skript erstellen lässt.

Ein paar wenige Models kann man kostenfrei verwenden.

Meine VIM-Konfiguration für vim-ai:

let g:vim_ai_roles_config_file = expand('/var/vim/vim-ai-roles.ini')
let g:vim_ai_chat = {
\  "engine": "chat",
\  "options": {
\    "model": "openrouter/auto",
\    "endpoint_url": "https://openrouter.ai/api/v1/chat/completions",
\    "plugins": [
\      {
\        "id": "auto-router",
\        "allowed_models": ["*:free"],
\      }
\    ]
\  },
\  "retry_strategy": "exponential_backoff",
\  "max_retries": 3,
\  "initial_delay": 1,
\  "headers": {
\    "HTTP-Referer": "https://vim-ai-plugin",
\    "X-Title": "vim-ai-requests",
\  },
\}

"Eigentlich" soll er damit nur freie Models verwenden. Klappt nur irgendwie nicht.

 

[Azdak]

Das einzige Model, was funktioniert, ist meta-llama/llama-3.2-3b-instruct:free.

Dieses Modell ist so klein, das du es mit hoher Wahrscheinlichkeit sogar bei dir selbst laufen lassen kannst. Dafür reichen 6GB VRam. Aber ob du mit diesem Modell glücklich wirst, da habe ich erhebliche Zweifel!

Mit Github Copilot bekommst du einiges an freien Token, als Gegenleistung stellst du deinen Code für das Training zur Verfügung.