Intel B70 32Gb für Qwen Code

[INe5xIlium]

Im Moment habe ich für erste Tests mit LM Studio eine RTX 3060 12GB und 96GB Ram im Rechner. Modelle wie ChatGPT 120b OSS sind aber sehr, sehr langsam ohne genug GPU speicher.
Ich bin in der Arbeit hauptsächlich durch Claude Opus auf den Geschmack vom AI unterstützten Programmieren gekommen. Grade Memory Maps verschiedener ESP32 sind z.B. nervig.

Ich frage mich, ob ich mit einer Intel B70 + RTX 3060 + Cline + LM-Studio + Qwen Code zumindest eine langsamere und nur etwas dümmere Nutzererfahrung bekommen könnte.

• Kann ich die Intel B70 in einen Rechner mit einer vorhandenen RTX 3060 stecken? Onboard Intel Grafik und Nvidia vertragen sich ja auch, also nehme ich an, dass es unproblematisch ist.
• Macht der Ansatz darüber hinaus Sinn?
  Vermutlich sollte man sich irgendwie auch noch Zugriff auf intelligente Modelle besorgen, aber mit Claude Opus kann man gewaltige Summen in sehr kurzer Zeit verbrauchen.
• Eventuell wäre Kaufberatung das richtige. Auch nach diesem Thread
  https://www.computerbase.de/forum/t...empfehlung-fuer-kleines-team-gesucht.2265432/
  habe ich das Gefühl, dass ich vielleicht doch eine RTX 3090 benötige.

 

[AAS]

@INe5xIlium Ich benutze Opus nur als Orchestrator, dazu noch einen RAG Stack (Nomic Embed Text + Obisdian).
Als Agenten habe ich Gemini-cli (AI Pro Abo, 5€ für 18 Monate auf Kinguin), Codex (ChatGPT Plus), OpenRouter (Gratis Modell ChatGPT 120b OSS und Bezahlmodelle) und Qwen Code 20b (lokal) im Einsatz.
Automatisierte Tasks habe ich mit n8n gelöst, welche die Agenten auslösen können.
Claude Code Opus kümmert sich um die Orchestration und erstellt im Gitea Arbeitspakete:

 

[INe5xIlium]

Führst du Qwen Code 20b auf der CPU aus? Nach Signatur hast du eine RTX 3070, oder?

 

[AAS]

@INe5xIlium Hab eine Arc Pro B50, RX 9070, eine K80 und band noch zwei V100 32GB.
Qwen läuft aktuell auf der Arc Pro B50 mit RAM Offload bin ich bei 10-15 Token/s.