Intel B70 32Gb für Qwen Code

[INe5xIlium]

Im Moment habe ich für erste Tests mit LM Studio eine RTX 3060 12GB und 96GB Ram im Rechner. Modelle wie ChatGPT 120b OSS sind aber sehr, sehr langsam ohne genug GPU speicher.
Ich bin in der Arbeit hauptsächlich durch Claude Opus auf den Geschmack vom AI unterstützten Programmieren gekommen. Grade Memory Maps verschiedener ESP32 sind z.B. nervig.

Ich frage mich, ob ich mit einer Intel B70 + RTX 3060 + Cline + LM-Studio + Qwen Code zumindest eine langsamere und nur etwas dümmere Nutzererfahrung bekommen könnte.

• Kann ich die Intel B70 in einen Rechner mit einer vorhandenen RTX 3060 stecken? Onboard Intel Grafik und Nvidia vertragen sich ja auch, also nehme ich an, dass es unproblematisch ist.
• Macht der Ansatz darüber hinaus Sinn?
  Vermutlich sollte man sich irgendwie auch noch Zugriff auf intelligente Modelle besorgen, aber mit Claude Opus kann man gewaltige Summen in sehr kurzer Zeit verbrauchen.
• Eventuell wäre Kaufberatung das richtige. Auch nach diesem Thread
  https://www.computerbase.de/forum/t...empfehlung-fuer-kleines-team-gesucht.2265432/
  habe ich das Gefühl, dass ich vielleicht doch eine RTX 3090 benötige.

 

[AAS]

@INe5xIlium Ich benutze Opus nur als Orchestrator, dazu noch einen RAG Stack (Nomic Embed Text + Obisdian).
Als Agenten habe ich Gemini-cli (AI Pro Abo, 5€ für 18 Monate auf Kinguin), Codex (ChatGPT Plus), OpenRouter (Gratis Modell ChatGPT 120b OSS und Bezahlmodelle) und Qwen Code 20b (lokal) im Einsatz.
Automatisierte Tasks habe ich mit n8n gelöst, welche die Agenten auslösen können.
Claude Code Opus kümmert sich um die Orchestration und erstellt im Gitea Arbeitspakete:

 

[INe5xIlium]

Führst du Qwen Code 20b auf der CPU aus? Nach Signatur hast du eine RTX 3070, oder?

 

[AAS]

@INe5xIlium Hab eine Arc Pro B50, RX 9070, eine K80 und band noch zwei V100 32GB.
Qwen läuft aktuell auf der Arc Pro B50 mit RAM Offload bin ich bei 10-15 Token/s.

 

[INe5xIlium]

@INe5xIlium noch zwei V100 32GB.

Ist das Fazit, dass jede GPU gut ist, solange genug Ram da ist?
Ich schwanke zwischen einer Arc B70 und einer RTX 3090.
Was hast du auf den zwei V100 laufen?

 

[AAS]

@INe5xIlium Sind unterschiedliche Maschinen, meine Hauptmaschine Orchestratiert, dann die Agenten. Die V100 sind noch nicht verbaut, die werden dann per NV Link gekoppelt, dass ich eine 64GB Karte habe.

 

[INe5xIlium]

die werden dann per NV Link gekoppelt, dass ich eine 64GB Karte habe.

Das klingt cool. Wobei LM-Studio z.B. die Modelle so splitten kann, dass ein Teil auf der ersten Karte, der nächste Teil auf der zweiten Karte berechnet wird und man gar nicht so einen großen Nachteil dadurch hat, oder?
Was planst du darauf laufen zu lassen? 64GB sind ein klein wenig zu klein für ChatGPT und für Qwen Code würde weniger reichen. Was gibt es dazwischen?

Verdienst du damit eigentlich Geld? ^^

 

[AAS]

@INe5xIlium Habe 7 Stück NV 100 auf eBay für je 90$ das Stück gekauft.
Nein verdiene damit aktuell (noch) kein Geld, komme eigentlich auch nicht aus der Entwicklungsecke sondern aus Modern Workplace / Datacenter Ecke.
Aber trainiere mir die Skills an, um ein bisschen was in der Firma umzusetzen und privat entwickle ich ein FlaskCMS.

 

[INe5xIlium]

Kann man das dann von der Steuer absetzen?
Ist ja schon eine Investition. Wobei, bei dem Preis schon cool ^^
P.S.: FlaskCMS musste ich googlen.

 

[JumpingCat]

NV 100

Erzähl dann mal was darauf noch läuft und wie schnell. Die sind immerhin knapp 10 Jahre alt laut https://www.techpowerup.com/gpu-specs/tesla-v100-pcie-16-gb.c2957 .

 

[INe5xIlium]

was darauf noch läuft und wie schnell.

Würde mich natürlich auch interessieren, aber für den Preis ist der VRam deutlich billiger als Ram für den PC und etwas mehr Leistung als eine CPU hat es trotzdem, oder?

 

[JumpingCat]

Auf dem Papier ist eine 5070ti 10mal schneller und kann hardwaremäßig alles was aktuell ist.

 

[INe5xIlium]

Naja, nicht, wenn es nicht in den RAM passt. Chatgpt z.B.