News GitHub Copilot: Coding-Assistent soll KI-Guthaben effizienter nutzen

[Skysnake]

Keine Ahnung wie du das schaffst - ich dachte schon ich gehe ineffizient mit der AI um. Da ich beruflich programmiere ist bei mir jeder Arbeitstag ein "Programmiertag"

Du mit Opus 4.8 ist das nicht so schwer. Vor allem wenn du nicht atomare Änderungen hast sondern komplett neue Funktionalität hinzufügst die halt mur genau zweiZustände kennt. Richtig und Falsch aber dutzende Corner Cases hat. Da explodiert der Kontext sofort. Ich habe ca 50k Tokens allein Kontext bis sinnvoll auch nur das erste Zeichen geändert werden kann ohne was kaputt zu machen.

Ich muss aber auch sagen ich habe das Setup auf die Premium Prompts optimiert. Sprich bleib so lange innerhalb eines einzelnen User prompts wie es geht.

Finde ich noch immer nützlich, da es ein angenehmer Workflow ist da recht viel auch komplett autonom gelöst Wird bis auf kleinere Eingriffe, aber natürlich nicht auf minimale Token Nutzung ausgelegt.

Wobei ich sagen muss wayne 5 oder 10€ an Tokens Spaten wenn ich dafür auch nur 10 Minuten mehr Zeit für investieren muss.

 

[Enurian]

Wenn das Geld gerade da ist, dann könnte ich die Intel Arc B70 Pro ans Herz legen.
Knapp 1200€ für 32 GB vRAM, was aktuell ein Schnapper ist.

Du empfiehlst die, obwohl du sie gar nicht hast? Das ist schon sehr exotische Hardware. Bei AMD findet man immerhin den ein oder anderen, der es nutzt (und nochmal deutlich mehr mit quasi baugleicher Gaminghardware), und die kostet "nur" 200€ mehr. Das wenige, was man an llama.cpp Benchmarks für die Arc findet, sieht nicht gut aus, auch im Vergleich zur R9700.
Fürs 35B ist das aber rausgeschmissenes Geld, das muss nicht komplett in den VRAM, und für das Geld wäre mir das Model dann auch zu schlecht. Mit meiner 16GB AMD Gaming GPU und Auslagerung in den RAM habe ich >1000 t/s prefill und je nach quant 30-40 t/s gen.
Das sind meine Configs, die so größtenteils mit 16GB/32GB funktionieren, allerdings absolut nicht so problemfrei wie Cloudmodelle sind:

Denn in dem Thread geht´s ja eigentlich um Github Copilot, wo man Zugriff auf Top-Modelle hat, und da wird jedes lokale mini-Model eine herbe Enttäuschung sein. Neben dem Hardwareinvest kommt ja noch die ganze Zeit dazu, sich um die vielen kleinen und großen Probleme zu kümmern, die auftreten werden. Und dann nochmal die Zeit, den viel schlechteren Code zu fixen

 

[Mr.Uhu]

Du empfiehlst die, obwohl du sie gar nicht hast? Das ist schon sehr exotische Hardware.

Ehrlich gesagt sehr guter Punkt, da ich die R9700 Pro nicht so auf dem Schirm hatte.
Bei 32 GB RAM bieten beide ein gutes P/L wobei, ja die Intel Karte wohlmöglich mehr Bastelei nötig machen.
Ich selbst habe die B70 nicht, bin aber mit der Leistung einer B50 zufrieden gewesen. Was die Konfiguration von den Systemen angeht bin ich irgendwie Kummer gewöhnt. Zu Hause mit dem "Zum-Laufen-bringen" des 7940HS Setup und professionell mit anderen Problemen bei verschiedenen Nvidia Karten.

Wenn man die extra 200-300€ hat, dann wäre die AMD tatsächlich die bessere Wahl, auch wenn ich AMD bezüglich ROCm Support nicht mehr so richtig traue. Dennoch lege ich gerade Geld zurück, um vielleicht bei Medusa Halo zuzugreifen...

Bezüglich der lokalen Modelle und der Qualität: Ja, kann sein, dass die großen besser sind und mehr können, aber:
1. Bleiben meine Daten bei mir
2. War sowas wie Qwen 3.6 bisher immer gut genug für mich - man brauchte etwas Übung
3. Die tatsächlichen Probleme, die ich manuell angehe, sind spannend genug, dass die Arbeit immer Spaß macht und nicht nur Code-Review ist
4. Habe ich arg den Aluhut auf...aber das ist okay...

Nach ein paar durchforsteten Reviews könnte ich sagen R9700 Pro > B70 Pro, aber persönlich würde ich wahrscheinlich trotzdem zur Intel Karte greifen auch wenn es nach Bananenprodukt aussieht.