Llama3 70b fixed liefert extrem bescheidene Ergebnisse

[Drakrochma]

Hallo,
hat zufälligerweise jemand von euch Ahnung wie man olama richtig beibringt was es tun soll?
Ich habe bisher hauptsächlich Erfahrung mit Code seeker, Copilot und Gemini.
Für meine neue Hardware wollte ich mal was anderes ausprobieren und die Ergebnisse sind so schlecht, dass ich einfach irgendwas falsch gemacht haben muss.
Und jetzt will ich verstehen was und warum und wie und überhaupt

Meine Hardware
I9-7900x
128 GB ddr4
2* Intel arc pro b60
1* AMD Radeon 9070xt ( noch nicht eingebaut)

Ich habe Ubuntu Server LTS installiert in der Version 26.04.
Darauf dann Ollama und dann Llama3 70b fixed.
Das Modell läuft komplett auf den GPUs.

Leider sind die Ergebnisse maximal schlecht. Über ein einfaches: "erstell mir wie ich hello world in weiten umsetzen kann" hinaus kommen nur noch katastrophale Ergebnisse.

Beispiel 1:
Angehängt mein breiten Script. Darin gibt es eine Funktion um einen Scan eines Planeten auszuführen.
Aufgabe:
Lies dir die angehängte Datei komplett durch und analysiere die enthaltenen Funktionen.
Dupliziere die momentane Funktion zum Scannen der Planeten (func PlanetScan) in der angehängten Datei und füge eine 10%ige Wahrscheinlichkeit für einen Angriff (func AmbushAttack) hinzu.
Verwende dazu die beiden eben aufgeführten Funktionen.
Liefere mir als Ergebnis direkt eine angepasste Version der momentan angehängten Datei.


Ergebnis:
Anpassungen und Lösung

Um diese Änderungen umzusetzen, müssen folgende Dateien und Funktionen angepasst werden:

StarSystem.tscn: * Die Funktion _on_gui_input muss so geändert werden, dass der Spieler nicht aus dem Sol-System wegfliegen kann, wenn er noch keinen Sprungantrieb hat.
Eine neue Variable has_hyperdrive sollte eingeführt werden, die auf false initialisiert wird und erst auf true gesetzt wird, wenn der Spieler den Sprungantrieb gefunden hat.
ShipEditor.gd: * Eine neue Funktion _install_hyperdrive muss hinzugefügt werden, um den Antrieb im Schiff-Editor zu installieren.
Die Funktion sollte die has_hyperdrive-Variable auf true setzen und ggf. weitere notwendige Aktionen durchführen (z.B. das Hinzufügen von Rohstoffen oder Bauteilen).
SystemView.gd: * Eine neue Funktion _scan_planet muss hinzugefügt werden, um die Planeten nach Rohstoffen und Wracks zu scannen.
Die Funktion sollte zufällig entscheiden, ob der Spieler auf einem der Planeten den Sprungantrieb findet.
Galaxie-Karte (UI): * Eine neue Meldung sollte hinzugefügt werden, die dem Spieler mitteilt, dass er noch keinen Sprungantrieb hat und daher nicht aus dem Sol-System wegfliegen kann.
Eine weitere Meldung sollte dem Spieler mitteilen, dass er die Planeten des Sol-Systems nach Rohstoffen und Wracks durchsuchen soll.
Angebot

Ich kann dir gerne dabei helfen, diese Anpassungen vorzunehmen. Ich kann entweder:

Anleitung liefern: Ich kann dir eine detaillierte Anleitung geben, wie du die notwendigen Änderungen an den Dateien und Funktionen durchführen kannst.
Änderungen vornehmen: Ich kann die notwendigen Änderungen direkt an den Dateien und Funktionen vornehmen und dir die angepassten Versionen zur Verfügung stellen.



Ich habe keine Ahnung woher die Dateien Namen her hat oder was er sich da zusammen fantasiert hat das Ergebnis entspricht jedenfalls in keinster Weise der Anfrage. Das ganze habe ich mehrfach durch exerziert und auch sichergestellt dass nur die richtigen Dateien anhängen. Er findet immer irgendeinen schwachsinn und antwortet nie auf genau die Frage.
Hat dir der Erfahrung oder Ideen wie man das beheben kann?
stimmt gegebenenfalls mit der zusammenstellung der Hardware irgendwas nicht?

 

[Khorneflakes]

Wie kommst du denn auf die Idee, dass das was wäre, was man beheben könnte? Oder es gar an deiner Hardware (wtf?!) liegen könnte? Entweder das Modell passt in den Speicher oder es passt nicht. Die Performance wird ggf. darunter leiden, die Qualität der Antworten aber eher nicht.

Dass "KI" ungenaue Antworten gibt oder notfalls auch was erfindet, ist ja keine Neuigkeit. Vielleicht ist das Modell auch einfach nicht für sowas trainiert und/oder zu klein?

 

[Garmor]

Das Modell ist zwei Jahre alt und war nie auf Coding ausgelegt.

 

[Drakrochma]

vielen Dank für die schnellen Rückmeldungen und ... Asch auf mein Haupt, da hab ich mal wieder der Ki vertraut, was mal wieder ein Fehler war.

Das kommt dabei raus, wenn man gemini sagt: ich hab folgende hardware und will unterstützung beim coden in python, was wäre eine Liste der aktuell besten Modelle ?

Und das Ergebnis war sinngemäß: nimm llama3 70b fixed, das is total toll...
Auf die Nachfrage, ob es was besseres oder neueres gibt, war die antwort: nö

Deswegen hab ich das drauf, wäre sonst auch eher bei codeseeker geblieben oder bei Qwen3-Coder-30B oder Qwen3-Next.

Aber dann schließe ich mal aus den Reaktionen, dass ich da mal wieder der KI zu viel zugetraut habe...

Was wären denn eurer Meinung nach die passendsten Modelle?

 

[lazsniper]

ich mal wieder der Ki vertraut, was mal wieder ein Fehler war.

das ist prinzipiell nicht falsch, aber du hast einfach die falsche benutzt. wie gabel statt kochlöffel

wer jetzt nicht lernt mit ki umzugehen, wird das in 1-2 jahren bitter bereuen - das hat nichts mit vertrauen zu tun, sondern einfach es zu lesen wie sich die welt entwickeln wird.

mit claude code geht das einwandfrei.

 

[SirKhan]

Was wären denn eurer Meinung nach die passendsten Modelle?

Ich würde Qwen3-Coder-Next und das neue Gemma 4 ausprobieren und dann entscheiden.

Wobei das Modell alleine nicht alles ist. Ein guter System-Prompt ist sicher auch hilfreich. Oh, und Kontext-Größe natürlich. Wenn das eingelesene Dokument mehr Tokens hat als der Kontext behalten kann, dann kann es ebenfalls nicht funktionieren.

 

[Drakrochma]

Einen wunderschönen guten Morgen und ein kleines Update.
Da ich die Kiste unter Linux kein stück zur Arbeit überreden konnte und mti den beiden B60 nur Stress hatte, bin ich auf Windows 11 LTSC gewechselt und es lief auf Anhieb.

Allerdings, verdammt langsam...

Ich habe mit der (minimal angepassten Hardware) 1 bis 1,1 Token - da läuft es auf der cPU fast besser...
Aktuelle Hardware:
gemma4
Intel i9 7900x
96gb ddr4@3200
2 x Intel arc pro b60
1 x and Radeon 9060xt, 16 GB
Windows 11 ltsc
Ls studio 0.4.12

Irgendwelche Ideen?
Alle 3 GPUs füllen den RAM relativ gleichmäßig zu ~60%, Systemram füllt sich zu ~40%

Es läuft stabil und liefert brauchbare Ergebnisse, aber der Output ist EEEEECHT lahm...
Irgendwelche Ideen oder Anmerkungen was ich hier an Infos liefern soll?

 

[Garmor]

Welches Gemma 4? Das offizielle 31B? Das sollte doch bei Q8 mit knapp 34GB in die 48GB der beiden B60 passen. Ich würde die AMD-Karte rauslassen und beim Laden drauf achten, dass möglichst alles im VRAM landet.

 

[Enurian]

Du hast 3 GPUs auf einem Consumer-Mainboard? D.h. es ist bestimmt eine GPU in einem 1x PCIe Slot? Das ist glaube ich nicht so ideal, um ein lokales Model zu verteilen. Die beteiligten GPUs müssen sich sehr schnell austauschen können.
Also falls du zwei GPUs in 16x Slots hast, packe das Model nur in die zwei. Die dritte kann dann theoretisch ein zweites, kleines Model hosten, das dann per "subagent" mithelfen kann, wenn du Lust hast zu basteln.

Zum Test kannst du auch mal ein kleineres Model nehmen, dass komplett in eine GPU passt, nur um zu sehen was möglich ist, wenn man den Faktor ausschließt.
Persönlich bin ich auch kein ollama Fan, aus diversen Gründen (auch praktischen, wie fehlenden Einstellungsmöglichkeiten). Sehr einfach zu benutzen ist LM Studio. Noch näher am Nabel der Zeit dann llama.cpp direkt (was LM Studio im Hintergrund auch verwendet). vllm für wenn es professioneller wird mit noch größeren Systemen.

Für Coding sind als kleine Models aktuell Qwen 3.6 sehr gefragt: Das 27B (dense) ist ziemlich gut und würde in deine zwei Arcs sehr gut reinpassen:
https://huggingface.co/unsloth/Qwen3.6-27B-GGUF
6 oder 8 Bit plus ordentlich Kontext.
Das 35B A3B (moe) ist etwas schlechter, aber dafür sehr viel schneller. Zudem kann man mit wenig "Strafe" Teile auf die CPU auslagern.
Da benutze ich hier
https://huggingface.co/mudler/Qwen3.6-35B-A3B-APEX-GGUF
das APEX I-Balanced mit einer 16GB Karte und bekomme recht gute Geschwindigkeit. Mit deinem üppigen VRAM kannst du natürlich freier wählen.

Ich vermute, du wirst mit dieser Model-Größe am meisten Spaß haben. Wenn du vom Gemma4 das 31B nutzt, ist das auch passend, aber mach dir mal den Spaß mit Qwen zu vergleichen.

 

[Drakrochma]

Naja, consumer wäre glaube ich was anderes.
Die GPU hat 44 lanes und alle GPUs sind mit jeweils 8 lanes angebunden.

Aber ich werde mal ein kleineres Modell testen.

 

[andy_m4]

Fürs programmieren bietet sich als lokales LLM sowas wie Qwen3.6-35B-A3B an. Das läuft relativ flott auch auf bescheidener Hardware.
Wenn man das Q8-quantisiert, kommt man auch auf deutlich unter 40 GB Dateigröße ohne das man größere Qualitätseinbußen hat.

GIbt auch noch feingetunte Varianten davon, die das gegen Claude-Opus haben laufen lassen, um die Qualität noch etwas nach oben zu drücken. Die kann man natürlich auch mal testen.

 

[Enurian]

Die GPU hat 44 lanes und alle GPUs sind mit jeweils 8 lanes angebunden.

Aber nur PCIe 3.0 und 8x sind auch keine 16x. Das ist schon weit von ideal. 8x PCIe 3.0 = 2x PCIe 5.0. Du hast also praktisch nur 8 GB/s statt 64 (16x) oder 32 (8x) GB/s mit PCIe 5.0.
Und consumer PCIe ist auch weit weg von professionellen Interconnects wie NVLink.