Anfängerfrage: Deepseek - welche Modelle?

[Pummeluff]

Guten Mittag,

ich hab gestern mal auf meinem Rechner (Ryzen 7900xtx, 64GB RAM, Radeon 7900xtx/24GB VRAM) Ollama und Open-Webui installiert. Ollama hab ich mit ROCm und Unterstützung für meine Graka (1100) installiert.

Über Ollama hab ich dann bisher die folgenden Modelle probiert:

• deepseek-r1:14b: VRAM-Auslastung 12GB: fühlte sich schnell an.
• deepseek-r1:32b: VRAM-Auslastung bei 22GB: war schon merklich langsamer.
• rjmalagon/virtuoso-v2:32b-bf16: Eigentlich wollte ich eine 32b-Variante von Deepseek V3. Allerdings meldete sich bei diesem Modell Claude/Anthropic. Und irgendwie wurde zwar der VRAM der Graka voll ausgelastet. Aber auch die CPU wurde hier stark beansprucht. Weiß noch nicht, wie ich das deuten soll. Hätte eigentlich gedacht, dass alles auf der Graka berechnet werden soll. Das Modell war auch extrem langsam im Vergleich zu den anderen.

Was will ich eigentlich:
1 Modell zum Coden:
Dabei bin ich auf Deepseek-Coder gestoßen. Da steht aber noch ein "Mit DeepSeek-V3 wahrscheinlich in Vorbereitung" dabei. Also geh ich mal davon aus, dass das noch V2 ist. Hatte bei meinen bisherigen Recherchen eher herausgelesen, dass R1 der Nachfolger von V3 ist und analytischer vorgehen soll.

1 Modell für allgemeine Sachen:
Da hat mir Deepseek (online) Deepseek V3 vorgeschlagen. Nur hab ich da nur das 671B-Model gefunden, was wohl für meine Spec etwas zu groß sein dürfte. Als ich nach einer kleineren Variante gesucht hatte, bin ich bei Virtuoso geladen, was im Endeffekt Claude war. Claude nutz ich online sehr gern. Auf meiner Kiste war das aber quälend langsam.

Wie blick ich jetzt bei den ganzen Modellen durch? Bisher hab ich nur die Erkenntnis gewonnen, dass für meinen Rechner wohl ein 32B-Model am besten geeignet wäre.

 

[JumpingCat]

Wenn teile vom Modell nicht mehr in den RAM der GPU passen, dann landet dieser Layer auf der CPU ibs und dem normalen RAM.

Modell musst du halt gucken was gut in deiner Programmiersprache ist, schnell läuft und ein entsprechendes Kontextfenster hast.

 

[oicfar]

Über Ollama hab ich dann bisher die folgenden Modelle probiert:

• deepseek-r1:14b: VRAM-Auslastung 12GB: fühlte sich schnell an.

definiere: "fühlt sich schnell an."

• deepseek-r1:32b: VRAM-Auslastung bei 22GB: war schon merklich langsamer.

definiere: "war schon merklich langsamer."

Ausmeiner sicht sind die -r Modelle die Falschen für's coding.

Ich wollte mir demnächst

• https://ollama.com/library/devstral

anschauen.
Ansonsten abhängig vom Use-Case habe ich gute Erfahrungen mit:

• https://ollama.com/library/deepseek-coder-v2
• https://ollama.com/library/phi4
• https://ollama.com/library/qwen3 -> ein wenig langsam
• https://ollama.com/library/gemma3

gemacht.

Man sollte sich paar anschauen und gucken, welches für einen für das was man macht, am Besten passt. In der Open-WebUI hast du den Vorteil, dass du den gleichen Prompt gleichzeitig an mehrere LLMs schicken kannst. So kannst du die Ergebnisse vergleichen. Kostet am Anfang halt mehr Zeit.

 

[Ayo34]

Schaue dir unbedingt DeepSeek-R1-0528 an, ist erst vor ein paar Tagen erschienen:
https://huggingface.co/deepseek-ai/DeepSeek-R1-0528

Scheint mit Gemini 2.5 Pro trainiert worden zu sein und erzielt Topwerte. Auf dem eigenen PC kann man dann z.B. DeepSeek-R1-0528-Qwen3-8B verwenden mit ~20GB VRAM.

 

[konkretor]

Open-WebUI hat ganz am Ende die Ausgabe wie viele Token du pro Sekunde bekommen hast. Mit der Maus drüber fahren, dann wirds angezeigt, sind etwas klein die Symbole


Ollama bietet ja hier eine schöne Übersicht
https://ollama.com/search?o=newest

 

[Pummeluff]

Schaue dir unbedingt DeepSeek-R1-0528 an, ist erst vor ein paar Tagen erschienen:
https://huggingface.co/deepseek-ai/DeepSeek-R1-0528

Scheint mit Gemini 2.5 Pro trainiert worden zu sein und erzielt Topwerte. Auf dem eigenen PC kann man dann z.B. DeepSeek-R1-0528-Qwen3-8B verwenden mit ~20GB VRAM.

Ich hab jetzt ewig gesucht, wie ich das installier. Dann bin ich drauf gestoßen:
https://ollama.com/library/deepseek-r1:8b-0528-qwen3-fp16
und hab gemerkt, dass das ja das ganz normale Deepseek R1 ist, was ich schon als 14b- und 20b-Model hab.

Ich wollte mir demnächst

• https://ollama.com/library/devstral

Bin grad dabei, das zu installieren.