Lokale KI ohne Grafikkarte

Das hängt vom Modell und vom Prompt ab.
Langer Prompt und kurzer Output => Prefill (Rechenleistung) wird relevanter.
Kurzer Prompt und langer Output => Speicherbandbreite wird relevanter.
Darum kann ein DGX Spark mit 270 GB/s Speicherbandbreite auch schneller sein als ein M5 Ultra mit 1200 GB/s - weil der Spark beim Prefill schneller ist als der M5 Ultra.

Großes Dense-Modell: Speicherbandbreite ist relevanter
Großes MoE-Modell: Speicherbandbreite ist weniger relevant als bei gleich großen Dense-Modellen

Ein 27 B MoE Modell, das pro Token nur 4 B Experten nutzt, ist schneller als ein 9 B Dense Modell, das pro Token 9 B Experten aus dem VRAM lädt..
 
  • Gefällt mir
Reaktionen: nutrix, AAS, rollmoped und 2 andere
  • Gefällt mir
Reaktionen: DiePalme
rollmoped schrieb:
Also so schlecht ist das doch gar nicht auf einer CPU! Selbst wenn man größere Modelle laufen lässt, die dann noch langsamer ausgeführt werden - man kann sie ja über Nacht als Agent laufen lassen und ihnen eine Aufgabe geben.
Hast du das schon mal gemacht? Ich tippe mal auf Nein.
Das Problem ist weniger die reine Geschwindigkeit, sondern dass Agenten iterativ arbeiten: Fehler, Kontextwachstum und sequenzielle Abhängigkeiten können dazu führen, dass sie auch nach einer ganzen Nacht kein brauchbares Ergebnis liefern.
Ergänzung ()

DiePalme schrieb:
Was schafft denn so eine Intel B50 (16GB), B60 (24GB) oder B65 (32GB) an Tokens. Weiß das jemand? Die sind preislich noch in einem brauchbaren Rahmen, wenn man die sonstigen Preise der GPUs ins Verhältnis setzt.
Kommt auf das Model an.
Bei meinen beiden B50 bin auf 15-20 T/s mit Gemma4 mit OpenVino Hetero Betrieb.
Ergänzung ()

TeeKayEV schrieb:
Das hängt vom Modell und vom Prompt ab.
Langer Prompt und kurzer Output => Prefill (Rechenleistung) wird relevanter.
Kurzer Prompt und langer Output => Speicherbandbreite wird relevanter.
Darum kann ein DGX Spark mit 270 GB/s Speicherbandbreite auch schneller sein als ein M5 Ultra mit 1200 GB/s - weil der Spark beim Prefill schneller ist als der M5 Ultra.

Großes Dense-Modell: Speicherbandbreite ist relevanter
Großes MoE-Modell: Speicherbandbreite ist weniger relevant als bei gleich großen Dense-Modellen

Ein 27 B MoE Modell, das pro Token nur 4 B Experten nutzt, ist schneller als ein 9 B Dense Modell, das pro Token 9 B Experten aus dem VRAM lädt..
💯
 
  • Gefällt mir
Reaktionen: nutrix und madmax2010
rollmoped schrieb:
Also so schlecht ist das doch gar nicht auf einer CPU!
Stell dir einen Goldfisch vor, dem sie immer nachsagen, dass er bei der nächsten Umrundung in seinem Goldfischglas alles wieder vergessen hat, wenn das Kontextfenster zu klein ist und die Kontextfensterkompression daher zu aggressiv arbeiten muss, passiert genau das. Er verliert nach 3 Schritten den Zusammenhang und es kommt Unfug raus oder potentiell Endlosschleife
 
  • Gefällt mir
Reaktionen: AAS
bart1983 schrieb:
Modelle mit 4b Parameter (Gemma4):
i5-8500 (6 Kerne/6Threads) 32Gib DDR4-RAM: 6 Token/s
i7-4770 (4Kerne/8Threads)/24GB DDR3-RAM: 4-5 Token/s
Ryzen Pro 2400GE (4Kerne/8Threads), 24GiB DDR4:: 5-6 Token/s
i5-3320M (2Kerne/4Threads)/ 8GB DDR3-RAM: 3-4 Token/s

Modell mit 0,6b (Qwen3)
RaspberryPi 3b+: 3-4 Token/s
Cool, danke fürs teilen!

Tornhoof schrieb:
Stell dir einen Goldfisch vor, dem sie immer nachsagen, dass er bei der nächsten Umrundung in seinem Goldfischglas alles wieder vergessen hat, wenn das Kontextfenster zu klein ist und die Kontextfensterkompression daher zu aggressiv arbeiten muss, passiert genau das. Er verliert nach 3 Schritten den Zusammenhang und es kommt Unfug raus oder potentiell Endlosschleife
Den merke ich mir! Sehr gute Verbildlichung.
 
  • Gefällt mir
Reaktionen: bart1983
Tornhoof schrieb:
Stell dir einen Goldfisch vor, dem sie immer nachsagen, dass er bei der nächsten Umrundung in seinem Goldfischglas alles wieder vergessen hat, wenn das Kontextfenster zu klein ist ...
aber das wird doch nur durch den ram (context size) begrenzt und nicht ob es auf cpu oder gpu läuft?

hab auch schon einige modelle mit einer 4080 getestet. die größeren modelle haben mit context dann aber nicht mehr vollständig in den gpu speicher gepasst und offloading war dann immer sehr langsam.
interessant sind vor allem die uncensored modelle, die wirklich alles bearbeiten.

jedoch ist qwen logischerweise lange nicht so smart wie die frontier modelle codex und claude.
qwen hatte sehr viel falsche annahmen getroffen, quasi halluziniert.
und das agentic tooling hatte bei mir auch erst mit dem modell vor nem monat funktioniert. davor gabs immer mal wieder fehler bei den toolcalls.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: rollmoped
DonnyDepp schrieb:
aber das wird doch nur durch den ram (context size) begrenzt und nicht ob es auf cpu oder gpu läuft?
Jein. Der RAM spielt da eine Rolle, aber wenn du jedesmal 1000 Tokens bei jeder Anfrage mitschicken musst im Kontext und die Verarbeitung nur 10t/s ist (und dein lokales System eher keine komplexen Cache Konzepte hat) dann wirst du versuchen den Kontext klein zu halten und dann hast das Goldfisch Problem. Viele der kleineren Modelle haben nur Fenstergrößen von 8k oder weniger und Agents gehen durch skills usw nicht gerade sorgsam damit um.
 
DonnyDepp schrieb:
aber das wird doch nur durch den ram (context size) begrenzt und nicht ob es auf cpu oder gpu läuft?
Korrekt. Aber mit den knapp 100 GB/s Speicherbandbreite, die ein Zen 4 hat, machen größere Kontexte wenig Sinn. 256k Kontext von z.B. Qwen 3.8 27B zu 70% gefüllt heißt etwa 3 Token/s. 64k Kontext mit 9B Parametern und zu 70% gefüllten Kontextfenster bringt etwa die doppelte Tokenanzahl in gleicher Zeit.

Mal abgesehen davon, dass das Erzeugen von 256k Token bei 3 Token/s einen kompletten Tag dauern würde, und das noch ohne die quälend lange Prefill-Zeit beim Rechnen auf der CPU. Mit wenig Speicherbandbreite und wenig GPU-Power sind kurze Prompts mit kleinen Modellen und kurzen Outputs geeignet.

Wie @Tornhoof schon sagte, ist agentische Arbeit relativ tokenintensiv. Bei Claude sind bei mir rund 98% der Token Cache reads, bei Hermes mit Qwen 3.8 Flash-Next 81%. Einerseits gut, weil das heißt, dass für 81-98% der Token das Prefill wegfällt. Andererseits frag ich mich schon, ob mehrere dutzend Milliarden Token wirklich nötig sind, nur weil Claude bei jedem Tool-Aufruf den kompletten Kontext der Session neu einliest.
 
98% ist wirklich gut, hängt auch am harness. Ich komme mit GitHub Copilot und egal welchem Modell selten über 90%
 
Ganz ehrlich, wenn du das schon hast, dann probiere es einfach aus. Man muss hier unterscheiden zwischen technisch lauffähig und Geschwindigkeit.

Technisch lauffähig ist vor allem abhängig von der Speichergröße. Das hat auch direkten Einfluss wie gut die KI ist die du nutzen kannst.

Die Geschwindigkeit hängt dann vom Speichertyp und der ausführenden Einheit ab.

Wenn du eine CPU mit 64GB RAM hast, dann worst du da schon ordentliche Modelle laufen lassen können, aber halt sehr langsam.

Daher mein Tipp:
Teste es aus, lerne dazu und dann merkst du was du brauchst und was sinnvoll ist zu kaufen.


Ich hatte angefangen mit N100 CPU und 8GB. Da hab ich festgestellt, dass es für meinen UseCase schlicht unbrauchbar ist. Dann hab ich auf den PC gewechselt mit 16GB RAM und auch das war zu wenig und zu langsam. Daher hab ich mir ne RTX4060TI mit 16GB VRAM geholt und gemerkt, dass es vieles kann, aber noch nicht ganz perfekt ist. Daher hab ich jetzt auf 64GB RAM aufgerüstet und gehe davon aus, dass mein UseCase jetzt funktioniert.

Die Hardware hab ich gebraucht gekauft und insgesamt so ca. 800€ Investiert.

Wenn ich gleich mit ner RTX5090 angefangen hätte, wäre das ein Vielfaches teurer gewesen
 
  • Gefällt mir
Reaktionen: rollmoped
Jeder kan recht schnell die ungefähre Token/s-Wert rechnerisch ermitteln.

Token/s = RAM-Brandbreite (in GiB/s) / Modellgröße im RAM (in GiB)


Ganz vergessen: Die Geschwindigkeit hängt neben der Anzahl der Parameter natürlich auch von der Grad der Quantifizierung ab.
Plump gesagt: Desto mehr Q, desto näher ist das Modell an der Komplexität des großen Modells 6 der Trainingsdaten & desto schlauer/komplexer Abfolgen kann es verstehen. Ein Q6 Modell ist also was Logik & Verständnis angeht besser als ein Q4-Modell. Aber die Geschwindigkeit bekommt dann aber einen heftigen Dämpfer.

Hier ein Vergleich von Gemma4:12b einmal in Q4 und dann in Q6.

Hier der Speed von Q4:
total duration: 51.074712453s
load duration: 1.211962ms
prompt eval count: 22 token(s)
prompt eval cached: 17 token(s)
prompt eval duration: 131.491999ms
prompt eval rate: 38.03 tokens/s
eval count: 1489 token(s)
eval duration: 50.908603s
eval rate: 29.25 tokens/s

Und die Antwort samt Thinking process:
Code:
>>> what is the meaning of life
Thinking...
"What is the meaning of life?"
Deeply philosophical, subjective, scientific, spiritual, and existential. There is no single "correct"
answer, so the response must reflect various perspectives.
Provide a comprehensive, balanced, and thought-provoking overview of the different ways humanity has tried
to answer this question.

    *   *Biological/Evolutionary:* Survival, reproduction, passing on genes.
    *   *Religious/Spiritual:* Serving a higher power, karma, enlightenment, afterlife.
    *   *Philosophical (Nihilism/Existentialism/Absurdism):* No inherent meaning, creating your own meaning,
embracing the absurdity.
    *   *Psychological/Humanistic:* Happiness, connection, contribution, self-actualization.
    *   *Pop Culture:* "42" (Douglas Adams).

    *   **Introduction:** Acknowledge the weight of the question. State that there is no single answer, but
many interpretations.

    *   **Perspective 1: Biological (The Scientific View)**
        *   *Key concept:* Evolution.
        *   *Explanation:* Survival of the species, replication, passing on DNA.
        *   *Analogy:* Life is a continuous chain of biological success.

    *   **Perspective 2: Philosophical (The Intellectual View)**
        *   *Nihilism:* Life has no intrinsic meaning. (Can be scary or liberating).
        *   *Existentialism:* "Existence precedes essence" (Sartre). We are born first, then we define who
we are. Meaning is a DIY project.
        *   *Absurdism:* (Camus). The search for meaning in a meaningless universe. We should enjoy the
"absurdity" of it (Sisyphus).

    *   **Perspective 3: Religious/Spiritual (The Transcendental View)**
        *   *Theism:* Serving God, fulfilling a divine plan.
        *   *Eastern Philosophy:* Dharma (duty), Nirvana (liberation), Karma (cause and effect).
        *   *Unity:* Realizing our connection to the universe/cosmos.

    *   **Perspective 4: Psychological/Humanistic (The Practical View)**
        *   *Ikigai:* Japanese concept (reason for being).
        *   *Connection:* Loving others, building community.
        *   *Contribution:* Leaving a legacy, helping others.
        *   *Experience:* Simply *being*—tasting food, seeing a sunset, feeling emotions.

    *   **The Pop Culture Reference (The "Joke" answer):**
        *   Mention "42" from *The Hitchhiker's Guide to the Galaxy*. It highlights that even if we had the
answer, we might not understand the question.

    *   **Synthesis/Conclusion:**
        *   The "Meaning of Life" is often a *verb*, not a *noun*. It's something you *do*, not something
you *find*.
        *   Closing thought: The meaning of life is to give life meaning.

    *   *Tone Check:* Is it too dry? (Add some warmth). Is it too preachy? (Keep it neutral).
    *   *Formatting:* Use bolding and bullet points to make it readable.
...done thinking.

The question "What is the meaning of life?" is perhaps the oldest and deepest question in human history.
Because there is no single, objective answer, humanity has developed several different ways to answer it,
depending on the lens through which you view the world:

### 1. The Biological Perspective: Survival
From a purely scientific and evolutionary standpoint, the "meaning" of life is **continuation**.
*   **Survival and Reproduction:** Life exists to persist. Every living organism is the result of billions
of years of successful survival.
*   **Evolution:** We are biological vessels designed to pass on genetic information to the next generation,
ensuring that the flame of life doesn't go out.

### 2. The Philosophical Perspectives
Different schools of thought offer different ways to interpret our existence:
*   **Nihilism:** The belief that life has no intrinsic meaning or value. While this sounds bleak, many find
"Optimistic Nihilism" liberating: If nothing matters on a cosmic scale, you are free from pressure and can
enjoy your life however you choose.
*   **Existentialism:** Jean-Paul Sartre and others argued that *"Existence precedes essence."* This means
you are born first, and you have no "built-in" purpose. Therefore, you are free (and responsible) to
**create your own meaning** through your choices, actions, and passions.
*   **Absurdism:** Albert Camus argued that humans have an innate drive to find meaning, but the universe is
coldly indifferent and meaningless. He suggested we should accept this "absurdity" and live defiantly and
happily anyway—like Sisyphus pushing his boulder.

### 3. The Religious & Spiritual Perspective
For billions of people, meaning is found in a connection to something greater than the self:
*   **Theistic Religions:** Meaning is found in knowing, loving, and serving a Creator, fulfilling a divine
plan, and preparing for an existence beyond this life.
*   **Eastern Philosophies:** In traditions like Buddhism or Hinduism, meaning might be found in achieving
enlightenment, fulfilling one’s *Dharma* (duty), or breaking the cycle of suffering and rebirth to reach a
state of peace (*Nirvana*).

### 4. The Psychological & Humanistic Perspective
Modern psychology often looks at what makes life *feel* meaningful to us personally. This often involves:
*   **Connection:** Loving others, building community, and experiencing deep relationships.
*   **Contribution:** Leaving a legacy, helping others, or creating something (art, a business, a family)
that outlasts you.
*   **Ikigai:** A Japanese concept that refers to your "reason for being." It is the intersection of:
    *   What you love.
    *   What you are good at.
    *   What the world needs.
    *   What you can be paid for.

### 5. The Pop Culture Answer
According to Douglas Adams in *The Hitchhiker's Guide to the Galaxy*, the answer to the Ultimate Question of
Life, the Universe, and Everything is **42**. The joke is that while we have the answer, we don't actually
know what the *question* is.

---

### Summary: The "DIY" Answer
Most modern thinkers agree on one thing: **The meaning of life is not something you *find*; it is something
you *create*.**

Meaning is a verb, not a noun. It is found in the cup of coffee you enjoy this morning, the work you do that
helps someone else, the way you love your friends, and the way you choose to spend your time.

**The meaning of life is whatever prevents you from despair and makes you want to wake up tomorrow.**

Und das ist der Speed von Q6:

total duration: 2m43.189556885s
load duration: 788.619µs
prompt eval count: 23 token(s)
prompt eval cached: 18 token(s)
prompt eval duration: 237.25ms
prompt eval rate: 21.07 tokens/s
eval count: 1477 token(s)
eval duration: 2m42.728162s
eval rate: 9.08 tokens/s

Samt Thinking & Antwort:
Code:
Thinking...
"What is the meaning of life?"
Philosophical, subjective, open-ended, and deeply personal. There is no single "correct" factual answer
(like "42" from *Hitchhiker's Guide*).
Provide a comprehensive overview of different perspectives (philosophical, biological, religious,
personal/existential).

    To give a satisfying answer, I should categorize the different ways humans have tried to answer this:
    *   Biological/Evolutionary (The "Survival" view)
    *   Religious/Spiritual (The "Divine" view)
    *   Philosophical (The "Thinking" view - Nihilism, Existentialism, Stoicism)
    *   Personal/Subjective (The "Experience" view)
    *   The "Pop Culture" nod (The "42" reference)

        *   *Core idea:* Propagation of genes.
        *   *Keywords:* Survival, reproduction, evolution, passing on DNA.
        *   *Concept:* We are the vehicle for life to continue.

        *   *Core idea:* Serving a higher power or attaining a state of being.
        *   *Christianity/Islam/Judaism:* Serving God, fulfilling a divine plan, preparing for the
afterlife.
        *   *Eastern Religions (Hinduism/Buddhism):* Dharma, Karma, Nirvana, breaking the cycle of
rebirth.
        *   *Keywords:* Purpose, devotion, enlightenment.

        *   *Nihilism:* Life has no intrinsic meaning. (Can be scary or liberating).
        *   *Existentialism:* Life has no *inherent* meaning, so you must *create* it. (Sartre, Camus).
"Existence precedes essence."
        *   *Absurdism:* The conflict between searching for meaning and the silent universe. Embrace the
absurdity. (Sisyphus).
        *   *Stoicism:* Living in accordance with virtue and reason.

        *   *Core idea:* Meaning is what *you* decide it is.
        *   *Examples:* Relationships, art, helping others, learning, pleasure (Hedonism), legacy.
        *   *Keywords:* Connection, contribution, joy, growth.

        *   Mention Douglas Adams briefly as a lighthearted acknowledgment of the question's enormity.

    *   *Tone:* Empathetic, balanced, and thought-provoking.
    *   *Structure:* Use bullet points for readability.
    *   *Closing:* A summarizing thought that empowers the user.

    *   *Initial thought:* Should I pick one? *Correction:* No, that's biased. The value of the question is
in the diversity of answers.
    *   *Addition:* Make sure to mention "Ikigai" as it's a popular modern framework for personal meaning.
...done thinking.

Because there is no single, scientifically proven answer to this question, humanity has developed several
different frameworks to explain why we are here. The "meaning" of life usually depends on which lens you
choose to look through:

### 1. The Biological Perspective: Survival
From a purely evolutionary standpoint, the "meaning" of life is simple: **to continue life.**
*   **Propagation:** Passing on your genetic information to the next generation.
*   **Evolution:** Adapting and ensuring that the species survives in an ever-changing environment.
*   **Complexity:** Some scientists argue that life is the universe's way of organizing matter into
increasingly complex systems to process energy.

### 2. The Religious & Spiritual Perspective: Divine Purpose
For billions of people, meaning is provided by a higher power or a cosmic order.
*   **Theistic Religions:** Meaning is found in serving God, following divine laws, and preparing for an
existence beyond this life.
*   **Eastern Philosophies:** In traditions like Hinduism and Buddhism, meaning may involve fulfilling your
*Dharma* (duty), learning karmic lessons, and eventually reaching a state of enlightenment or liberation
(*Nirvana*) from the cycle of rebirth.
*   **Connection:** Many spiritual paths suggest that meaning is found in connecting with the "oneness" of
the universe.

### 3. The Philosophical Perspectives: Logic and Ethics
Philosophers have debated this for millennia, resulting in several major schools of thought:
*   **Nihilism:** The belief that life has no intrinsic meaning or value. While this sounds bleak, many find
"Optimistic Nihilism" liberating: if nothing matters on a cosmic scale, you are free to enjoy your life
without the pressure of a "destiny."
*   **Existentialism:** Popularized by thinkers like Jean-Paul Sartre, this view argues that "existence
precedes essence." You are born first, and your "meaning" comes later. You are the architect of your own
purpose; you must choose who you are and what matters.
*   **Absurdism:** Albert Camus argued that humans have an innate drive to find meaning, but the universe is
coldly indifferent. The "meaning" of life is to accept this absurdity and live defiantly and passionately
anyway (like Sisyphus pushing his boulder).
*   **Stoicism:** Meaning is found in living virtuously, acting with reason, and focusing only on what you
can control—your own character and actions.

### 4. The Psychological Perspective: Fulfillment
Modern psychology often looks at what makes life *feel* meaningful to the individual. Research suggests
humans feel a sense of meaning when they experience:
*   **Coherence:** Feeling that life "makes sense."
*   **Purpose:** Having long-term goals and a sense of direction.
*   **Significance:** Feeling that your actions matter to others.
*   **Ikigai:** A Japanese concept meaning "a reason for being." It is the intersection of: *What you love,
what you are good at, what the world needs, and what you can be paid for.*

### 5. The "Pop Culture" Answer
In Douglas Adams' *The Hitchhiker's Guide to the Galaxy*, the answer to the Ultimate Question of Life, the
Universe, and Everything is famously **42**. The joke is that while we may have the answer, we don't
actually know what the *question* is.

***

### Summary: How to find your own meaning
If you are looking for your own answer, most modern thinkers agree that meaning isn't something you
**find**—it’s something you **create**. You create meaning through:
1.  **Connection:** Loving and being loved by others.
2.  **Contribution:** Creating art, solving problems, or helping people.
3.  **Curiosity:** Learning, exploring, and experiencing the beauty of the world.
4.  **Presence:** Simply experiencing the "now"—the taste of food, the feeling of wind, the spark of a
conversation.

**The meaning of life is whatever you decide prevents you from wanting to give up on it.**

Gleiche Parameter, deutlich unterschiedlicher Speed (wegen Offloading). Auch das sollte man bedenken.

Und dann gibt es noch Dense (bei diesen Modellen wird jeder Token durch die Gesamtheit der Parameter gejagt) und MoE-Modelle (Die Token werden nur durch ein Bruchteil der Gesamttokej gejagt).
 
Zuletzt bearbeitet:
Frage an Copilot:
Lokale Comfy Desktop KIIntel Ultra 265K mit 64GB Ram oder mit 128GB Ram
Zeige den Unterschied in einer Tabelle wie lange eine lokale KI Bild Generierung in der Auflösung 1024 Pixel benötigt bei folgenden Grafikkarten:

  • RTX 5090
  • RTX 5080
  • RTX 5070 Ti
  • RTX 5070
  • RTX 5060 Ti
  • RTX 5060
  • RTX 5050


  • RX 9070 XT
  • RX 9070
  • RX 9070 GRE
  • RX 9060 XT
  • RX 9060
  • RX 9050


  • Arc B580
  • Arc B570

Für ComfyUI mit SDXL/Flux-dev ähnlichen Modellen, 1024×1024 Auflösung, Batchgröße 1 und einem typischen Workflow (20-30 Steps) ist hauptsächlich die Grafikkarte entscheidend. Der Unterschied zwischen 64 GB und 128 GB RAM ist für die reine Bildgenerierung meist gering. 64 GB reichen für SDXL, Flux und größere ComfyUI-Workflows normalerweise aus. 128 GB werden erst bei sehr großen lokalen LLMs, Video-KI oder extrem komplexen Workflows interessant.

Geschätzte ComfyUI-Bildgenerierung (1 Bild, 1024×1024)​

GrafikkarteVRAMZeit pro Bild
RTX 509032 GB3-5 Sek.
RTX 508016 GB6-8 Sek.
RTX 5070 Ti16 GB8-10 Sek.
RTX 507012 GB10-13 Sek.
RTX 5060 Ti 16GB16 GB12-16 Sek.
RTX 50608 GB18-25 Sek.
RTX 50508 GB25-40 Sek.
RX 9070 XT16 GB11-15 Sek.
RX 907016 GB13-18 Sek.
RX 9070 GRE12-16 GB15-22 Sek.
RX 9060 XT 16GB16 GB18-25 Sek.
RX 90608-12 GB25-35 Sek.
RX 90508 GB35-60 Sek.
Arc B58012 GB22-35 Sek.
Arc B57010 GB30-50 Sek.
 
  • Gefällt mir
Reaktionen: rollmoped
Genauer gesagt ist vor allem die Rechenleistung des Grafikchips entscheidend, nicht die Bandbreite, mit der der VRAM angebunden ist.
 
@TeeKayEV Aber die Größenordnung ist schon entscheidend? Ich lese zumindest hier heraus, dass man mit den Bandbreiten von RAM-Modulen nichts reißen kann, egal was für eine CPU man in den Rechner baut. Zwischen den praktischen 60 GB/s bei DDR5 und GDDR7 bei Mittelklasse-GPUs liegt ja auch ca. Faktor 15.

Habe einen 9700X mit 64 GB und iGPU sowie einen 9800X3D mit 5070 TI und 32 GB. Dann müsste ich wohl aus beiden Rechnern einen kombinieren für lokale KI..
Einziges günstiges Upgrade wäre der Tausch des 9700X gegen einen 9950X.
 
Bei der Bildgenerierung ist Rechenleistung der GPU wichtiger als die Speicherbandbreite. Dein 9700X hat keine leistungsstarke GPU, daher wird er unabhängig von der Aufgabe sehr langsam sein.

Du solltest mindestens weitere 32 GB zum 9800X3D stecken und Strata installieren für Text-LLM. Für Bildgenerierung kannst du den Rechner auch mit 32 GB RAM verwenden. Oder du lässt alles, wie es ist, und begnügst dich beim 9800X3D auf kleine Modelle, die in den VRAM der 5070 Ti passen.
 
  • Gefällt mir
Reaktionen: RMS_der_Zweite
TeeKayEV schrieb:
Strata installieren für Text-LLM.
Macht Strata irgendetwas anderes als Ollama wenn der VRAM voll läuft? Ollama lagert dann ja auch teile des LLM in den RAM aus.
 
Ja, gänzlich andere Funktionsweise. Stratas Entwickler hat dazu eine gut verständliche Kurzerklärung und eine Langerklärung geschrieben. Es ist explizit nicht stumpfes Auslagern irgendwelcher zufälliger Teile eines Modells in den RAM. Wäre das so, dann läge die Performance auf dem niedrigen Niveau von Ollama mit Auslagerung in den RAM. Stattdessen reicht die Performance mit Strata schon mit 24 GB VRAM bis auf wenige Prozentpunkte an die Performance von Systemen heran, bei denen das komplette Modell von 120 GB (Q4) im VRAM liegt.
 
  • Gefällt mir
Reaktionen: rollmoped
Zurück
Oben