• ComputerBase erhält eine Provision für Käufe über eBay-Links.

DDR 4 RAM für LLM aufrüsten - Kopie eines Jahre alten Kits suchen oder mischen?

VK5211

Cadet 3rd Year
Registriert
Nov. 2020
Beiträge
38
Hallo liebe Community,

ich habe momentan 32 GB DDR4 RAM mit 3200 MHZ (Crucial Ballistix, 2x 16 GB) verbaut. Aufgrund von lokalen LLM Anwendungen möchte ich auf 64 GB ausrüsten, auf einem B450 MSI Gaming Plus Board. Meinen speziellen RAM gibt es neu nicht mehr zu kaufen. Gebraucht gibt es diesen von diversen chinesischen Anbietern, aber alle schreiben, dass die Geschwindigkeiten gelockt sind und man diese daher nicht anpassen kann. Nicht nur, dass ich Zoll bezahlen müsste, sondern ich glaube auch, dass es sich dabei durchaus um Fälschungen handeln kann. Hier mal ein Beispiellink:

Ebay

Kann ich einfach ein anderes (neues) Kit mit der selben Taktung kaufen und in mein Board einbauen (Aegis etc.)? Ich weiß noch, dass früher immer davon abgeraten wurde. Ich will aber kein Vermögen für einen Plattformwechsel ausgeben und mich langsam rantasten.

Danke euch!
 
kann problemlos laufen, kann u.U. aber auch Probleme machen.

Aber ich würde sagen dass es zu 95% problemlos laufen wird.

Wichtig , das musst du wissen: bei 4fach Bestückung XMP etc abschalten!
 
  • Gefällt mir
Reaktionen: VK5211 und Tornhoof
Mischen, bei Vollbestückung musst du eh Abstriche beim Timing, Takt in Kauf nehmen (XMP aus), wie schon @MadDog schrieb.
 
  • Gefällt mir
Reaktionen: VK5211 und kartoffelpü
4 Riegel können gut gehen, müssen sie aber nicht. Wenn die Taktung und die CL-Werte identisch ist, dann wird das wohl laufen (3200 MT/s + CL16 sind ja nicht so wild, vor allem wenn es ein Ryzen 5xxx ist).

Nebenbei bemerkt wird es wenig Spaß machen, eine LLM im RAM des Rechners laufen zu lassen, der ist ggü. dem VRAM einer Grafikkarte quälend langsam, aber das musst du wissen.
Der RAM sollte - da er sowieso der Flaschenhals ist - so schnell wie möglich sein, 3200 CL16 zählt da wahrlich nicht dazu.

Dazu empfehle ich mal das aktuelle c't 3003-Video zum Thema "der Stand von lokaler KI"".
 
  • Gefällt mir
Reaktionen: VK5211
relevanter als das Board ist die CPU, da der Speicherkontroller in ihr sitzt.
Ich würde mich zumindest schon mal drauf einstellen, dass du dein Sys dann eventuell nicht mehr mit 3200 betreiben kannst. Je nach Ryzen-Gen unterscheidet sich das etwas.
 
  • Gefällt mir
Reaktionen: VK5211
Danke euch schon mal! Momentan sitzt noch ein Ryzen 3600er drin, habe aber eine 5700X CPU schon hier rumliegen. BIOS Update und dann gib ihm. Hab ich da die Chance trotzdem mit XMP zu betreiben? Eine höhere Taktung wäre natürlich von Vorteil, vor allem bei lokalen LLM.

@prian

Mit der STRATA Engine kann man niedrige Quants von bspw. Qwen 3.8 Flash Next wie im Video auch in den RAM auslagern, da MoE und daher durchaus brauchbar. Klar, es ist halt DDR 4. Aber ich weiß nicht, wie sehr das reinhaut.
 
Zuletzt bearbeitet:
Auch Zen 3 mag keine Vollbestückung und reagiert da extrem allergisch. AMD gibt folgendes für einen 5700X an:

4x1R DDR4-2933
4x2R DDR4-2667

Also ich würde nicht darauf setzen, dass bei Vollbestückung 3200 funktioniert. Zumal bei 16 GB die Wahrscheinlichkeit von Dual-Rank doch recht hoch ist.

Das "Mischen" sollte dagegen das kleinere Problem sein.

"Idealer" wäre ein 64 GB Kit mit 2x32 GB und dafür den alten RAM zu verkaufen.
 
  • Gefällt mir
Reaktionen: VK5211
Solche Crucial Ballistix waren über Monate, wenn nicht gar Jahre die absolute Standardempfehlung.
Für Brot und Butter, aber ebenso für Übertakter.

Die gibt es entsprechend nicht nur in China. Ja, gebraucht ist halt notwendig.

Selbst Vollbestückung mit Übertaktung war in erschöpfend vielen Fällen keinerlei Problem.
Was wiederum keinen Anspruch auf einen Erfolg ableiten lässt.

Hier ist ein flüchtiger Filter:
https://www.kleinanzeigen.de/s-preis::220/crucial-ballistix-32gb/k0


VK5211 schrieb:
Kann ich einfach ein anderes (neues) Kit mit der selben Taktung kaufen und in mein Board einbauen (Aegis etc.)?
Aegis ist das krasse Gegenteil dazu und ist, im direkten Vergleich, "ständig" negativ aufgefallen.
Bitte entsprechend die Finger weg!
 
  • Gefällt mir
Reaktionen: GOOFY71, ruthi91, VK5211 und eine weitere Person
Ich misch auf meinem TR-3960 im Quad Channel 32GB und 16GB Module, (je 4 Stück, in den passenden Channels).
 
  • Gefällt mir
Reaktionen: VK5211
Hi Vk5211,
ich hab Strata mit QWEN 3.8 Next Flash (128B) am laufen, aber welche Graka hast du?
Ich hab nen 96GB DDR5 mit 7900XTX 24GB vRam.

unter 16 GB vRam wird der QWEN 3.8 glaub garnicht laufen.

Bei mir ist das verhältnis ungefähr so: 23 von 24GB VRam sind belegt + 55GB im DDR5 Ram. Resultat sind 65-80 t/s bei einem 200k Kontextfenster.

Initalload des Modells auf einer NvMe 3.0 PCIe = ca. 1 Minute, auf NvMe 5.0 = ca 8 Sek.


schau mal hier: https://www.computerbase.de/forum/t...l-was-ihr-lokal-laufen-gelassen-habt.2279986/
dort haben ein paar verrückte ihre Erfahrungen mitgeteilt.
 
  • Gefällt mir
Reaktionen: VK5211
@Zwirbelkatz

Jo den FIlter hatte ich drin. Es gibt genau ein (sogar noch versiegeltes) 32 GB Set für 200 Euro. Der Markt ist echt mau. Bei den Chinesen hab ich endlos Angebote, aber mit Importgebühr und Zollabfertigung lande ich auch sicherlich bei über 200 Euro und hab weniger Scamgefahr durch den Privatmann. Sagen wir, ich will neu kaufen, welche Empfehlung sprichst du dann aus für stabile Raten?

@Bliird

Das hier habe ich gerade am Laufen und das läuft schon Recht gut. Das ist meines Wissens nach das Maximum was auf meiner 9060 XT 16GB produktiv läuft. Auf eine R9700 auszuweichen habe ich verworfen, da einfach unbezahlbar. Und MoE läuft ja auch gut auf RAM, daher wäre das jetzt der nächste logische Schritt. Bisher kann ich nur die Gyro Modelle von STRATA laufen lassen, aber die sind nicht das Wahre. Wie schätzt du den Einfluss von DDR 4 auf mein Vorhaben ein?
 
Ich würde ein 32 GB Kit von einem seriösen Händler (oder Amazon ;) ) dazu kaufen und testen. Wenn Du gar nicht glücklich wirst, kannst Du ja einen anderen Versuch machen. Bei einem Chinahändler kaufen wäre mir zu riskant, auch bzgl Rückgabe bei Problemen.

Performance bzw. Takt ist natürlich ein Glücksspiel. Neues BIOS drauf und dann suchst Du den Sweetspot ohne zu sehr die Spannung zu heben, ggf. den Luftstrom optimieren. Das letzte was man aktuell braucht, ist RAM, der den Geist aufgibt.
 
  • Gefällt mir
Reaktionen: iSight2TheBlind
Für Strata ist folgendes SEHR wichtig:

  • Min. 64GB Ram und möglichst schnell.
  • Potente Grafikkarte mit min. 12GB VRAM (besser 16+).

Alle Desktop Plattformen mit DDR4 und Dual-Channel werden eine eher ernüchternde Performance liefern.
Aber für Experimente wird es reichen.

Beachte, mit 4 DIMMs kann es zu Stabilitätsproblemen oder verringertem Takt kommen.
Da sollte man ein bisschen Zeit ins "sich heran tasten" investieren.

Zum Vergleich:
Strata auf einer CPU der i5/i7 8th gen Ärä (konkret ein Xeon E2146G) und einer RX 7900 XTX dümpelt bei >40 Token/s rum für Qwe3.8 125B.

Der Prefill kommt kaum auf >700 Token/s obschon er hauptsächlich von der GPU-Compute Power abhängig sein sollte.

Der RAM hat dort >45GB/s Bandbreite (DDR4 2666MHZ) - das ist schon eine Bremse.
Zudem kann die CPU kein AVX512 (sowie ebenfalls alle Ryzen 1-3 CPUs).
 
Macht ihm das jetzt nicht madig. Strata wird auf jeden Fall schneller laufen als ein ähnlich großes Modell ohne Strata. Und es wird für so ein großes Modell auch auf einer 12 GB Karte noch überraschend schnell sein. Wenn man es dann als Hintergrunddienst für Hermes o.ä. nutzt, ist es auch egal, ob da nun 20 oder 40 oder 140 Token/s rauskommen, weil das eh stundenlang im Hintergrund arbeiten kann.
 
@TeeKayEV Madig machen möchte ich niemandem was. Man kann aber vieles gut oder schlecht machen.
Klug investieren wäre wohl ein Stichwort. :daumen:
 
VK5211 schrieb:
Aber ich weiß nicht, wie sehr das reinhaut.
Direkt proportional, da die RAM-Bandbreite bei CPU-Inferenz so gut wie immer der Flaschenhals ist. Sprich: 2133 MT/s bei Vollbestückung wäre ein knappes Drittel langsamer als 3200 MT/s bei den Tokens pro Sekunde. Davon abgesehen macht CPU-Inferenz nur Spaß bei kleinen, spezialisierten Modellen. Ansonsten eher sinnlose Spielerei.
 
Zuletzt bearbeitet:
Dass vier Riegel problemlos laufen können sehe ich bei meinem Rechner.
4x 16GB G.Skill Trident Z 3200@3333 MT/s CL14 (Samsung B-Die) verrichten seit vielen Jahre ihren Dienst ohne Auffälligkeiten. Somit muss der TE es einfach probieren, aber ich vermute dass das kein Spaß werden wird in Summe.
 
prian schrieb:
4 Riegel können gut gehen, müssen sie aber nicht. Wenn die Taktung und die CL-Werte identisch ist, dann wird das wohl laufen (3200 MT/s + CL16 sind ja nicht so wild, vor allem wenn es ein Ryzen 5xxx ist).

Nebenbei bemerkt wird es wenig Spaß machen, eine LLM im RAM des Rechners laufen zu lassen, der ist ggü. dem VRAM einer Grafikkarte quälend langsam, aber das musst du wissen.
Der RAM sollte - da er sowieso der Flaschenhals ist - so schnell wie möglich sein, 3200 CL16 zählt da wahrlich nicht dazu.

Dazu empfehle ich mal das aktuelle c't 3003-Video zum Thema "der Stand von lokaler KI"".
Hi Prian,

so ganz stimmt diese Aussage nicht. Bei LLMs gilt so gut wie fast immer: "Kapazität schlägt Geschwindigkeit".

Wenn ein Modell nicht vollständig in den RAM/VRAM passt, läuft es entweder überhaupt nicht oder wird durch das Auslagern auf die Festplatte (SSD) extrem verlangsamt. Mit 64 GB RAM kann man leistungsfähigere 34B- oder 70B-Modelle (in quantisierten Versionen wie Q4_K_M) lokal ausführen. Mit 32 GB ist man meist auf 8B- bis 14B-Modelle beschränkt.

Ein weiterer "Nachteil" von weniger RAM/VRAM ist ein kleineres Kontextfenster, d.h. bei längeren Chats geht früher der Speicher aus, was das Ganze wiederum sehr zäh werden lässt.

Einzig wenn man ausschließlich kleine Modelle (wie Llama 3 8B oder Mistral 7B) nutzen möchte, macht sich die höhere Bandbreite des schnelleren RAM bemerkbar, in der Form dass Texte schneller ausgegeben werden, da mehr Tokens pro Sekunde geniert werden können.

Beste Grüße
 
Helping_Hand schrieb:
Mit 64 GB RAM kann man leistungsfähigere 34B- oder 70B-Modelle (in quantisierten Versionen wie Q4_K_M) lokal ausführen. Mit 32 GB ist man meist auf 8B- bis 14B-Modelle beschränkt.
Hast Du schon einmal ein derartig großes Modell auf einer mittelprächtigen Consumer-CPU ausgeführt? Praxistauglich ist daran nichts...

Natürlich sollte dein Modell in den RAM/VRAM passen, das war hier aber gar nicht das Thema. Es geht darum ob es sich in seinem Fall lohnt auf 64 GB zu gehen, die damit einhergehenden Nachteile werden gerade diskutiert und sollen den Threadersteller helfen eine vernünftige Entscheidung zu treffen.
 
prian schrieb:
Dass vier Riegel problemlos laufen können sehe ich bei meinem Rechner.

Rein anekdotisch, wie auch mein PC, der meiner Frau, der eines Freundes …
 

Ähnliche Themen

Sapphire Forum
Zurück
Oben