Maschine für lokales Inferencing: Bau System um 2x 3090 herum

[thatsme]

Hallo zusammen,

nachdem ich hier bereits fantastische Unterstützung zu meiner Workstation bekommen hatte, bitte ich erneut um eure Hilfe bei einem etwas anderen Projekt:

Ich habe Zugriff auf 2 RTX 3090 (Founder Edition) und möchte diese als Grundstock verwenden um mir einen Rechner für lokale LLM zu bauen. Dabei geht es mir ums Inferencing, Training kann zwar vielleicht eines Tages mal dazukommen, wird aber auf absehbare Zeit kein Thema sein.

Ich habe mich bereits ein wenig eingelesen, bin jedoch was die Auswahl der Komponenten angeht ziemlich blank.

• Das Mainboard soll idealerweise die GPUs mit x8/x8 auf zwei PCI Slots unterstützen
• Ich würde mir noch eine NVLink kaufen. Ich habe gelesen, dass einige Benutzer Probleme hatten, die Verbindung zu aktivieren, da Boards (z.B. mit Z790) die Verbindung nicht mehr unterstützen. Das Board sollte das natürlich können
• Was die Komponenten angeht, so ist mir der Hersteller egal. Auch auf das Aussehen der Maschine (beleuchtete Lüfter und was-weiß-ich) lege ich keinen Wert
• Die GPUs haben bereits Kühlkörper für eine Wasserkühlung montiert, ich würde gerne im Rechner eine solche einbauen. Das Gehäuse muss das natürlich ermöglichen.
• Die Maschine wird dann remote übers LAN gesteuert, d.h. Monitor ist nicht erforderlich

Was das Budget angeht, so habe ich mir bislang keinen Rahmen gesetzt. Es soll so preiswert wie möglich sein unter den Voraussetzungen, dass die Maschine gut läuft.

Ich habe schon mehrere Computer selbst zusammengebaut, scheue mich also davor nicht. Mit Wasserkühlungen habe ich allerdings keine Erfahrung, da wäre ich um extra Input dankbar.

Vielen, vielen Dank vorab für eure Hilfe!

 

[konkretor]

Wie wäre es mit einem gebrauchten AMD Epyc Bundle? Da hast du genug PCIe Lanes die mit 16x angefahren werden können. Es gibt immer wieder Bundles mit unterschiedlichen Board Konfigurationen. Da muss man selbst etwas suchen.


https://www.ebay.de/itm/286660749244

1x AMD EPYC 7551
1x Supermicro H11SSL-i motherboard
8x samsung 32GB 2133MHz RAM DDR4 ECC

Rund 700 € Netto + Zoll
Oder auf Ebay selbst zusammen suchen. Es gibt immer mal wieder gebrauchte Epycs für unter 50 €.
Das was kostet sind der RAM und das Board. SP3 ist schon teuer.
Vielleicht verkauft jemand seine alte Threadripper Workstation.

Wichtig ist das du den RAM immer mit 8 Kanälen bestückst wegen der vollen Speicherbandbreite.
Das Bundle wäre dann halt auch PCIe 3.0 unterwegs. Board mit PCIe 4.0 sind entsprechend teurer.


Netzteil Dark Power Pro 13 1300W
https://geizhals.de/be-quiet-dark-power-pro-13-1300w-atx-3-0-bn331-a2946414.html

Bei der CPU Kühlung eine AIO oder Luft.

Als Gehäuse ein
Fractal Design Define 7 XL
Da hast genug Platz für beide Karten.
https://geizhals.de/fractal-design-define-7-xl-black-fd-c-def7x-01-a2239847.html?hloc=de

 

[thatsme]

Vielen Dank.

Das EPYC ist ein Serverboard, richtig? Mit Consumer-Boards kenne ich mich ein wenig aus, mit Server-Boards habe ich überhaupt keine Erfahrung. Deshalb vielleicht doofe Frage(n):

• Warum nur PCIe 3.0? Wegen des Preises alleine?
• Passen diese Boards in die normalen Consumer-Gehäuse?
• Sind das dann mehrere 16x PCIe, die auch tatsächlich die volle Geschwindigkeit haben?

Wäre das hier zum Beispiel ein guter Griff?
https://ebay.us/m/bEVODk mit https://ebay.us/m/ktxWic und https://ebay.us/m/VpNRMu
oder das Komplettpaket hier https://ebay.us/m/EemQpx

Was spricht für das Serverboard vs. ein Threadripper (bzw. umgekehrt)?