Geplanter KI‑Build mit 2× RTX 5090

[XBenutzerNameX]

Guten Abend, ich stelle mir aktuell ein System für reinen KI‑Einsatz zusammen (LLMs, Vision‑Modelle, ComfyUI, VLMs). Gaming spielt keine Rolle.

Folgende Komponenten habe ich dafür vorgesehen:

Mainboard (noch nicht in Besitz)​

ASRock X870 Taichi Creator

• PCIe‑Layout mit x8/x8 PCIe 5.0 für beide GPUs
• Vier M.2‑Slots ohne Einschränkungen für die Grafikkarten

CPU (noch nicht in Besitz)​

Zur Auswahl stehen:

• Ryzen 9 7950X
• Ryzen 9 9950X

Arbeitsspeicher (in Besitz)​

2× Crucial 64 GB DDR5‑5600

Grafikkarten (in Besitz)​

2× NVIDIA RTX 5090 Founders Edition

Speicher (in Besitz)​

3× PCIe 4.0 NVME Lexar 2TB

Noch offen / nicht entschieden​

• CPU‑Kühler
• Netzteil
• Gehäuse

Habt ihr evtl. noch andere Vorschläge, was CPU-Kühler Netzteil und Gehäuse angeht ?

 

[Tornhoof]

Ich schlage mal fractal Torrent vor als Gehäuse und dann hinten noch den Lüfter montieren und ggf unten die beiden 14er durch die 18er tauschen und nicht mit der Drehzahl geizen.

CPU Lüfter ist eigentlich egal, Luftkühler, was halt noch reinpasst.
Die Wärme kriegst eh nicht abtransportiert wenn da zwei 5090 voll heizen.
Wenn du klotzen willst halt zb den noctua dh15 G2. Gibt aber genug Alternativen die weit preiswerter sind und genauso gut sind.
Kommt noch etwas auf die exakten RAM Riegel an.

 

[KarlsruheArgus]

@XBenutzerNameX
Ich halte hier ein Intel Setup aufgrund der Laneaufteilung für zuträglicher.
Bspw.:
https://geizhals.de/gigabyte-z890-aorus-aero-g-a3328408.html dazu ein 265K.
M.2 Anschlusslayout beachten.

CPU‑Kühler

Arctic Freezer 36

Netzteil

C1500, PX1600
Quellen:
https://www.cybenetics.com/evaluations/psus/2444/
https://www.cybenetics.com/evaluations/psus/2169/

Gehäuse

Für möglichst hohen Luftdruchfluss bei niedriger Lautstärke, wenn das bei zwei 600W Karten überhaupt so bezeichnet werden kann, würde ich mind. 200mm Lüfter und eine Menge Mesh voraussetzen.
https://geizhals.de/asus-proart-pa602-v180718.html
Würde zusätzlich zu den beiden 200ern noch drei 140er Oben verbauen.

Ergänzung (Gestern um 20:54)

Ich schlage mal fractal Torrent vor als Gehäuse und dann hinten noch den Lüfter montieren und ggf unten die beiden 14er durch die 18er tauschen und nicht mit der Drehzahl geizen.

Ich hab das Torrent hier (Normal non Compact und die Nano Serie) und kann es aufgrund der Qualität und der brummenden 180er nicht mehr empfehlen seit dem das PA602 draußen ist.

Edit:
Den entwicklungstechnischen Altersunterschied merkt man jedenfalls deutlich.

 

[K3ks]

Willkommen im Forum.

Ich kenne mich 0 aus mit dem "AI"-Zeugs, aber falls du merklich von der Speichergröße profitierst wären vlt. RTX 5000 48GB, RTX 5000 72GB, RTX 6000 96GB eventuell auch noch interessant, sind halt extrem teuer, ca. 4000€-10000€ pro Karte laut Preisvergleich. Ryzen AI Max 390/395-PCs o.ä. mit 128GB oder weniger Shared Memory gäbe es auch noch, sind halt bis auf die große Speichermenge erheblich langsamer als die dicken dedizierten Rechenprügel.

 

[Tornhoof]

Ich hab das Torrent hier (Normal non Compact und die Nano Serie) und kann es aufgrund der Qualität und der brummenden 180er nicht mehr empfehlen seit dem das PA602 draußen ist.

Cool, das proArt hatte ich noch nicht aufm Schirm.
Und ja die 18cm Lüfter haben/hatten QA Probleme, zumindest am Anfang, keine Ahnung ob's immernoch so ist.

 

[KarlsruheArgus]

Und ja die 18cm Lüfter haben/hatten QA Probleme, zumindest am Anfang, keine Ahnung ob's immernoch so ist.

Ich hatte jedenfalls bei beiden Modellserien (Normal non Compact und Nano) Pech.
An sich ein durchdachtes Gehäuse, die Mängel und das viele Plastik halte ich jedoch in 2026 für nicht mehr zeitgemäß.

 

[Tornhoof]

Ryzen AI Max 390/395-PCs o.ä. mit 128GB oder weniger Shared Memory gäbe es auch noch,

Apple Mac M4 oder ähnliches mit shared memory auch. Die werden auch gerne genutzt
Aber vom M5 gibt's aktuell wohl nur die MacBooks.

 

[K3ks]

Viele der Ryzen AI 390 o.ä. Teile kosten so ca. 1500€-2500€, das ist weniger als eine 5090 und bestimmt weniger als ein Apfel mit vieel RAM. 🤷 E: Aber wie gesagt, die Grafikschleuder im 390 o.ä. wäre halt deeeuuutlich langsamer als ein großer dedizierter Rechenprügel.

EE:

schon beim TE.

Ah...

 

[KarlsruheArgus]

@K3ks
Die beiden RTX5090 sind jedoch schon beim TE.

 

[Toms]

Apple Mac M4 oder ähnliches mit shared memory auch. Die werden auch gerne genutzt

Vor allem lassen die sich auch clustern via Thunderbolt 5

 

[Krik]

Ist das für eine gewerbliche Nutzung? Wie wäre es, sich von einem Systemhaus ein Threadripper- oder Epyc-System zusammenbauen zu lassen? Da kann man dann auch mehr als nur zwei 5090 reinstecken, die dazu alle auch noch mit 16x Lanes laufen.

Ist das eine Option für dich?

 

[Dededu]

Hi XBenutzerNameX, da kann ich dir wunderbar helfen, weil ich hab mir vor ein paar Wochen genau so ein System gebaut, wie du es dir wünschst (siehe Bild). Ich glaube, ich kann dir deshalb da ein wenig weiter helfen, denke aber, dass du dir das schon etwas einfacher vorstellst, als es dann tatsächlich ist. Mal ein paar meiner Gedanken zu deinem geplanten Build:

1. Die Kombination von 2 x GPU mit 4 x m.2 SSD ist auf der AM5 Platform nicht ohne Lane-Sharing / Oversubscription auf dem PCH (x870e) möglich. Dazu haben AM5 CPUs schlicht zu wenige PCI-Express Lanes. So wie du dir das vermutlich vorstellst, geht das nur auf der Intel Core Ultra 200 Platform (Sockel 1851). Folglich wäre als Prozessor ein i7 265K oder i9 285k sicherlich eine sinnvolle Wahl.
   
   
2. Sind deine GPUs mit Wasser oder Luft gekühlt? In Anbetracht deiner Teileliste, gehe ich nämlich von Luftkühlung aus. Bei einer Luftkühlung mit 2 GPUs ist entscheidend, dass die entsprechenden PCI-Express Anschlüsse einen genügend grossen Slot-Abstand haben, damit die GPUs überhaupt auf das Mainboard passen. Wie viele Slots hoch ist denn der Kühler deiner GPU? Zusätzlich hilft der Abstand bei er Kühlung, weil du dann besseren Airflow hast.
   
   Realistisch betrachtet brauchst du mindestens 3 (beser 4) Slots Abstand zwischen den beiden PCI Express Anschlüssen für die GPUs. Das Gigabyte Z890 Aero G (empfohlen von KarlsruheArgus) scheint mir deshalb eher ungeeignet. Ich selbst verwende ein Gigabyte Z890 AI Top (Abstand 4 Slots, ideal für Luftkühler, kostet aber ca. 600 Euro).
   
   
3. Beim Netzteil habe ich ein Seasonic PX1600 mit 1600 Watt. Achte einfach auf zwei 12V-HPWR Stecker, die du für die zwei GPUs brauchst. Ansonsten sind mindestens 1600 Watt empfehlenswert (2 x 5090 + 265K brauchen alleine 1450 Watt!).
   
   Hier noch ein meiner Meinung nach wichtiger Hinweis: Halte unbedingt mit einer Elektrofachkraft Rücksprache, ob deine Elektroinstallation auf eine Dauerlast von mindestens 1800 Watt ausgelegt ist (Netzteile sind nicht 100% Effizient, weswegen die Leistungsaufnahme an der Steckdose noch höher ist als die 1600 Watt). Insbesonder ältere Installationen können hier massiv Probleme machen (Brandgefahr). Bei mir war genau dies der Fall und es musste eine eigene Steckdose mit seperater Absicherung eigens für den PC gebaut werden. Zusätzlich kann es Probleme geben, wenn der Stromkreis ohnehin schon stark ausgelastet ist (z.B in einem Büro mit mehreren PC Arbeitsplätzen). Irgendwann reicht die 16A Absicherung (max 3.7 kW) schlicht nicht mehr aus. Auch von Mehrfachsteckern, Verlängerungskabeln und dergleichen ist aus Sicherheitsgründen dringendst abzuraten.
   
   
4. Beim Gehäuse wirst du maximalen Airflow brauchen, um die GPUs überhaupt nur im Entferntesten gekühlt zu bekommen, 2 X RTX 5090 + z.B. i7 265K produzieren zusammen max. 1450 Watt Abwärme! Keine Ahnung, wie man das mit Luftkühlung gekühlt bekommt. Ideal wäre vermutlich sowas wie das Corsair 9000D (kostet aber halt über 400 Euro!), alternativ vielleicht sowas wie ein Lian Li O11 Dynamic. Das ProArt schein mir auch nicht so schlecht zu sein. Hat jemand noch andere Vorschläge?
   
   Das bereits diskutierte Fractal Design Torrent ist sicherlich keine gute Wahl. Das ist ein vergleichsweise winziges Gehäuse, wo sich die Luft nur stauen wird, weil es viel zu wenige Lüfter hat.
   
   Nur als Referenz, selbst mit meiner Wasserkühlung (2 x 360mm Radiator + 2 x 480mm Radiator, alle Push-Pull mit Lüftern bestückt) ist das Kühlen der beiden 5090 mit i9 285K kein Pappenstiel.
   
   
   
5. Beim CPU-Kühler selbst würde ich auf eine 360mm AIO deiner Wahl setzen, etwas anderes dürfte bei einem i7 265K mit 250 Watt wohl kaum in Frage kommen. Dazu brauchst du aber ein Gehäuse, das dafür Platz hat. Alternativ wäre ein Noctua NH-D15 denkbar, falls ein reiner Luftkühler gewünscht ist. Generell wirst du für KI eine starke CPU Kühlung brauchen, weil die CPU massiv öfters unter Voll-Last laufen wird als bei Gaming. Ich jedenfalls schaffe es meine CPU beim Training auf der GPU mit PyTorch dauerhaft weit über 50% auszulasten.
   
   
6. Beim Gehäuse Lüfter, ist mal die Anzahl sicherlich entscheidend. Je mehr desto besser. Vermutlich macht es Sinn einen eher günstigeren Lüfter zu kaufen, dafür besonders viele davon, siehe Gehäuse.

Ich hoffe, ich konnte dir mit meinen Gedanken ein wenig weiter helfen. Bei Fragen kannst du mir auch gerne eine PN schicken. Alterenativ würde ich mich sonst aber schon Krik anschliessen. Du willst ja insgesamt ca. 8000 Euro aufwärts für Hardware ausgeben. Wie sieht es mit Suport / Ausfallzeiten aus? Vermutlich wird das System ja gewerblich eingesetzt, da kann ein Ausfall ja schon sehr teuer werden. Es gibt ja auch Systemintegratoren wie Krotus Computer, die bauen ab und an solche Geräte (siehe deren Youtube Channel). Vielleicht wäre das eine Option für dich? Bei meinem System hat es von Planungsbeginn bis Einsatzbereitschaft ca. 11 Monate gedauert. Beim nächsten Mal werde ich möglicherweise auch auf ein Fertig-System setzen, der Aufwand für so ein System ist dann doch beträchtlich grösser als man meinen würde.

 

[konkretor]

Sind die falschen Karten, da wird dir zu schnell der Speicher ausgehen. 2x 32 GB sind nicht genug.
PNY NVIDIA RTX PRO 6000 Blackwell Max-Q Grafikkarte mit jeweils 96 GB RAM pro Karte wäre definitiv
oder die PNY NVIDIA RTX PRO 5000 Blackwell 72 GB Grafikkarte wäre hier definitv die bessere Wahl.
Ganz ehrlich in einem Server wären solche Karten besser aufgehoben wie in einem Workstation Gehäuse.
Gerade da es keine Möglichkeit gibt in der Workstation noch eine dritte oder vierte Karte dazu stecken zu können. Ob du jetzt nen Rack Server kaufst oder eine Workstation preislich gibts da nicht viele Unterschiede. CPU, RAM, Board kostet ungefähr gleich viel. Wenn du im Threadripper Segment unterwegs bist. Desktop Kram wie S1700/AM5 sehe ich weniger bei Dauerlast und Workstation.
Wenn wirklich auf dem Tisch sein muss, kauf dir 2 oder 3 Mac bau einen Cluster über Thunderbolt und Exolabs. Damit wirst du definitv mehr machen können wie mit den 5090 Karten. Die 5090 Karten lassen sich im aktuellen Markt problemlos verkaufen.

https://exolabs.net/

 

[Dededu]

CPU, RAM, Board kostet ungefähr gleich viel.

Threadripper braucht meines Wissens nach Registered DIMM Ram (RDIMM), der dürfte mindestens das Dreifache kosten von "normalem" DDR5 Ram! Anonstens würde ich auch meinen, dass für Profi KI-Anwendungen RTX 6000/5000 PRO sicherelich die GPU der Wahl ist, wenn es das Budget her gibt.

 

[KarlsruheArgus]

Das Gigabyte Z890 Aero G (empfohlen von @KarlsruheArgus) scheint mir deshalb eher ungeeignet.

Bei zwei Dual Slot GPUs verstehe ich diese Kritik nicht.
Die RTX5090 FE sind keine RTX4090 FE und haben eine dicke von 40mm.

Generell bauen Luftkühllösungen nicht so voluminös wie dein Customloop und den Luftdurchfluss in einem Fractal Torrent zu bemängeln, die damalige Gehäusereferenz im RTX4090 und RTX5090 Test von CB selbst, halte ich für gewagt neben der Empfehlung des Noctua NH-D15.

Lektüre zum Fractal Torrent, weiterführende Quellen beachten:
https://www.computerbase.de/news/ge...ssen-kuehlergrill-steckt-hohe-leistung.77649/

Lektüre zum Noctua NH-D15 und Arctic Freezer 36 auf einem Intel mit 253W.
https://www.computerbase.de/artikel/kuehlung/cpu-kuehler-arctic-be-quiet-noctua-test.91180/

Edit:
Wie weiter oben schon geschrieben ist das Torrent defintiv eine Referenz wenn es um den Luftdurchfluss geht, aufgrund des hohen techn. Alters würde ich jedoch weiterhin das aktuellere PA602 vorziehen.

 

[Dededu]

Danke für die spannende Lektüre, da kann ich auch noch was dazu lernen. Wenn die GPUs tatsächlich nur 40mm Dick sind, ist der Slot Abstand natürlich de facto irrelevant. Mal eine naive Frage: Müsste ein grösseres Gehäuse mit mehr Lüftern nicht mehr Frischluft pro Stunde zu-& ab-führen können, was dann die Kühlleistung insgesamt verbessert?

 

[KarlsruheArgus]

Müsste ein grösseres Gehäuse mit mehr Lüftern nicht mehr Frischluft pro Stunde zu-& ab-führen können, was dann die Kühlleistung insgesamt verbessert?

Die Theorie und Praxis passen da leider oft nicht zusammen.

Der Luftsrom sollte jedenfalls beim Gehäuse so gerichtet werden das sämtliche Gehäuselüfter diesem "Luftstrom" zuarbeiten, konzeptionsbedingt ist das bei vielen Gehäusen jedoch nicht so ausgeprägt und wurde erst mit aufkommen der RTX4090/RTX5090 wirklich relevant.

An die Temperaturen eines Customloops kommt so eine Konzeption definitiv nicht heran, dafür besticht diese Kühlkonzeption durch ihre Einfachheit, schnelle Realisierbarkeit und Ausfallsicherheit (keine Dichtungen, Pumpen und Flüssigkeiten im System).

Warum hast du eigtl. keinen MoRa realisiert oder gar einen Chiller ?
Bei einem so groß konzeptionierten System hätte ich zumindest mit ersterem gerechnet.

 

[XBenutzerNameX]

Danke an alle für die Hilfe und zahlreichen Vorschläge.

Also das System ist kein Unternehmens PC, rein Privat mit Nutzung von KI Anwendungen. Hier einige Anwendungen.

- Home Assistant mit HACS Addon LLM Vision für meine Kameras, die sollen dann über ollama ein Vision Model über die Grafikkarten ansprechen.
Geplant ist hier entweder qwen33-vl:30 oder 32b.

- LM Vision als Copilot oder ChatGPT Ersatz. Mistral oder Gemma als Modell.

- 2-4 VMs und Docker.

- Stability Matrix als Bild und Videogenerator.