Geplanter KI‑Build mit 2× RTX 5090

[Krik]

@KarlsruheArgus
Die kann er ja für ca. 3k das Stück verkaufen und von dem Geld eine professionelle mit deutlich mehr RAM holen. Eventuell muss man da aber noch etwas Geld drauflegen. 1× 72 oder 96 GB VRAM sind einfach geiler und machen hier, glaube ich, mehr Sinn als 2× 32 GB.

 

[KarlsruheArgus]

Die kann er ja für ca. 3k das Stück verkaufen und von dem Geld eine professionelle mit deutlich mehr RAM holen.

Dann schreib doch bitte diesen Gedankengang auch so aus.
Dann entfallen bei mir auch die Fragezeichen.

Sowohl die RTX 5000 Pro als auch die RTX6000 Pro wären mit dem Verkauf der aktuellen RTX5090 FE nicht refinanziert als Neuware.
https://geizhals.de/pny-rtx-pro-5000-blackwell-vcnrtxpro5000b72-sb-a3686434.html
https://geizhals.de/pny-rtx-pro-6000-blackwell-workstation-edition-vcnrtxpro6000b-pb-a3451871.html

 

[blubberbirne]

Ich würde die beiden 5090er ja verkaufen und auf eine 5000 PRO mit 72GB gehen. Bedeutend weniger Stress.

 

[BDR529]

Mir fehlen hier echt vollkommen die Worte bei diesen Empfehlungen.... man man man, echt.

Hallo??? Lesen??? Budget = 2000 Euro. Nicht 10.000 Euro.

 

[Geckoo]

Hallo??? Lesen???

Befolg deinen Rat doch bitte selber. Die Vorschläge sind die 5090 vorher zu veräußern. Was man davon hält ist eine andere Frage.

 

[Dededu]

Sowohl die RTX 5000 Pro als auch die RTX6000 Pro wären mit dem Verkauf der aktuellen RTX5090 FE nicht refinanziert als Neuware.

Das kommt dann aber, wie schon erwähnt, mit dem Budget niemals hin. Zwei RTX 5090 sind massiv weniger wert als eine RTX 5000/6000 PRO gerade neu kostet (Und gebraucht findet man diese zwei Modelle auch nicht wirklich billiger). Der TE hat "nur" noch ein verbleibendes Budget von 2000 Euro.

 

[KarlsruheArgus]

Der TE hat "nur" noch ein verbleibendes Budget von 2000 Euro.

Und mit welchem Satz befürworte ich diese Option ?

Edit:
Meine Empfehlung aus #3 bleibt jedenfalls bestehen und sieht die 72GB/96GB VRAM einer Pro Blackwell-Karte nicht vor.

 

[interesTED]

Aus persönlichem Interesse an dem Thema: Ist die aktuelle Zeit nicht ein guter Anlass, um neben dem idealen Gaming PC auch Community Empfehlungen für KI PCs zusammenzustellen? Da müssten inzwischen doch genügend Erfahrungen vorliegen.

 

[KarlsruheArgus]

...um neben dem idealen Gaming PC auch Community Empfehlungen für KI PCs zusammenzustellen?

Würde ich aufgrund der fortwährend hochdynamischen Hardwaremarktlage verneinen.
Was diese Woche der letzte Schrei ist ist nach zwei Wochen unten durch in der "KI Welt".

Da müssten inzwischen doch genügend Erfahrungen vorliegen.

Die von gefühlt immer den selben fünf Leuten, darunter auch mir selbst, kommen.

Die Basics bleiben die selben wie beim Gaming Desktop und für spezifische Themen ist die Kaufberatung ja da.
Im Grunde sind das hier auch nur Workstations teilw. im Selbstbau, teilw. eben fertig vom Systemintegratior oder OEM.

Und auf angelockte Forentrolle, die LLMs verwenden und damit Threads zumüllen kann ich verzichten.

 

[pajaa]

Hm, die zwei FE übereinander.. da dürfte die obere Karte die warme Luft der unteren Karte abbekommen, nicht gerade ideal. Vergleiche auch:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[KarlsruheArgus]

Hm, die zwei FE übereinander.. da dürfte die obere Karte die warme Luft der unteren Karte abbekommen, nicht gerade ideal.

Bei entsprechendem Überdruck weit weniger problematisch als man denkt.

 

[XBenutzerNameX]

@KarlsruheArgus​

Also werden die NVMEs komplett über den Chipsatz angebunden damit die CPU PCIE Lanes für die GPU bereitgestellt werden können?​

@Krik​

Eine Workstation GPU als Blackwell 6000 oder 5000 Pro nicht in Frage da zu Teuer. Ich hab die 2 Grafikkarten schon ne Weile "September 2025", und ja die PC Komponenten sind "Sch...Teuer geworden. Mir kam einfach die Idee um die 2 Karten herum ein System zu Bauen das egal ob Intel oder AMD für KI Workloads und meine VMs geeignet ist. LM Vision und LLM Vision und sogar Ollama profitieren sogar von multi GPU.

@Dededu
Deinen Vorschlag behalte ich mal im Auge. Luftkühlung soll bleiben, Wasserkühlung würde mein Budget überziehen.

Edit: Es würde ja ausreichen wennjede GPU "nur" x8 anstatt x16 bekommt. Da ich mit der Kiste nicht Spiele macht das ja nicht so viel aus, oder täusch ich mich da, was die um die hälfte reduzierte Bandbreite betrifft

 

[KarlsruheArgus]

Also werden die NVMEs komplett über den Chipsatz angebunden damit die CPU PCIE Lanes für die GPU bereitgestellt werden können?

Beim Intelvorschlag werden drei NVMEs über den Chipsatz laufen und "nur" eine NVME über die CPU. Sieh. Schaubild aus entsprechendem Post: M2B_CPU

Wenn du aktuell deine drei NM790er anschließen willst würde ich die Systemplatte an die CPU (M2B_CPU) hängen und den Rest an den Chipsatz.

 

[Dededu]

@XBenutzerNameX
Bezüglich den NVMEs: Auf Intel LGA 1851 mit Z890 hast du folgende PCI Express Lanes zur Verfügung:

• Direkt an der CPU: 1 x 16 oder 2 x 8 Gen 5 Lanes für die GPU sowie 1 x 4 Lanes Gen 4 und 1x 4 Lanes Gen 5 (beide für NVME SSDs)
• Zusätzlich ist der Z890 mit 8 Gen4 Lanes an die CPU angebunden. Am Z890 wiederum hast du dann je nach Board 12 oder mehr Gen 4 Lanes.

Du kannst also zusätzlich zu den GPUs bis zu 3 Gen 4 SSDs und eine Gen 5 SSD ohne Lane Sharing nutzen (bei Z890, auf AM5 geht das so nicht).

 

[XBenutzerNameX]

 

[Dededu]

Edit: Es würde ja ausreichen wennjede GPU "nur" x8 anstatt x16 bekommt. Da ich mit der Kiste nicht Spiele macht das ja nicht so viel aus, oder täusch ich mich da, was die um die hälfte reduzierte Bandbreite betrifft

Jetzt muss ich ein wenig ausholen. Auf Consumer Plattformen (LGA 1851, AM5, AM4, ...) kannst du keine zwei GPUs mit je 16 Lanes anbinden. Dazu haben die CPUs schlicht nicht ausreichend Lanes. Ausschliesslich die HEDT Plattformen (Threadripper, Xeon,...) unterstützen 2×16 Lanes oder mehr. Auf Consumer Plattformen wirst du zwei GPUs immer mit 2x8 Lanes (d.h. mit Bifurcation) anbinden müssen.

Jetzt zur Performance von 2x8 vs 2x16 Lanes: Da die RTX 5090 PCIE Gen 5 unterstützt, hast du per se schon mal doppelt so viel Bandbreite per Lane als üblich wie bei Gen 4. Alleine deshalb schon ist 2×8 bei Gen 5 massiv weniger kritisch als bei Gen 4 (wie bei RTX 4090 oder älter).

Aber, die Bandbreite ist trotzdem relevant, insbesondere beim Training von Modellen. Hier muss bei SGD jeder Batch vom Ram in den Vram geladen werden für den forward und backward pass. Dann wird er wieder entladen und der nächste Batch aus dem Ram geholt. Natürlich hilft mehr Speicherbandbreite hier beträchtlich, solange der Ram (nicht Vram) schnell genug ist. Dual Channel DDR5 schaft so ca. 70 GB/s (und mehr), was gerade so schneller ist als 2x8 PCIE Lanes (64 GB/s). Also selbst wenn du die GPUs mit 2×16 Lanes anbinden könntest, würdest du ins Limit vom Ram reinlaufen. Es sei anzumerken, dass die Bandbreite noch relevanter wird, sobald Distributed Multi-GPU Training genutzt wird.

Bei der reinen Inferenz von Modellen, dürfte die PCI Express anbindung kaum eine Rolle spielen, solange die Modelle auf eine GPU passen, du verschiebst ja nicht massig Batches. Sobald das nicht mehr der Fall ist, spielt die Bandbreite hier wieder eine Rolle, da die GPUs dann untereinander kommunizieren müssen. Ich vermute aber, dass die Bandbreite von Gen5x8 pro GPU schlicht mehr als gross genug ist, als dass der Performance Impact von Bifurcation spürbar werden würde.

Wenn du dazu noch mehr Fragen hast, schreib mir doch mal ne PN.

 

[KarlsruheArgus]

@XBenutzerNameX
Welchen Mehrwert bietet dir das ~70% zu teure Mainboard und warum das ebenfalls gute ~40% zu teure TX1600 statt dem C1500 oder PX1600 ?

Den techn. Vorteile sehe ich weder beim Mainboard und insbesondere nicht beim PSU.

Edit:
Und wenn du schon Geld rauswerfen willst dann bitte die TX1600 in der Noctua Edition, wenn schon denn schon.
https://geizhals.de/seasonic-prime-tx-1600-noctua-edition-1600w-atx-3-1-ssr-1600tr2-ne-a3360154.html

 

[MoonTower]

2 x 8 Gen 5 Lanes für die GPU reichen meistens vollkommen aus wie schon "Dededu" hier sagte. Ich habe meine beiden 6000 Pro Max-Q auch in einem Standard-Z890-Setup laufen und für meinen Workflow reicht das vollkommen aus. Kleiner Tipp, da Du ja auch Comfyui erwähnt hast: Hier empfehle ich dann unbedingt 2 getrennte Instanzen von Comfyui zu nutzen und jeder eine GPU zuzuordnen. Je nach Workflow hast Du da echte Doppel-Power. Getrennte Instanzen (getrennte Ordner!) deshalb, da Comfyui selbst auf unterschiedlichen Ports sonst "intern" gerne Dinge "vermischt". Da taucht dann plötzlich eine "Prompt-Anweisung" vom 1. Workflow der 1. GPU im 2. Workflow der 2. GPU auf.

 

[interesTED]

6000 Pro Max-Q

Die hatte ich noch gar nicht auf dem Schirm. Insbesondere die geringe Leistungsaufnahme ist ja genial. Was Komponenten hast du dazu eingebaut? Luft- oder wassergekühlt?

 

[Dededu]

Anhang anzeigen 1711146

@XBenutzerNameX

Bei der CPU kannst du allenfalls auch den i7 265KF wählen, der hat keine integrierte Grafikeinheit und ist ca. 30 Euro billiger (die iGPU brauchst du eigentlich auch nicht, du hast ja die 5090).

Noch eine Frage zum Ram: Hab ich das richtig gesehen, dass du insgesamt 4 Sticks nutzen möchtest also 4×32 GB (oder hast du etwa die teuren 64GB Module)? Falls 4 x 32GB, ist Intel sowieso schon mal die bessere Wahl als AMD, da sie die robusteren Ram Controller haben. AMD garantiert nur 3600 Mhz bei 4 Sticks (ich schaff 5200 Mhz auf meinem 285K). Achte beim Mainboard dann aber vielleicht drauf, dass dein Ram Kit mit 4 Sticks auf der QVL des Mainboards gelistet ist, dann gehst du sicher, dass der Ram wunschgemäss funktionieren wird.

Beim Netzteil hat @KarlsruheArgus imho völlig recht. Das TX-1600 ist zwar effizienter als das PX-1600, aber das lohnt sich finanziell halt so gar nicht. Hier kannst du ordentlich sparen.