Neuer PC als Workstation - Passt das so? Budget: ca. 9000 Euro.

[Araska]

Noch eine kurze Zwischeinfo: Der Systembauer hatte tatsächlich einen Preis bei der CPU falsch ausgewiesen.
9950X und 9950X3D kosten einen identischen Aufpreis von 200 Euro. Soll ich dann den 9950X3D nehmen?

Tun sich nicht viel (IIRC ca 4% bei Anwendungsbenchmarks)... aber wenn du die 4%, die der 9950X3D schneller ist, für umme bekommst, besteht meiner Meinung nach kein Grund, sie nicht zu nehmen.

 

[DellTree]

Ich würde dir ebenfalls von der be quiet! AIO abraten. Falls du unbedingt eine AIO nutzen möchtest, würde ich eher zur ARCTIC Liquid Freezer III Pro 360 greifen. Ich nutze diese selbst seit etwa einem Jahr 24/7-System und hatte bislang keinerlei Probleme. Sie ist leise und zudem günstiger als die be quiet!. Die be quiet! habe ich als 420er in meinem Standard-Desktop verbaut und bin vom Wärmetransport ehrlich gesagt nicht besonders begeistert, vor allem wenn man bedenkt, dass sie sogar teurer war als die Arctic. Den Mehrpreis ist sie nicht wert!

Generell würde ich auch bei den Lüftern eher Abstand von be quiet! nehmen. Für den Dauerbetrieb bist du mit gut eingestellten Arctic-Lüftern meiner Meinung nach sinnvoller unterwegs. Da es sich um ein Produktivsystem handelt, wirst du die Lüfter vermutlich ohnehin auf einem festen Niveau betreiben, um den Verschleiß möglichst gering zu halten. Ein Arctic Freezer 36 in Kombination mit 120-mm- und 140-mm-Lüftern ist aus meiner Sicht eine gute Wahl. Das gesparte Geld kannst du dann beispielsweise in zusätzliche SSD-Kapazität investieren.

Denn dein geplante Speicher erscheint mir deutlich unterdimensioniert. Ich habe auf meinem Ollama-System etwa zehn Modelle parallel installiert. Die lädst du nicht nur einmal herunter, sondern legst davon auch Backups an oder behältst ältere Versionen für Rollbacks vor, wenn neue Modellversionen erscheinen die es zu testen gilt. Da du keine 10-Gbit-NIC vorgesehen hast, gehe ich davon aus, dass die Modelle lokal gespeichert werden und nicht auf einem externen Storage liegen.
Für das Betriebssystem reicht eventuell eine 1-TB-WD-Blue, aber ich würde zusätzlich noch 2×1 TB oder besser 2×2 TB in einem Btrfs-RAID vorsehen. Linux ist schnell neu installiert, aber die Daten, Modelle und Konfigurationen solltest du deutlich besser absichern. In einem meiner LLM-Systeme habe ich beispielsweise zwei SanDisk-SSDs mit jeweils 2 TB zu einem Btrfs-RAID zusammengefasst. Ja, das ist SATA, aber für diesen Einsatzzweck immer noch mehr als schnell genug. PCIe5 NVME würde ich nicht in betracht ziehen; Klar das System booted schneller; aber den rest der 365 Tage betrieb, hast einfach nur den höheren Stromverbrauch für nichts.

Die 32 GB VRAM sind außerdem recht schnell aufgebraucht. Du musst nicht nur die Modellgröße berücksichtigen, sondern auch die Anzahl der Tokens und den Kontext. Deshalb z.B. lasse ich kleinere Aufgaben, wie diverse Docker-Container (z.B. WebSearch), bewusst auf der CPU laufen und reserviere die GPU für die eigentlichen Modellanfragen. Dabei hilft eine 16 Core CPU enorm. Da ich selbst auch ein System mit 3D V-Cache habe, würde ich sagen: Für diesen Anwendungsfall bringt dir das nix. Spar dir das Geld für eine X3D-CPU und investiere stattdessen lieber in einen 9950X.

 

[blubberbirne]

Man könnte auch eine RTX PRO 4500 nehmen. Die kommt immerhin mit ECC RAM daher. Ist zwar langsamer als eine 5090. Aber Treibertechnisch besser aufgestellt für Profianwendungen.
Je nach Bezugsquelle wird die auch günstiger sein.

 

[DellTree]

@blubberbirne Das ist vermutlich der beste Tipp, den sein Sponsor hören möchte. Stand heute sind das fast 1.500 € Ersparnis.

Klar, die Karte ist etwas langsamer, da die TDP auf 200 W begrenzt ist. Aber dir geht es vermutlich in erster Linie um die 32 GB VRAM und nicht um das letzte zusätzliche Token pro Sekunde.

Ich habe das Ganze mal als grobe Orientierung schnell bei Geizhals zusammengestellt. Rechnet man Montage, Lieferung und Garantie noch dazu, landet man am Ende sicherlich bei rund 4.500 € netto für ein 24/7 fähigen LLM Host.

 

[djducky]

@DellTree
Wenn du oben über Lüfter schreibst, dann aber das Vita GM empfiehlst, hast du ggf. nicht mitbekommen, dass dort minderwertige Yate Loon Lüfter verbaut würden, die gerne Störgeräusche verursachen. Gute und leise Netzteile wie die NZXT C-Reihe gibt es reichlich.

Bei dem Budget würde ich auch beim Kühler ne Idee höher greifen (AM5 = Phantom Spirit, Intel = FSP MP7).

Guten Airflow bekommt man auch mit deutlich günstigeren Gehäusen, die auch keine vorgewärmte Luft durchs Netzteil blasen.

Und warum zwei SATA-SSDs? Einfach ne 4TB PCIe rein und ordentliche Backups nutzen.

Insgesamt frage ich mich, warum so viele so deutlich bei AMD sind für diese Workstation? Ich wäre eher bei einem 270K Plus. Mehr Bandbreite der Plattform, weniger Stromverbrauch bei Dauerbetrieb und auch noch günstiger. Aufrüstbarkeit für zukünftige Gaming-CPUs dürfte hier kaum ein Argument sein.

 

[TeeKayEV]

Insgesamt frage ich mich, warum so viele so deutlich bei AMD sind für diese Workstation? Ich wäre eher bei einem 270K Plus. Mehr Bandbreite der Plattform, weniger Stromverbrauch bei Dauerbetrieb und auch noch günstiger.

Warum mein schon vor mehreren Seiten begründet vorgebrachter Einwand gegen den Ryzen gänzlich übergangen wurde, nachdem ich schon ein vom Threadstarter geplantes System im Einsatz habe und von meinen Erfahrungen berichtete, wundert mich auch.

 

[KarlsruheArgus]

Insgesamt frage ich mich, warum so viele so deutlich bei AMD sind für diese Workstation?

Schlicht veraltetes Wissen, dass RAM OC mal außen vor neben den restlichen Patzern.

 

[Mork-von-Ork]

Tatsächlich ja, weil eben alles so exorbitant teuer geworden ist oder teilweise auch einfach gar nicht verfügbar.

Teuer ist vor allem Ram, GPU und SSD geworden, woher die mMn. deutliche zu hohen Aufpreise bei den CPUs kommt bleibt Geheimnis eures SI.

Der Systembauer hatte tatsächlich einen Preis bei der CPU falsch ausgewiesen.
9950X und 9950X3D kosten einen identischen Aufpreis von 200 Euro. Soll ich dann den 9950X3D nehmen?

Hier bleibt jetzt die Frage, ob eurer Workload vom 3D Cache profitiert?
Falls ja kann der 9950X3D Sinn ergeben.
Falls nein wäre wie hier ja auch schon angesprochen auch eine LGA1851 Plattform mit 270K eine Überlegung wert.

Der Preis erklärt sich durch die 5090, die aktuell bei über 5.000 € liegt.

Die Preise sind komplett unschön nur siehe meinen Link in #10 9000€ sind für so ein System auch heute doch schon ziemlich hoch gegriffen, besteht da die Möglichkeit mit dem SI noch nachzuverhandeln?

 

[mae]

Kein Overclocking
[...]
RAM: 64 GB DDR5-6000 (2x 32 GB)

Ohne Overclocking kann der Prozessor nur 5600MT/s und beim RAM muss man genau hinschauen. Man kann RAM kaufen, das als DDR5-6000 verkauft wird und ohne Overclocking (EXPO/XMP) nur 4800MT/s macht.

Ergänzung (Dienstag um 19:24)

Nur im Profi-Segment - 24/7 oder auch mal 10 Stunden Power-User Auslastung ist so ein B850/X870 Mainboard gar nicht für gedacht. Weder die Wandler, noch die Kühlung, oft auch nicht die Netzteile.

Mag sein, dass sie nicht dafuer gedacht sind, wir betreiben eine Reihe solcher Systeme, einige davon durchaus mit Dauerlast. Wir haben zwar ECC-RAM und SSDs mit power-loss-protection wegen der Datensicherheit, aber die Mainboards, Prozessoren, und Netzteile sind stinknormale Ware aus dem Selbstbau-Retail-Sortiment. Z.B.: ein 3900X-Server.

P.S.: Umgekehrt sind unsere Erfahrungen mit Server-Boards und Komplett-Servern gemischt. Tyan-Boards haben uns nicht enttaeuscht, werden hier aber offenbar nicht mehr vertrieben. Mit Intel-Boards haben wir auch gute Erfahrungen, die wurden aber eingestellt. Wir hatten 5 Supermicro-Boards, von denen eines dauerhaft gehalten hat, und die anderen 4 (anderes Modell als das erste, alle dasselbe Modell) schon am Anfang Probleme mit der Lueftersteuerung machten und dann nach wenigen Jahren verstarben. Diese 4 ersetzten wir dann durch Server von HP, die ebenfalls nach wenigen Jahren verstarben. Diese wurden dann durch Server mit Intel-Boards ersetzt, die dann hielten, bis sie nach ca. 10 Jahren abgeloest wurden. Mit einem Server-Board von ASUS hatten wir auch einige Probleme, aber es haelt.

 

[duskstalker]

wenn der workload vom 3dvcache profitiert, kann man am5 nehmen. aber falls nicht -> 270k.

 

[DellTree]

Wenn du oben über Lüfter schreibst, dann aber das Vita GM empfiehlst, hast du ggf. nicht mitbekommen, dass dort minderwertige Yate Loon Lüfter verbaut würden, die gerne Störgeräusche verursachen. Gute und leise Netzteile wie die NZXT C-Reihe gibt es reichlich.

Richtig, wusste ich nicht - wieder was gelernt heute, thx

 

[the_nobs]

9950X und 9950X3D kosten einen identischen Aufpreis von 200 Euro. Soll ich dann den 9950X3D nehmen?

Das ist komisch, aber dann den X3D nehmen
Stimmen die Nummern? Hast du dich vielleicht vertippt?