CFD Workstation aut Threadripper 2990WX Basis

[Snible]

1. Was ist der Verwendungszweck?
Der Rechner wird als CFD-Workstation eingesetzt

1.2 Falls Bild-/Musik-/Videobearbeitung oder CAD: Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Ansys Fluent / STAR CCM+/ openFOAM / Inventor

1.3 Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, …)?
Kein OC geplant, leise und eine hohe CPU Performance@CFD

1.4 Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt?
2x WQHD DELL Monitore

2. Ist noch ein alter PC vorhanden?
Ja, ein Dell Precision T7910

• Prozessor (CPU): 2x Intel Xeon E5-2698v3
• Arbeitsspeicher (RAM): 64GB 2133Mhz DDR4 RDIMM ECC
• Mainboard: ?
• Netzteil: DELL 1300W
• Gehäuse: DELL
• Grafikkarte: Quadro K4200
• HDD / SSD: Samsung 850 Evo + 2x1.5TB am Raidcontroller

3. Wie viel Geld bist du bereit auszugeben?
-

4. In wie vielen Jahren möchtest du das System frühestens upgraden oder ersetzen müssen?
Nach Bedarf, hierzu kann ich derzeit keine Angaben machen

5. Wann soll gekauft werden?
sofort

6. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen?
Ich plane das System selbst zusammenzubauen, und habe folgende Setup zusammengestellt:

• Prozessor (CPU): 1x AMD Ryzen Threadripper 2970WX, 24x 3.00GHz oder AMD Ryzen Threadripper 2990WX, 32x 3.00GHz
• Kühlung: 1x Enermax LiqTech TR4 240
• Arbeitsspeicher (RAM): 2x Corsair Vengeance LPX schwarz DIMM Kit 64GB
• Mainboard: 1x MSI MEG X399 Creation
• Netzteil: 1x Corsair RMi Series RM1000i 1000W
• Gehäuse: 1x Fractal Design Define R6
• Grafikkarte: 1x Zotac GeForce GTX 1080 Ti AMP Extreme Core (vorhanden)
• HDD / SSD: 1x Samsung SSD 970 PRO 512GB, M.2 (OS) + 2x Samsung SSD 970 PRO 1TB, M.2 (DATEN)

Da CFD sowie Inventor kein Vorteil aus eine Quadro ziehen und noch eine GTX1080TI vorhanden ist, werde ich fürs erste bei dieser Grafikkarte bleiben. Für die Daten dachte ich an ein Raid 1 mit den 1TB SSDs, hierfür benötige ich ggfs. noch eine externe PCI-E 3x16 Karte, ich denke eine dieser Karten wird den Dienst übernehmen. CFD ist CPU Lastig, die bisherigen Intel basierten Workstations waren zwar gut, bei Preisen von 8000+ tauscht man diese aber nicht mal eben so kurz aus, daher wollte ich nun einmal den AMD TR eine Chance geben, auch wenn hier kein registered ECC "unterstützt" wird, hier scheiden sich in den CFD Foren die Geister, ich habe beschlossen es einmal ohne ECC zu testen. Was haltet Ihr von dem Setup? Es geht hier nicht im Bling-Bling, das Teil verschwindet unter dem Schreibtisch.

 

[Fujiyama]

Möchtest du wirklich eine Workstation selber bauen?
Was ist mit Ausfallsicherheit und wenn mal was kaputt ist?

 

[DarkInterceptor]

ich würd den 2990wx nehmen. dazu aber gleich eine 360er aio ODER den kühler von noctua aus meiner signatur. das ist sowieso einer der besten luküs für TR4.
du kannst von asus eine hypercard nehmen, da passen 4x nvme ssd drauf und die sind sogar noch aktiv gekühlt.
netzteil eher bequiet, seasonic oder enermax und da auch nur die platin oder titanium reihen.

ansonsten frag ich mich auch wegen ausfallsicherheit. das bekommst im systemhaus deiner wahl aber nicht wenn du es privat machst.

 

[HardRockDude]

Würd ich grundsätzlich so absegnen @Snible, aber hier noch ein paar Inspirationen:
- Evtl. den 2970WX in Betracht ziehen, da noch einiges günstiger und ggf. in Zukunft upgraden, dann auf TR3. Der Sockel ist ja zum Glück langlebig.
- Mainboard ist fett, aber achte darauf, dass Du mit Deiner Windowsversion einen neuen bootbaren USB-Stick erzeugst. Manche neue MSI-Boards lesen die erst ab Winver 1706.
- Beim Netzteil kannst Du evtl. etwas sparen, 750W oder gar 600W sollten hier reichen.

 

[Masamune2]

auch wenn hier kein registered ECC "unterstützt" wird

registered nicht, aber ECC kann der Threadripper natürlich, darauf musst du nicht verzichten.

 

[Snible]

Möchtest du wirklich eine Workstation selber bauen?
Was ist mit Ausfallsicherheit und wenn mal was kaputt ist?

Das haben wir natürlich auch dem Schirm und ist aktuell noch in der Diskussion.

Ergänzung (15. Januar 2019)

registered nicht, aber ECC kann der Threadripper natürlich, darauf musst du nicht verzichten.

Ja, habe ich schon gesehen, wie gesagt scheiden sich hier die Geister in den CFD Foren, ich habe beschlossen einmal dem schnelleren NON ECC den Vorzug zu geben, tauschen kann man immer noch.

 

[Qarrr³]

Das Motherboard ist übertrieben teuer. Die Mindestvoraussetzungen bei x399 sind extrem hoch, sodass man wirklich alle Boards verwenden kann: https://geizhals.de/asrock-x399-phantom-gaming-6-90-mxb9b0-a0u-a1941199.html?hloc=at&hloc=de
Der 2990WX. Für 3D CFD kann man nicht genug Threads haben.
RAM nicht übertakten, maximal mit 2933mhz oder 2666mhz laufen lassen. Dann gibts auch günstigeren RAM.
Auf jeden Fall mit Luft kühlen. Noctua u14s ist super. Wasser sorgt nur für mehr kosten und zusätzliches Risiko. Wenn du es doch machen willst, 360er nehmen, sonst ist der u14s besser.

Was ist mit Ausfallsicherheit und wenn mal was kaputt ist?

Es ist günstiger zwei Workstations zu kaufen und notfalls das andere zu verwenden, als einen gleichwertigen PC bei einem Anbieter mit Support zu bestellen. Wenn man selbst an dem PC arbeitet, dann kann man Probleme selbst klären. Backups, dass man notfalls zeitnah an einem anderen Arbeitsplatz weitermachen kann, sind so oder so obligatorisch.

 

[Fujiyama]

Eigentlich ist es ein Nogo im Professionellen Bereich nen Bastelrechner zu verwenden.
Selbst Leute die von dem Bereich Ahnung haben machen das nicht, meist ist die Bastelei mehr Arbeit und Stress und gespart wird dabei auch nix.
Ihr solltet daher wenn ihr es selber habt jemand mit ahnung da haben und die Ersatzteilversorgung sollte gesichert sein.

 

[Snible]

Würd ich grundsätzlich so absegnen @Snible, aber hier noch ein paar Inspirationen:
- Evtl. den 2970WX in Betracht ziehen, da noch einiges günstiger und ggf. in Zukunft upgraden, dann auf TR3. Der Sockel ist ja zum Glück langlebig.
- Mainboard ist fett, aber achte darauf, dass Du mit Deiner Windowsversion einen neuen bootbaren USB-Stick erzeugst. Manche neue MSI-Boards lesen die erst ab Winver 1706.
- Beim Netzteil kannst Du evtl. etwas sparen, 750W oder gar 600W sollten hier reichen.

Jaein, es wird immer etwas neueres geben, ich habe die Erfahrung gemacht das ich am Ende doch kein bestehendes System Grundlegend aufrüste, nach dem Motto, never change a running System. Ja Netzteil könnte vermutlich kleiner Ausfallen, da die GPU aber ordentlich Saft zieht und ja mal der Fall eintreten könnte das man auf 20 Cores Rechnet und noch CAD nutzt wollte ich hier lieber Safe sein. Bootbarer USB Stick ist kein Problem, bin mir eh noch nicht sicher ob es ein Windows oder Linux System wird, gerade gestern ein Video gesehen das es im Windows Core wohl ein Bug gibt welcher den TR etwas ausbremst LINK

Ergänzung (15. Januar 2019)

Es ist günstiger zwei Workstations zu kaufen und notfalls das andere zu verwenden, als einen gleichwertigen PC bei einem Anbieter mit Support zu bestellen. Wenn man selbst an dem PC arbeitet, dann kann man Probleme selbst klären. Backups, dass man notfalls zeitnah an einem anderen Arbeitsplatz weitermachen kann, sind so oder so obligatorisch.

Backups werden automatisch auf ner NAS erstellt, Roaming Profiles gibt es ebenfalls, arbeiten an einem anderen PC ist ohne weiteres möglich.

 

[IBISXI]

gerade gestern ein Video gesehen das es im Windows Core wohl ein Bug gibt welcher den TR etwas ausbremst

Liegt am Windows Scheduler.
Da ist ein Fix in Arbeit:
https://www.hardwareluxx.de/index.p...ten-an-einer-bessere-numa-unterstuetzung.html

 

[Ebrithil]

Das Motherboard ist übertrieben teuer. Die Mindestvoraussetzungen bei x399 sind extrem hoch, sodass man wirklich alle Boards verwenden kann: https://geizhals.de/asrock-x399-phantom-gaming-6-90-mxb9b0-a0u-a1941199.html?hloc=at&hloc=de
Der 2990WX. Für 3D CFD kann man nicht genug Threads haben.

Und das nicht ohne Grund. Wenn man einen 2990WX einsetzen will, sollte man auf eine vernünftige VRM Bestückung & Kühlung beim Mainboard achten, sonst wird man nicht viel Freude haben.
Das von dir verlinkte ASROCK unterstüzt nur CPUs bis 180W womit der 2990WX mit seinen 250W locker rausfällt.

AFAIK sind das MSI Meg Creation, das Asus Zenith Extreme + Cooling Kit und das Gigabyte AORUS Extreme die einzigen die mit dem 2990WX gut klarkommen.

 

[schasi]

Das ASRock X399 Phantom ist, soweit ich weiß, explizit für bis zu 16 Kerne gedacht. Dafür halt günstig. Beim Einsatzzweck würde ich beim Board nicht wirklich sparen.
Da war @Ebrithil schneller und genauer

 

[DarkInterceptor]

das gigabyte aorus extreme hat sogar einen 10gbit netzwerkanschluss falls das für euch von interesse ist. ob die anderen hersteller das haben weis ich nicht.

 

[Snible]

das gigabyte aorus extreme hat sogar einen 10gbit netzwerkanschluss falls das für euch von interesse ist. ob die anderen hersteller das haben weis ich nicht.

10G derzeit nicht und meine Erfahrung mit Gigabyte sind solala

 

[blöderidiot]

Ja, für die Gesamtsumme kannst Du dir mindestens zwei oder drei 2700X-Systeme mit preiswerten Komponenten hinstellen, die dann in der Summe sehr deutlich schneller rechnen als das TR-System. Angeblich skalieren einige CFD codes (OpenFOAM) so gut wie gar nicht auf TR, siehe auch https://techreport.com/review/33977/amd-ryzen-threadripper-2990wx-cpu-reviewed/7 . Stichwort: "memory bandwith starving", z.B. https://www.reddit.com/r/Amd/comments/9cwc27/how_memory_bandwidth_is_killing_amds_32core/ .

 

[IBISXI]

Doch, das Asrock Fatality hat auch 10Gbe.

https://www.mindfactory.de/product_...g-AMD-X399-So-TR4-Quad-Channel-D_1185850.html

Ergänzung (15. Januar 2019)

@blöderidiot

Leider skalieren viele Anwendungen noch schlecht auf dem 2990WX.
Das wird sich bessern, wenn Microsoft den Bug gefixt hat.

Zum jetzigen Zeitpunkt bringen mehr wie 16 Kerne in vielen Anwendungen nichts.

 

[Obernuppel]

Hallo.
Vielleicht unterstützt dein Mainboard das Aufspielen eines Custom-Mircocodes für die CPUs. Ich habe selbst ein Setup mit 2x E5-2696v3 (je 18 Kerne) und beide auf 3,3/3,4 Ghz takten lassen, im Allcoreturbo. Damit komme ich etwas mehr Leistung als ein 2990WX (CB=5500 Punkte). Sollte auch bei deinen CPUs funktionieren, wenn das BIOS einen Eintrag dafür hat.

 

[IBISXI]

Das ist doch der 12 Kerner oder? E5-2693v3

 

[Obernuppel]

Kleiner Typo. Ist der 2696v3

 

[Snible]

Hallo.
Vielleicht unterstützt dein Mainboard das Aufspielen eines Custom-Mircocodes für die CPUs. Ich habe selbst ein Setup mit 2x E5-2696v3 (je 18 Kerne) und beide auf 3,3/3,4 Ghz takten lassen, im Allcoreturbo. Damit komme ich etwas mehr Leistung als ein 2990WX (CB=5500 Punkte). Sollte auch bei deinen CPUs funktionieren, wenn das BIOS einen Eintrag dafür hat.

Die alte Workstation wird weiterhin genutzt, ich werde einmal sehen was man hier noch rauskitzeln kann, da DELL aber seine Systeme idR. dicht macht, habe ich da wenig Hoffnung das man hier etwas einstellen kann.