[silent] [AMD] Board für unRAID mit 2 GPUs und 10 GBit/s NIC

[2Stoned]

Gibt es ein Board, das besonders für ein silent System geeignet ist? Also am besten ohne Lüfter auf dem Board selbst oder einer der erst ab einer gewissen Temperatur angeht und weitere Lüfter auch so steuern kann, dass sie erst ab einer gewissen Temp. anlaufen.

Benötigte Anschlüsse:

• 2 NVMe SSDs im RAID1
• 2 Grafikkarten oder 1 Graka + onboard
• Platz für 1 NIC oder 10GBit/s onboard

AM4 oder sTRX4. CPU wird danach entsprechend ausgewählt.
RAM sind 64 GB ECC angedacht.
Aussehen ist komplett egal, kommt ehh in ein silent case.

Am Ende soll unRAID als hypervisor laufen. Darauf 24/7 opnsense als firewall und ein Linux und ein Windows als Workstation.

Es fällt mir doch recht schwer mir hier einen Überblick zu verschaffen.
Für threadripper dachte ich EVTL. an das ASRock TRX40 creator. Für AM4 bin ich noch etwas überfordert. Bin für eine solide Empfehlung sehr dankbar!

 

[Sephe]

https://www.computerbase.de/2020-02/asrock-rack-x570d4i-2t/

Problem werden hier nur 2 GPUs. Dafür 2x 10GBit on Board, passiv gekühlt, X570.

 

[T3Kila]

Dann doch gleich der große, ältere Bruder :

Geizhals ASRock x470d4u2

 

[Zwirbelkatz]

Ich denke wir sollten erst mal klären, welche Plattform du wirklich benötigst. 64GB sind für die Dimensionen des neuen Threadrippers ja fast schon wenig.

Viel Auswahl scheint es für AM4 nicht zu geben.
https://geizhals.de/?cat=mbam4&xf=494_AMD+X570+ohne+L%FCfter

Dann doch gleich der große, ältere Bruder

Der Brudi hat kein PCI-Express 4.0

 

[2Stoned]

https://www.computerbase.de/2020-02/asrock-rack-x570d4i-2t/

Problem werden hier nur 2 GPUs. Dafür 2x 10GBit on Board, passiv gekühlt, X570.

Je, genau, 2 GPUs müssen es wegen unRAID wohl leider sein, obwohl man diesen hypervisor headless betreiben könnte, wird davon doch stark abgeraten. Es sei einfach zu mühsam.

Dann doch gleich der große, ältere Bruder :

Geizhals ASRock x470d4u2

x570 wäre schon nett, wegen PCI-E 4.0. Aber ein MUSS ist es tatsächlich nicht.

entfernt

Ich denke momentan würde mir eigentlich eine AM4-Plattform reichen. Aber ich hätte nichts das gegen Threadripper spricht und bin da gerne offen. Wie eingangs erwähnt soll eigentlich folgendes laufen (jeweils als VM):

• Arch Linux als Workstation (Programmieren, Testruns von Dingen die sonst auf HPC / Clustern laufen, Office Sachen + Browser)
• OPNsense als 24/7 Firewall, WAN-seitig: 10 GBit/s, die dann an die VMs verteilt werden sollen. LAN-seitig nur 1 GBit/s
• Windows 10 für die Microsoft Office Programme
• kodi als Medienplayer, hierbei ist wichtig, dass HD-audio (atmos / true-HD) an den Receiver durchgereicht werden kann
  • Ob kodi einfach auf Arch läuft oder eigenständig als Docker-Container oder libreELEC / openELEC realisiert wird ist noch offen
• openBSD so zum testen, vielleicht für eBanking oder so
• allenfalls weitere Dinge zum basteln / testen

Das ganze soll sehr leise / silent / semi-passiv sein, da es bei mir unterm Schreibtisch steht. Es reicht aber, wenn dies für idle gilt. Unter Last darf schon mal ein Lüfter hochdrehen. Aber je später desto besser. Stromsparend wäre auch ganz nett, da es ja 24/7 läuft wegen der Firewall.

Soweit nichts, dass mich zum threadripper zwingen würde. Allerdings wird AM4 wohl bald abgelöst werden und sTRX4 wird wohl noch länger bedient werden. Zudem hätte ich mit mehr Kernen mehr Luft nach oben um HPC-Sachen zuhause zu testen, aber das kann ich auch remote auf kleinen Clustern machen. Aber 2 GPUs, 2 NVMe SSDs und ne 10 GBit/s NIC brauchen halt schon ein paar Lanes, so war ich mir nicht sicher, ob AM4 alles abdecken kann.

 

[Sephe]

Je, genau, 2 GPUs müssen es wegen unRAID wohl leider sein, obwohl man diesen hypervisor headless betreiben könnte, wird davon doch stark abgeraten. Es sei einfach zu mühsam.

Dann passts doch! Es ist eine Grafikkarte on Board (liefert VGA und kümmert sich um IPMI), und eine kannst du noch nachstecken -> 2, und du brauchst keine CPU-integrierte.

D.h. 64GB ECC Speicher, 3950X drauf und eine GPU deiner Wahl noch rein.

(Der 3950x hat übrigens 16 Kerne und 32 Threads à 3,5 GHz - wenn du stattdessen einen Threadripper nimmst, wird es schon viel teurer)

Das ganze ist echt keine Belastung. Da würde bei dir vermutlich auch nen 3700X locker reichen.

 

[R00kie]

Spricht gegen AM4:
- nur eine GPU mit PCIe 4.0 x16 (bei 2 GPU wird es 2x x8)

Spricht gegen sTRX4:
- CPUs können sehr viel Leistung ziehen (280W TDP)

- 100W+ im Idle​

- 400W+ unter Volllast (real)​

- bei der Abwärme der CPU schwer ein leises System zu haben​

- für 24x7 ordentlich hoher Stromverbrauch​

​

Für den Threadripper ggf. die Leistung reduzieren:
https://www.computerbase.de/2019-12/threadripper-3000-180-watt-tdp-test/

 

[Sephe]

Was noch gegen STRX4 spricht:
Find du erstmal ein Board, was ein IPMI-Interface hat.
Aktuell sehe ich auch nur 12 sTRX4-Boards auf dem Markt - keins davon hat ein IPMI Interface.
Zudem die Preise. (420-940€)

Der kleinste Threadripper (3960X) hat 24x 3,8Ghz und kostet minimum 1410€.

 

[2Stoned]

Dann passts doch! Es ist eine Grafikkarte on Board (liefert VGA und kümmert sich um IPMI), und eine kannst du noch nachstecken -> 2, und du brauchst keine CPU-integrierte.

D.h. 64GB ECC Speicher, 3950X drauf und eine GPU deiner Wahl noch rein.

(Der 3950x hat übrigens 16 Kerne und 32 Threads à 3,5 GHz - wenn du stattdessen einen Threadripper nimmst, wird es schon viel teurer)

Das ganze ist echt keine Belastung. Da würde bei dir vermutlich auch nen 3700X locker reichen.

Du hast mich schon fast überzeugt!
Allerdings gibt es da keine Möglichkeit 2 NVMe SSDs im RAID 1 zu betreiben. Oder ist der Leistungszuwachs gegenüber den SATA-Anschlüssen, die dieses Board über oculink bietet, zu vernachlässigen? Ist darüber schon etwas bekannt?

 

[DJ2000]

Hättest im anderen Thread ruhig was schreiben können.

IPMI ist eine Intel Technologie und ist bei AMD nur über ein zusatz Chip zu realisieren.
Die CPUs sind zwar nicht beschnitten, aber alles unterhalb Epyc hat keine offizielle ECC Unterstützung.

Supermicro AMD Server Reihe zb.:
Supermicro H12SSW-NT (SP3 Plattform)

 

[2Stoned]

IPMI ist eine Intel Technologie und ist bei AMD nur über ein zusatz Chip zu realisieren.
Die CPUs sind zwar nicht beschnitten, aber alles unterhalb Epyc hat keine offizielle ECC Unterstützung.

Von IPMI habe ich gar nie was geschrieben (sonst wars die Autokorrektur! ). Remote Management benötige ich eigentlich nicht in dieser Form.

Einige Hersteller werben aber doch explizit mit ECC Unterstützung für Ryzen?! Siehe z. B. Diskussion hier: https://www.computerbase.de/forum/threads/ryzen-ecc-ram.1880766/

Epyc ist halt einfach noch mal ne Spur teurer und deutlich tiefer getaktet...

Und das Board muss unter Last auch nicht mehr silent sein, aber im idle wäre ich froh gar nix zu hören.

 

[DJ2000]

Ja, nochmals:
Ryzen CPUs sind dahingehend nicht beschnitten = ECC möglich.
Es liegt an den Motherboards ob sie denn auch davon gebrauch machen. Schreiben tuen es einige, wirklich im BIOS mit tatsächlicher Fehlerkorrektur umsetzen schon weniger.
Das ECC RAM läuft ist das einzigste was wirklich sicher ist, ob/wie ECC auch verwendet wird, ist eine andere sache.
AMD dudelt den gebrauch, unterstützt diesen offiziell aber nicht. Den gibts nur ab Epyc.

AMD Epyc 7252, 8x 3.10GHz, 8/16 ab € 561,39
AMD Epyc 7262, 8x 3.20GHz, 8/16 ab € 674,00
AMD Epyc 7302P, 16x 3.00GHz, 16/32 ab € 1005,88

Supermicro H12SSW-NT ab € 531,90

• RAM: 8x DDR4 DIMM, octa PC4-25600R/DDR4-3200, max. 512GB (RDIMM), 2TB (LRDIMM), 2TB (3DS LRDIMM)
• PCIe: 1x PCIe 4.0 x32 (Riser-Card), 1x PCIe 4.0 x16 (Riser-Card)
• Ia: 2x M.2/M-Key (PCIe 3.0 x2, 22110/2280)
• Onbaord GPU: 1x VGA (AST2500)
• LAN: 2x 10GBase-T
• Ic 2x NVMe via SlimSAS, 4x NVMe oder 16 SATA3 via SlimSAS, 2x SATA3
• SlimSAS: 3x PCIe 4.0 x8
• Passiv gerkühlt
• 6x 4-pin PWM mit Speed control

EDIT: Wollte unter deiner Zusammenfassung nicht unnötig ein neuen Beitrag erstellen.
Beide haben Raid1 Unterstützung. Server Standart. Bitte denk daran das ein Raid1 Verbund kein Backup ersetzt.

 

[2Stoned]

Ich fasse die Optionen mal kurz zusammen. Vielen Dank für alle Inputs!

https://www.computerbase.de/2020-02/asrock-rack-x570d4i-2t/

• +
  • 1 GPU onboard
  • 2x 10 GBit Ethernet
  • passiv
• -
  • RAID1 Unterstützung nicht gegeben (? konnte zumindest nichts diesbezüglich finden)
  • Keine Möglichkeit für allfällige spätere Erweiterungen, weder beim RAM noch bei PCI-E
  • Nicht lieferbar

AMD Epyc 7262, 8x 3.20GHz, 8/16 ab € 674,00
AMD Epyc 7302P, 16x 3.00GHz, 16/32 ab € 1005,88

Supermicro H12SSW-NT ab € 531,90

• +
  • 2x 10 GBit Ethernet
  • volle ECC Unterstützung
  • onboard GPU
  • passiv + PWM Lüftersteuerung
• -
  • Epyc Prozessoren sind deutlich tiefer getaktet als Ryzen (Threadripper)
  • nicht lieferbar
  • RAID1 Unterstützung nicht gegeben (? konnte zumindest nichts diesbezüglich finden)

Epyc wäre ja schon episch, aber so vollends glücklich bin ich irgendwie doch mit keiner Lösung. :/
Habe ich denn derart unkombinierbare Anforderungen?

• 1x 10GBit Ethernet, ob onboard oder per Erweiterungskarte
• 2 GPUs, ob 2 PCI-E Karten oder 1 Grafikkarte + onboard
• RAID1 mit 2 NVMe SSDs (ausser SATA wäre ähnlich performant)
• 64GB RAM, am liebsten ECC
• schnelle CPU, da die Firewall wohl insbesondere von Takt profitiert
• möglichst leise, insbesondere im idle
  • das heisst für mich, dass etwaige Lüfter erst ab einer gewissen Temperatur anlaufen oder so leise sind, dass sie in einem gedämmten Gehäuse sicherlich nicht zu hören sind.

Freue mich weiterhin über jede Antwort. Vielen Dank!

 

[IBISXI]

M2 NVME SSD RAID geht auch mit X470. (Selber probiert mit X470 Taichi Ultimate)
Nur machte das nicht viel Sinn da die zweite SSD am Chipsatz hängt.
Bei X570 könnte das je nach Board besser aussehen.

Beim Hauptrecher habe ich MSI X570 Prestige Creation.
Das hat auch 10GBE LAN.

Schau dir das Board mal an.
Der Lüfter läuft bei mir nur kurz beim Starten. (allerdings keine PCIe 4 Geräte verbaut)
Irgendwie kapier ich nicht warum man 10GBe auf der WAN Seite braucht.
Was läuft da darüber?

Ergänzung (4. Februar 2020)

Habe ich denn derart unkombinierbare Anforderungen?

Ich sehe hier keine Anforderungen die eine X570 oder TR4 Plattform nicht erfüllen könnte.

Ergänzung (4. Februar 2020)

Noch ein paar Anmerkungen:

Für NVME PCIe Raid bei X470/X570 lege ich nicht die Hand ins Feuer das es auf jedem Board geht.
Du brauchst die Funktion im BIOS.

Das X470 Taichi Ultimate kann ich nicht empfehlen.
Der Aquantia Netzwerkchip schmiert andauernd ab, da das Teil zu heiß wird, da zu kleiner Kühlkörper.
Und AGESA 1004 hat es auch nicht auf das BOARD geschafft.

Brauchst Du die NVME Raid Funktion in Hardware?
Kann man das nicht in Unraid irgendwie mit Pools bzw. Software Raid richten?

Das Prestige Creation hingegen ist ein excellentes Board.
Ich bin seit der neuen BIOS Version sehr zufrieden damit.

Wieso 10GBe auf der WAN Seite?

 

[2Stoned]

MSI X570 Prestige Creation

Sieht ganz gut aus, darüber bin ich heute auch schon gestolpert. Einziger Nachteil hier: ECC wird zwar akzeptiert, läuft aber im non-ECC mode. Aber ich glaube langsam, dass dies auf alle AM4 Plattformen zutrifft. Da müsste ich wohl doch zu Epyc greifen, aber da ist das brauchbare Board nicht lieferbar...

Irgendwie kapier ich nicht warum man 10GBe auf der WAN Seite braucht.
Was läuft da darüber?

Naja, ich hab 10 GBit Glasfaser und entsprechende Controller kosten nicht die Welt. Dann will ich das doch nutzen.

Brauchst Du die NVME Raid Funktion in Hardware?
Kann man das nicht in Unraid irgendwie mit Pools bzw. Software Raid richten?

unRAID nutzt die grösste verbaute Platte als Parity. Ich dachte nur, dass ein hardware RAID1 performanter sein dürfte. Das Prestige Creation scheint aber RAID 0, 1 und 10 zu bieten. Wobei sich das evtl. nur auf SATA bezieht... :/

Danke für den Tipp! Das ASRock X570 Creator scheint ziemlich gleich zu sein.

Alternativ könnte ich mir noch das Gigabyte X570 Aorus Ultra vorstellen, hier bräuchte ich dann aber halt ne zusätzliche NIC - was aber immer noch n Hunni günstiger wäre als das Prestige Creation. Vorteil bei Gigabyte: man kann die initial display GPU wählen, für unRAID kann ich da den PCI-e slot wählen, der nur mit 4 Lanes angebunden ist und die beiden grossen PCIe slots für die NIC und die richtige GPU nutzen.

 

[IBISXI]

Ich denke nicht das ein Hardware Raid1 viel perfomanter ist.
Aber das sind Sachen, die hat kaum jemand probiert mit Conusmer Hardware in deiner Konstellation.

Naja, ich hab 10 GBit Glasfaser und entsprechende Controller kosten nicht die Welt. Dann will ich das doch nutzen.

Steh ich auf dem Schlauch?
Wenn Du Glasfaser (Internet?) hast, was nützt Dir dann 10Gbe mit RJ45 Stecker (10GBaseT) wie es auf den besprochenen Boards verbaut ist?

Was spricht gegen einen 3960X Threadripper und ein TRX4 Board außer dem Preis?

Sicher das für deinen Usecase nicht auch X570 und 3950X ohne locker reichen? (mit oder ohne NVMeRaid/ECC)

 

[TheDev]

Es gibt durchaus einige AM4-Platinen, die ECC-RAM auch im ECC-Modus unterstützen, aber soweit ich weiß sind die alle von ASRock.
Definitiv unterstützen es die ASRock Rack Serverboards, das neue X570 wurde ja schon genannt, aber es gibt auch ein älteres Modell:
https://www.asrockrack.com/general/productdetail.de.asp?Model=X470D4U2-2T#Specifications
Das gibt es mit 10G und mit 1G LAN.
Ich stimme da @IBISXI zu, so ein Board mit einem 3950X sollte reichen, TR oder EPYC sind da überdimensioniert.

 

[2Stoned]

Ich denke nicht das ein Hardware Raid1 viel perfomanter ist.
Aber das sind Sachen, die hat kaum jemand probiert mit Conusmer Hardware in deiner Konstellation.

Nun, wenn das so ist, löse ich es tatsächlich direkt über unRAID! Macht die Sache einfacher. Danke!

Steh ich auf dem Schlauch?
Wenn Du Glasfaser (Internet?) hast, was nützt Dir dann 10Gbe mit RJ45 Stecker (10GBaseT) wie es auf den besprochenen Boards verbaut ist?

Nun, wegen TV und Telefon muss ich den Router meines ISP nutzen, das hat einen entsprechenden 10GBaseT Port.

Was spricht gegen einen 3960X Threadripper und ein TRX4 Board außer dem Preis?

Sicher das für deinen Usecase nicht auch X570 und 3950X ohne locker reichen? (mit oder ohne NVMeRaid/ECC)

Dank der vielen Rückmeldungen und Bekräftigungen bin ich nun auch zur Einsicht gelangt, dass ein 3950X oder sogar der 3900X ausreichen. Da nun auch das Thema RAID vom Tisch ist passen jetz ja jede Menge Boards. Threadripper wäre höchstens nett wegen einer etwaigen späteren Erweiterbarkeit. Aber ein System mit dem Hintergedanken zu bauen es in einigen Jahren vielleicht mal zu erweitern empfinde ich als etwas unsinnig...

Es gibt durchaus einige AM4-Platinen, die ECC-RAM auch im ECC-Modus unterstützen, aber soweit ich weiß sind die alle von ASRock.
Definitiv unterstützen es die ASRock Rack Serverboards, das neue X570 wurde ja schon genannt, aber es gibt auch ein älteres Modell:
https://www.asrockrack.com/general/productdetail.de.asp?Model=X470D4U2-2T#Specifications
Das gibt es mit 10G und mit 1G LAN.
Ich stimme da @IBISXI zu, so ein Board mit einem 3950X sollte reichen, TR oder EPYC sind da überdimensioniert.

Die ASRock Racks scheinen einfach nicht mehr lieferbar zu sein. Sogar ein grosser Schweizer Händler hat auf entsprechende Anfragen mit der Antwort reagiert, dass sie keine Bezugsquelle hätten (zumindest für das neue x570er). Auf der ASRock Seite ist auch nicht wirklich ersichtlich, ob denn nun ECC-Funktionen genutzt werden oder ob es auch einfach nur mit ECC-Riegeln läuft.

Ich bin sehr dankbar für die vielen guten Inputs die ich hier gekriegt habe! epyc würde mich zwar immer noch sehr reizen () aber ich denke ich werde wohl nen 3950X auf ein Gigabyte X570 Aorus Ultra spannen, dazu 2 Samsung Evo 970 Plus NVMe SSDs (allerdings von unRAID verwaltet), Grafikkarten suche ich mir 2 auf Ebay oder ich hole mir z.B. eine Sapphire Radeon RX 5500 XT Pulse, als NIC probiere ich dann mal ASUS XG-C100C (PCI-E x4), welche wohl die geforderte Leistung zu kleinem Preis bringen soll. So bin ich zwar von meinen ursprünglichen Wünsche doch etwas abgekommen, habe aber denke ich ein gutes Preis-Leistungs-Verhältnis. Oder gibt es Einsprachen? Danke abermals für alle Hinweise!

 

[TheDev]

https://www.mindfactory.de/product_...oard-X470D4U2-2T-Sockel-AM4-mATX_1329419.html
Auf Lager, sehe nicht wo das nicht lieferbar sein soll.

Das X570 wurde vor ein paar Tagen erst vorgestellt, bis das zu haben ist wird es noch eine Weile dauern.

Aber natürlich geht auch ein Desktopboard, wobei ich ein ASRock nehmen würde wegen ECC.

 

[2Stoned]

Ok, hatte nur schweizer Händler berücksichtigt und da war das nirgends gelistet...

Ergänzung (5. Februar 2020)

Aber natürlich geht auch ein Desktopboard, wobei ich ein ASRock nehmen würde wegen ECC.

Anscheinend unterstützt auch das Gigabyte X570 Aorus Ultra ECC RAM im ECC mode. Umso besser! Dann muss ich das doch nicht aufgeben.
Quelle: https://www.warp2search.at/forum/threads/x570-boards-und-ecc-ram.14576/page-3#post-101218