Zen2 + 10GBit LAN + ECC + IPMI

[VelleX]

Auf der Internetseite gibt es bereits seit paar Tagen das Bios Update

ASRock Rack AMD AM4 Socket Motherboards Ready for RyzenTM 3000 Series 7nm CPUs Support

https://www.asrockrack.com/general/news.asp?id=169

 

[aemonblackfyre]

Dann warte einfach noch länger auf die neuen epycs + deren Boards.
Das wäre für dein Anforderungsprofil genau das richtige.

epycs spielen da leider in einer anderen preiskategorie und ich würde die kosten gerne möglichst gering halten. wenn ich also mit einem normalen ryzen prozessor die gleichen features bekomme, besonders jetzt wo auch 12 oder sogar 16 kerne möglich sind, sehe ich keinen grund einen epyc zu nehmen. bei epyc müsste ich ja auch garnicht warten, die erste generation erfüllt da genau so meine zwecke.

 

[trashrakete]

Sorry, dass ich den Thread jetzt noch mal ausgrabe. Wäre auch sehr an einer Serverkonfiguration mit dem X470DU2 bzw X470DUT-2T interessiert. Jetzt habe ich aber gesehen, dass der Ram Takt bei 4er-Bestückung auf 1866 geht:

Two DIMMs: (2) 1R DIMM @2133 MT/s; (2) 2R/2DR DIMM@1866MT/s; 1R and 2R/2DR DIMM each @1866MT/s

Eigentlich ein No-Go für einen Server, der auch ordentlich Virtualisieren soll, oder wie seht ihr das?

 

[Holt]

Das sind ja auch keine richtigen Server Boards und die AM4 RYZEN sind keine Server CPUs, dafür hat AMD die EPYC Modelle.

 

[trashrakete]

Ist richtig. Aber für das alltägliche im Hause (Firewall/Router, NAS, mal ne Windows VM fürs zocken, Linux VMs fürs arbeiten) muss man ja nicht gleich so tief in die Tasche greifen...?!

 

[the_pi_man]

Ist richtig. Aber für das alltägliche im Hause (Firewall/Router, NAS, mal ne Windows VM fürs zocken, Linux VMs fürs arbeiten) muss man ja nicht gleich so tief in die Tasche greifen...?!

Doch mal bei Intel schauen?

 

[trashrakete]

Doch mal bei Intel schauen?

Wäre da offen. Hätte jemand einen konkreten Vorschlag für ein Board mit IPMI und > 2 Lan ports (am besten natürlich 10 Gbit)?

 

[aemonblackfyre]

das problem bei intel ist, wenn man ecc will wird es schnell teuer. amd bietet dass für das gesamte lineup.

ich würde es vermutlich mal ausprobieren und sehen was das board am ende tatsächlich als takt bietet. 1866 sind vielleicht der garantierte takt mit nem 1. gen ryzen aber ich denke mit zen2 sollten durchaus die 2666 drin sein (mehr geht ja mit ecc). kann man natürlich erst genau sagen wenn z.b. STH das board mal reviewt.

bei intel zahlt man für 8 kerne ipmi ecc für board und cpu mindestens 760€ (Supermicro X11SCL-IF+Intel Xeon E-2278G) bei amd (ASRock Rack X470D4U+AMD Ryzen 7 3700X) 600 für ren2 wenn man auch mit 1. oder 2. generation klarkommt reichen 450.

außerdem hat man bei amd die option auf bis zu 16 kerne aufzurüsten ohne das board zu tauschen(man kann natürlich auch erstmal zum einstieg 4 kerne und dann hoch gehen sobald man es braucht). bei intel ist bei 8 schon schluss.

das sind die gründe warum ich gerne amd hätte. man muss für ein sehr potentes gerät nicht direkt auf den HEDT oder server sockel inkl der verbundenen kosten setzen

 

[trashrakete]

Schlüssige Argumentation. Ich werde wohl noch ein paar (hoffentliche) Reviews abwarten oder die 10gb Variante des ASRock.

 

[Nixdorf]

Jetzt habe ich aber gesehen, dass der Ram Takt bei 4er-Bestückung auf 1866 geht

Die Angabe ist erstmal nur die von AMD kommende. Das sind die spezifizierten Werte bei Summit Ridge und Pinnacle Ridge, Ryzen 3000 ist wahrscheinlich noch gar nicht im Handbuch berücksichtigt hinsichtlich der RAM-Geschwindigkeit. Somit ist mehr als 1866 nicht unmöglich, sondern halt nur außerhalb der Spec, genau wie z.B. prima funktionierendes 3200er B-Die auf jedem Gamerboard mit Ryzen 2000.

Das sind ja auch keine richtigen Server Boards

Das ist Fluch und Segen zugleich. Im Gegensatz zu einem Serverboard hat nämlich offenbar das X470DU die von Desktop-Board bekannten RAM-Einstellmöglichkeiten:

Unfortunately, XMP is not supported so you can’t just select 3200Mhz 14-14-34 for your B-Die RAM, you have to set about a dozen parameters manually. Looks like Ryzen DRAM Calculator can be used for this. When I’ve set my 3200Mhz kit to 2666 with all other parameters to “auto”, the board half-booted and hung. After resetting the BIOS to defaults, I’ve added a bit of memory voltage (bumped it to 1.25v) and it’s been rock-solid even since. All of this was done via the network, BTW. As I said earlier, the IPMI interface works even when the board isn’t booting. ECC RAM is also officially supported but I don’t have it.

In den Kommentaren geht dann die gleiche Diskussion zu 1866 los. Ich selbst kann dazu nur dies ergänzen:

• Das Zitat belegt, dass das Board Einstellmöglichkeiten für die RAM-Parameter hat. Das ist entscheided, denn nur so kann man den Standardwert von 1866 ändern.
• Ryzen 3000 erlaubt bei Vollbestückung schon offiziell 2666 statt bisher 1866. Eventuell erlaubt das X470DU das mit neueren UEFI-Versionen auch schon ab Werk.
• Darüber, was funktioniert, entscheidet zu 90% die CPU und nicht das Board. Die 10% heißen, dass das Board es schlichtweg im UEFI nicht aktiv durch fehlende Anpassungsmöglichkeiten verhindern darf. Darüberhinaus liefert das Board nämlich nicht viel mehr als die Leiterbahnen vom CPU-Sockel zu den RAM-Slots.
• Ich selbst nutze 4x16GB mit DDR2400 in einer Konfiguration, wo offiziell auch nur 1866 geht. Allerdings hat mein Board (X470 K4) die passenden XMP-Parameter selber gefunden und eingetragen. Beim X470DU ist manuelle Arbeit angesagt.

 

[Holt]

bei intel zahlt man für 8 kerne ipmi ecc für board und cpu mindestens 760€

Mit einem Atom Cxxxx Board geht es bei 350€ los, wenn man sich auf die Goldmont (Atom C3000) beschränkt ab 450€, ab 625€ auch mit 10GBASE-T. Zwar sind die Goldmont schon deutlich schneller als ihre Vorgänger, aber ich würde immer ein Board mit Xeon-D vorziehen, auch wenn man dann preislich über diesen 760€ landet, aber dann hat man eine echte Serverplattform und offizielle ECC RAM Unterstützung. Außerdem sind die CPUs echt sparsam, die brauchen wirklich nicht mehr als ihre TDP Angabe sagt, zumindest bei den Boards von Supermicro.

Die 10% heißen, dass das Board es schlichtweg im UEFI nicht aktiv durch fehlende Anpassungsmöglichkeiten verhindern darf. Darüberhinaus liefert das Board nämlich nicht viel mehr als die Leiterbahnen vom CPU-Sockel zu den RAM-Slots.

Aber auch die Leiterbahnen und deren Verlegung auf dem Board, ja sogar das Material des Boards, haben Einfluss auf die Qualität der Signale und damit den erreichbaren RAM Takt, es sind also nicht nur die Einstellmöglichkeiten. Und wenn ich lese "set my 3200Mhz kit" dann frage ich mich wieso jemand so ein Board gekauft hat, denn ich kennen keine ECC RAM Riegel mit mehr als 2933 und die gibt es auch nur als RDIMM und LRDIMM, also Typen die auf AM4 nicht laufen und bei den UDIMM ist bei 2666 Schluss. Wenn man dann schon so ein Board nimmt mit dem man näher an einem Serverboard ist, dann würde ich doch auch ECC RAM verbauen, auch wenn die CPUs es nicht offiziell unterstützen, so sollte es für den Heimanwender meistens ja reichen.

 

[Nixdorf]

Aber auch die Leiterbahnen und deren Verlegung auf dem Board, ja sogar das Material des Boards, haben Einfluss auf die Qualität der Signale und damit den erreichbaren RAM Takt, es sind also nicht nur die Einstellmöglichkeiten.

Das billigste B350-Board von ASRock mit vier RAM-Slots erlaubt im OC bis zu 3200. Die Firma wird mit Sicherheit nicht bei einem 250€-Server-Board an der Qualität der Leiterbahnen sparen. Noch dazu, wo es bei ECC den Nutzern auch noch sofort auffällt. Die 1866 sind wie gesagt nur die offizielle Spec bis Ryzen 2000,wenn man 4 Module verbaut. Die Topologie bei Vollausbau wird erst bei höhere Geschwindigkeiten relevant. Und ich sage auch nicht, dass 3200 gehen. Aber ECC mit 2666 dürfte man ans Laufen bekommen. Ich stehe zu der 90/10-Aussage.

dann frage ich mich wieso jemand so ein Board gekauft hat

Ganz einfach: IPMI.

 

[Holt]

IPMI braucht man für den Headless Betrieb, also wenn man nicht direkt am Rechner selbst arbeitet und damit nur bei Servern. Wenn man dann aber etwas Wert auf stabilen Betrieb und Datenintegrität legt, so nimmt man bei einem Server eben ECC RAM, nur gibt es halt keine ECC 3200er RAM Kits, also hat der Typ mit dem 3200er RAM Kit eines ohne ECC und damit ist die Sinnhaftigkeit der Zusammenstellung irgendwie nicht mehr gegeben. Wenn man schon Server baut, dazu ein Board und eine CPU hat die ECC RAM zumindest praktisch unterstützen, dann verbaut man doch auch solches, statt RAM Riegel ohne ECC und die dann auch noch möglichst hoch zu takten, was das Risiko von RAM Fehlern nur noch erhöht.

 

[Nixdorf]

Ja und? Wenn das jetzt ein Videos-Streamen-Server ist, der im Keller steht und 30 Festplatten drin hat, dann ist das völlig Hupe, ob der einmal im Jahr wegen Speicherfehler neu startet. Nicht jeder Server braucht ECC. Gewöhn dich halt mal dran, dass nicht jeder Server missionkritisch ist.

Außerdem kann das auch eine Budgetfrage sein. Vielleicht war der regulräe RAM noch da und muss halt jetzt erstmal reichen.

 

[aemonblackfyre]

Mit einem Atom Cxxxx Board geht es bei 350€ los, wenn man sich auf die Goldmont (Atom C3000) beschränkt ab 450€, ab 625€ auch mit 10GBASE-T.

du kannst doch atom nicht mit ryzen vergleichen. der ryzen spielt irgendwo zwischen xeon e3 und e5

und die xeon d teile sind bei gleicher leistung auch deutlich teurer (mal davon abgesehen, dass es keinen xeon d gibt der mit dem 3950 auch nur ansatzweise mithalten kann)

natürlich ist das eine weirde nische aber sie existiert und asrock positioniert sich da sehr gut.

 

[Holt]

ob der einmal im Jahr wegen Speicherfehler neu startet.

Speicherfehler können mehr als nur Reboots bewirken, korrupte Daten und sogar korrupte Dateisysteme gehören auch dazu und ob die dann auch noch Hupe sind?

Nicht jeder Server braucht ECC.

Brauchen ist immer ein schlechtes Wort in diesem Zusammenhang, denn wirklich brauchen im Sinne von, ohne läuft es gar nicht, gibt es bei ECC RAM eigentlich nicht. Es ist ein Feature für die Sicherheit der Daten und Stabilität des Systems und da muss eben selbst entscheiden, welches Niveau er haben möchte.

du kannst doch atom nicht mit ryzen vergleichen.

Das ist klar, aber die Frage ist ja eben auch, wie viel CPU Performance man nun wirklich braucht bzw. haben will. Wenn es nur ein kleiner Heimserver ist der im Keller steht, dann kann so ein Atom auch reichen, gerade die Goldmont sind ja nicht mehr so lahm wie es manche beim Begriff Atom denken.

mal davon abgesehen, dass es keinen xeon d gibt der mit dem 3950 auch nur ansatzweise mithalten kann

Wir wissen noch nicht was der 3950 genau leisten wird, aber der Xeon-D 2183IT 16 Kerner und auch der Xeon-D 2191 18 Kerner sollten wenigstens ansatzweise mithalten können, zumal deren Basistakt sich ja auf die Nutzung der AVX512 Einheiten bezieht, ohne AVX liegt deren Takt dann weitaus höher. Außerdem halten die Xeon-D zumindest auf den Boards von Supermicro sich bei der Leistungsaufnahme an die TDP und des sind SoCs, die sogar 10GbE Ports und bis zu 14 SATA Ports bieten. Außerdem unterstützen sie LRDIMM sowie RDIMM und damit einen größeren RAM Ausbau bis 512GB, zu günstigeren Preisen pro GB als mit UDIMM.

Es ist immer die Frage was man damit machen will und was dafür nötig ist, aber wenn hier jemand von einem Server mit 30 HDDs redet, so sollte man dafür dann auch passende Enterprise Nearline HDDs nehmen und wenn es 30 sind, wird man nicht die mit kleinen Kapazitäten haben, sondern eher schon solche mit vielen TB pro HDD und dann kosten alleine die HDDs so viel, dass man am Server auch nicht mehr einzusparen braucht, da dies den Kohl dann auch nicht mehr fett macht, sondern eher zu Problemen führt.

Wenn es unbedingt AM4 mit IPMI sein soll, so gibt es eben nur das eine Board, welches aber laut CPU Supportliste maximal den 3700X unterstützt, der 3900X fehlt auf der Liste und 10GbE muss man nachrüsten.

 

[Nixdorf]

ob die dann auch noch Hupe sind?

Beim genannten Beispiel ja. Wenn das OS platt ist, setzt man es neu auf. Wenn zwei Folgen "Vampire Diaries" eine Macke haben, dann spielt man sie von der DVD oder einem Backup-Laufwerk neu ein. Im verlinkten Artikel war es hingegen der "Virtualisierungs-Server für sein Lab", da kann ich die Relevanz von ECC nicht hinreichend einschätzen. Das hängt auch an deren Lebensdauer und daran, ob das überhautp wichtige Daten sind. Ich tippe aber, dass die VMs irgendwo als Template gesichert sind, und man sich da ggf. bei einem Datenverlust kurz ärgert und es dann neu einrichtet.

Es ist ein Feature für die Sicherheit der Daten und Stabilität des Systems und da muss eben selbst entscheiden, welches Niveau er haben möchte.

Nichts anderes habe ich doch gesagt. ECC muss jeder selber wissen. Und IPMI ist ein Komfort-Feature, dass manche schlicht haben wollen. Schon in den Keller rennen kann nervig sein.

 

[supadupa007]

Hallo,

ich denke gerade mein NAS neu zubauen. Wollte da auf INTEL gehen, aber verdammt nochmal, das wird verdammt teuer.

Die AMD Ryzen 3000 Prozessoren gefallen mir da schon besser, vorallem, wegen der Energieeinsparungen. Hat ja Der8auer richtig gut gemessen.

ECC Speicher und IPMI ist mir vollkommen egal, das sind alles Komfortfunktionen, die ich nicht benötige.

Ich habe vor, mir einen NAS Server mit 24Bay Enclosure zu bauen und da sind mir eher PCIe Ports mit ensprechenden Lines wichtig, dieser soll nur als Speichermedium für meinen PLEX Server sein, der auf einer extra Maschine läuft.

Was ich brauche ist, minimum 2x PCIe x8 für den SAS Controller und die 2xTGb Ethernet Karte.

Was haltet Ihr von diesem Board?

ASRock Rack X470D4U

https://geizhals.de/asrock-rack-x470d4u-a2009567.html


Grüße,
sd007

 

[Nixdorf]

Sagt

das wird verdammt teuer

ECC Speicher und IPMI ist mir vollkommen egal

Sucht sich 250€-Board mit ECC und IPMI raus.

Sorry, aber 2x PCIe x8 geht viel günstiger (oder 2x PCIe 4.0 x4). Da du von Energieeinsparungen redest, solltest du kein Board mit X570 nehmen, denn da verbraucht schon der Chipsatz durchgehend 5-7 Watt mehr. Damit bleibt nur noch der erste Link. Ich sag mal, suche unter denen hier nach benötigten Features aus.

Wird das dann eigentlich ein System mit 2200G/2400G/3200G/3400G, weil die beiden x8 mit Non-GPU bestückt werden? Oder wird es doch was Dickeres, und als Arme-Leute-Grafik kommt was in einen der x1-Slots?

Ergänzung (16. August 2019)

Wollte da auf INTEL gehen, aber verdammt nochmal, das wird verdammt teuer.

Was hattest du da eigentlich rausgesucht? So riesig kann der Preisunterschied doch nicht gewesen sein!?

Und per se würde ich erstmal sagen, das im Vergleich AMD mit Intel wohl eine Intel-Lösung wahrscheinlich mit weniger Verbrauch realisierbar wäre. Die Kiste läuft ja nicht ständig auf Volllast, wo Ryzen 3000 dann die Vorteile von 7nm ausspielen kann. Und im Idle sehen Intel-Systeme momentan etwas besser aus.

 

[supadupa007]

Und per se würde ich erstmal sagen, das im Vergleich AMD mit Intel wohl eine Intel-Lösung wahrscheinlich mit weniger Verbrauch realisierbar wäre. Die Kiste läuft ja nicht ständig auf Volllast, wo Ryzen 3000 dann die Vorteile von 7nm ausspielen kann. Und im Idle sehen Intel-Systeme momentan etwas besser aus.

Was könntest Du dann empfehlen? Ich sehe da nicht viel, was meinen Anforderungen gerecht wird.

Ich will halt ein Mainboard mit echten 2x PCIe x8, da die Controller das schon verlangen. IGP kann rudimintär sein, da der PLEX Server schon ne GTX1050 drin hat, somit brauche ich nur die Perfomance für den SAS Controller und 2xTGbit Ethernet Adapter im NAS Server.

Der NAS-Server läuft ja nur ca. 10% des Tages wirklich, der Rest ist IDLE.