NAS Eigenbau

[peter.hahn]

ein b550 board + 5950x hatte den niedrigsten idle verbrauch
https://www.computerbase.de/2020-11/amd-ryzen-5000-test/6/

da du nun sagt 10kerne würde der 5900x passen + absenken des powertargets, uv, begrenzen maximaler takt um das ganze noch sparsamer zu bekommen, da du ja nicht die höchsten boost takte erreichen willst.

zu ecc oder normalem speicher gilt auch hier, google fragen, aber viele boards und ryzen 5000 können auch ecc (wenn auch nicht offiziell)

 

[Timberwolf90]

ein b550 board + 5950x hatte den niedrigsten idle verbrauch

Und wer garantiert dem TE, dass das B550 Mainboard auch im Headless-Mode (ohne verbaute GPU) überhaupt bootet?

Für den TE würde sich viel eher das ASRock Rack X470D4U2-2T, welches bereits zwei 10Gbit NICs mitbringt und sich dank IPMI 2.0 garantiert ohne zusätzliche GPU betreiben lässt, anbieten.

 

[Adagatiya]

Basierend auf dem Vorschlag von @Timberwolf90 habe ich mir nun folgendes zusammengestellt:

Mainboard: ASRock Rack X470D4U2-2T ab € 342,50 (2021) | Preisvergleich Geizhals Deutschland
CPU: AMD Ryzen 5 3600, 6C/12T, 3.60-4.20GHz, boxed ab € 189,00 (2021) | Preisvergleich Geizhals Deutschland
RAM: Crucial DIMM 16GB, DDR4-2666, CL19-19-19 (CT16G4DFD8266) ab € 54,49 (2021) | Preisvergleich Geizhals Deutschland oder Samsung DIMM 16GB, DDR4-2666, CL19-19-19, ECC ab € 89,90 (2021) | Preisvergleich Geizhals Deutschland
Speicher: 2x Samsung SSD 870 QVO 2TB ab € 188,69 (2021) | Preisvergleich Geizhals Deutschland
Netzteil: Unsicher, wahrscheinlich reichen ~250W, oder?

Was meint ihr dazu? Ist das so sinnig oder habt ihr Verbesserungsvorschläge?

 

[Timberwolf90]

Was meint ihr dazu?

Für mich scheint das alles nicht sehr gut durchdacht. Für was wählt man ein Mainboard mit 10GBit/s NIC aus wenn man daran nur SSDs, welche mit SATA 6 Gbit/s angebunden sind verbaut.

Zumal die ausgewählte Samsung 870 aufgrund des QLC Flash Speichers, wohl die denkbar schlechteste Wahl für eine SSD im Serverbeitrieb ist.

Solange es Laufwerke welche auf leistungsfähigerem TLC Speicher so wie z.B. die Crucial MX500 2TB zu günstigeren Konditionen gibt, würde ich unter keinen Umständen ein QLC Flash Laufwerk verbauen.

Um den SATA 6 Gbit/s Flaschenhals zu umgehen, wäre der Einsatz von zwei NVMe Laufwerken, um auch über das Netzwerk die vollen 10GBit/s ausnutzen zu können, nur mehr als konsequent. Ein günstiges Laufwerk mit guter Performance wäre z.B. die ADATA XPG Gammix S11 Pro 2TB

Beim RAM würde ich definitiv auf ECC Module setzen, da sich der Aufpreis relativ in Grenzen hält: Micron DIMM 16GB, DDR4-3200, CL22-22-22, ECC

Es sollten mindestens 2 RAM Riegel verbaut werden, um auch die Leistungsvorteile des Dual-Channel-Modus nutzen zu können.

Beim Netzteil, würde ich auf ein stromsparendes externes Modell, wie man es von den diversen Notebooks kennt setzten:

Nanum SE-P180Q Wandlerplatine 180W
Leicke 150W extern -> damit steht später selbst einem Ryzen 5950X im Eco Modus (65W cTDP) und einigen zusätzlichen Laufwerken nichts mehr im Weg.

 

[douggy]

Ist denn 10GBit überhaupt notwendig oder verlangt? Und ECC?

Geht vllt. auch was in Richtung Odroid H2+?

 

[Timberwolf90]

Ist denn 10GBit überhaupt notwendig oder verlangt? Und ECC?

Siehe Post #1 und Post #7 des TE:

16 GB DDR4-RAM mit 3200 Mhz-Taktung, aber erweiterbar, hier weiß ich nicht, ob ggf. ECC-RAM interessant wäre

Die Festplatten haben so oder so die gleiche Geschwindkeit und sollten durch ein 10Gbit Netz im ganzen Haus auch nicht behindert werden.

Für die gedachten Anwendungsfälle des TE hat der Odroid H2+ meiner Meinung nach deutlich zu wenig Leistung, zumal die Erweiterbarkeit auch mehr als nur stark Eingeschränkt ist.

In das ASRock Rack X470D4U2-2T kann man in für zukünftige Speicher-Upgrades einfach eine ASRock Rack X470D4U2-2T stecken und schon finden bis zu 4 weitere NVMe Laufwerke in dem System Platz.

 

[cgs]

@Adagatiya
Nur so eine Idee:
Viele Leute verwenden Proxmox und lassen TrueNAS als VM laufen.
Für einen Virtualisierungs-Server willst Du soviel RAM wie geht. >64GB insbesondere bei TrueNAS; TrueNAS alleine mag schon 16GB, eine paar VMs dazu und 32GB werden knapp.

Idee2:
Wenn der Stromverbrauch bei Idle kein entscheidendes Kriterium ist. Würde ich ernsthaft einen EPYC in Betracht ziehen.

Ergänzung (20. Januar 2021)

Weil das Geschwindikeitstechnisch welten sind die ein interner Speicher und ein NAS Speicher trennen.

Bei einem Festplatten Array das in einer NAS, die über 10GBe (RoCE) angebunden ist, merke ich keinen Unterschied zu eingebauten Festplatten.

 

[peter.hahn]

Bei einem Festplatten Array das in einer NAS, die über 10GBe (RoCE) angebunden ist, merke ich keinen Unterschied zu eingebauten Festplatten.

?
das schreibt er doch gar nicht.
er sagt eine 550MB/s lesen SSD ist weniger als 1,2GB/s dass über Netzwerk möglich wäre.

Und was für ein Raid hast du am laufen? und was für HDDs verbaut? Und definiere keinen Unterschied merken.. Für mich liest es sich so, als hättest du nicht verstanden..

Eine SSD/Raid/HDD Lösung die 1,2GB/s lesen und schreiben kann, bringt mehr Leistung als eine mit 550MB ..

 

[Timberwolf90]

Würde ich ernsthaft einen EPYC in Betracht ziehen.

In Anbetracht, der bereits veröffentlichten Ryzen 5000 Serie ist der AM4 Sockel die deutlich effizientere und günstigere Wahl. Vor allem im Bezug auf den Upgrade-Pfad.

Sollte der vom TE ausgesuchte Ryzen 5 3600 nicht mehr ausreichen, kann er immer noch auf eine im Multicore 3x so leistungsfähigen Ryzen 9 5950X aufrüsten, welcher zu dem Zeitpunkt auch sicherlich in breiter Masse verfügbar ist bzw. sich günstiger am Gebrauchtmarkt erstehen lässt.

 

[cgs]

@peter.hahn Ich beziehe mich auf @Fujiyama Du warscheinlich auf @Timberwolf90

@Timberwolf90 Bei Ryzen kommt mal halt recht schnell ans Ende der PCIe Lanes. Bei Server >1200EUR kommen schon Einstiegs-/Gebrauchte EPYC mit vielen PCIe Lanes, und Server ECC RAM in Betracht.

Das Problem ist halt, wenn er TrueNAS mit zfs verwendet, und dann auf die Idee kommt "Oh, ein SLOG wäre cool." Dann kann er bei einem Ryzen keine AIC Optane Karte mehr reinbauen, bei einem EPYC aber schon.

 

[Timberwolf90]

Bei Ryzen kommt mal halt recht schnell ans Ende der PCIe Lanes.

Für Privatanwender bietet die AM4 Plattform mehr als genug PCIe Lanes. I/O Fetischisten können auch zum 100€ teuren ASRock Rack X570D4U-2L2T, welches PCIe 4.0 Unterstürzung bietet greifen.

Selbst im günstigere ASRock Rack X470D4U2-2T kann man ohne Probleme AIC Optane Steckkarte verbauen. Somit hätte man immer noch einen x8 elektrisch angebundenen PCIe x16 Slot für zwei zusätzliche NVMe mit Laufwerke, mittels dem Adapter AOC-SLG3-2M2-O von Supermicro, frei.

Ältere und günstige gebrauchte EPYC Systeme sind was die Leistungsaufnahme und die Single-Core Leistung angeht einfach nicht mehr konkurrenzfähig.

 

[mgutt]

Basierend auf dem Vorschlag von @Timberwolf90 habe ich mir nun folgendes zusammengestellt:

Mainboard: ASRock Rack X470D4U2-2T ab € 342,50 (2021) | Preisvergleich Geizhals Deutschland
CPU: AMD Ryzen 5 3600, 6C/12T, 3.60-4.20GHz, boxed ab € 189,00 (2021) | Preisvergleich Geizhals Deutschland

Was meint ihr dazu? Ist das so sinnig oder habt ihr Verbesserungsvorschläge?

Das wären dann im Idle so 40W. Was sagt deine Stromrechnung dazu bzw findest du das nicht ein bisschen viel für ein SSD-only NAS?

Nur B550 + 4000 oder 5000 Ryzen ist sparsam. Alle anderen AMD sind Stromschlucker.

Dann ist dir offensichtlich nicht klar, dass Samba nur einen Thread nutzt. Dh es liegen Welten zwischen der Performance einer lokalen NVMe mit x parallel laufenden Lanes und einer, die über einen einzigen Netzwerk-Kanal angesprochen wird. Spiele auf einem Netzlaufwerk installieren, kannst du also vergessen. Das wird nicht zufriedenstellend funktionieren. Was dagegen evtl funktioniert ist Remote Gaming. Doch ein 250W Netzteil und keine GPU schließen dies offensichtlich aus. Wozu also brauchst du bitte so eine potente CPU auf einem NAS? Dir reicht auch ein Pentium G5400 auf einem Asrock B365 Pro 4. Zwei M.2 rein, 10G Karte und fertig. Das was du da an Containern aufgelistet hast, wird keine CPU wirklich zum Schwitzen bringen. Selbst wenn dir ein G5400 zu schwach erscheint, nimmst du eben einen i3-9100/9300. Dann hast du aber wirklich genug Leistung.

Nur mal so zum Vergleich. Ein Synology NAS +-Modell mit 10G Karte nutzt auch nur einen Atom-Prozessor und der ist 4x schwächer als ein i3.

Bzgl. des OS hatte ich TrueNAS und Unraid im Blick, wobei mir Unraid sinnvoll erscheint, da hier die Docker-Unterstützung sehr gut sein soll. Allerdings hatte ich dort vernommen, dass die Performance-Nutzung von SSDs nicht so effizient sein soll wie bei anderen OS.

Die häufigste Unraid Nutzung ist Hot und Cold Storage. Dh stark frequentierte Daten wie Docker & Co auf die SSDs und Archiv-Daten wie Backups auf die HDDs. Man kann Dateien eines Shares aber auch auf beliebig vielen HDDs und SSDs verteilen. Greift man nun auf so einen Share zu, stellt Unraid diese Dateien im Hintergrund so zusammen, dass du sie in einem Ordner betrachten kannst. Das produziert zusätzliche Prozessorlast, die zu Lasten der Geschwindigkeit gehen kann. Allerdings kann man über das Netzwerk auch direkt auf die SSDs zugreifen, wenn einem gerade die maximale Performance wichtiger. Das mache ich auch, wobei... mittlerweile kaum noch, da durch mein Upgrade auf 64GB RAM auch der normale Share-Zugriff volle Geschwindigkeit bietet

Jedenfalls bei deinem SSD-Only Vorhaben egal. Nutzt du eben ausschließlich die direkte SSD Freigabe. Unraid braucht übrigens einen Datenträger um das Array zu starten. Vorher ist Docker nicht verfügbar. Da reicht aber auch ein USB Stick.

lieber mehr niedrig getaktete Kerne hatte ich mir gedacht

In Linux laufen viele Prozesse Single Threaded. Daher ist das Gegenteil besser für die Performance. Also lieber wenige starke Kerne, als viele schwache.

 

[v3nom]

In Linux laufen viele Prozesse Single Threaded. Daher ist das Gegenteil besser für die Performance. Also lieber wenige starke Kerne, als viele schwache.

Die Erfahrung habe ich mit meinem Atom und unRAID auch gemacht.
10GbE ist dabei leider noch nicht so verbreitet bzw. es gibt wenig Input in die Richtung.

 

[mgutt]

10GbE ist dabei leider noch nicht so verbreitet bzw. es gibt wenig Input in die Richtung.

Kennst du meinen Guide? SMB Multichannel mit RSS und Direct Disk Access machen einen gewaltigen Unterschied.

 

[v3nom]

Werde ich mir nach dem Feierabend einmal durchlesen, danke

 

[Skysnake]

In Linux laufen viele Prozesse Single Threaded. Daher ist das Gegenteil besser für die Performance. Also lieber wenige starke Kerne, als viele schwache

Also dem würde ich jetzt nicht so einfach zustimmen wollen.

Gerade unter Linux gibt es viele Applikationen mit mehreren Threads oder sogar Prozessen.

Und wenn es Single threaded ist kann man mit parallel oder Skript das manuell parallelisieren oder sich auf die Suche nach einer parallelisierten Variante machen da findet man meist etwas

 

[mgutt]

Gerade unter Linux gibt es viele Applikationen mit mehreren Threads oder sogar Prozessen.

Nur damit das klar ist. Ich meine mit Linux das OS eines NAS und vor allem Unraid, was hier Thema ist. Single Threading hat man da im Alltag bei samba, tar, gzip, rsync, rclone, etc. Bei Unraid ganz speziell shfs. Vielem kann man mit Scripting auch Multi Threading beibringen, aber das kann nicht jeder und ich kenne in der Unraid Welt einige mit Uralt Xeons, die mit zig Kernen nicht die Performance haben, die mein Backup NAS mit seinem popeligen J5005 bereits besitzt.

 

[Skysnake]

Also tar/gzip sind parallel beim packen. Gut beim entpacken macht es kaum Sinn, aber das ist schon verdammt schnell.

Rsync gibt es auch in parallel.

Wobei du recht hast, die meisten sind nicht in der Lage zu skripten und auch nicht sich nach Alternativen umzuschauen. Für 95%+ plus der Leute reicht das aber aus.

Gerade bei rsync muss ich aber auch sagen, haben wir selbst meist nicht den Bedarf für die parallelen Varianten. Meist ist man seriel schneller als bevor man sich Gedanken macht wie man es parallelisiert. Erst wenn man PB migrieren muss, macht das wirklich richtig Sinn, da wird man ansonsten nämlich nicht mehr fertig. Da muss man dann aber auch gleich mehrere Knoten nehmen.

Also nen core müsste da meiner Erfahrung nach schon echt sehr sehr wenig Leistung haben, damit man da merklich ausgebremst wird.