Energieeffizientes Board/CPU für NAS mit viel SATA + ECC RAM

[I'm unknown]

Hallo zusammen,

bin an der Zusammenstellung für ein NAS mit ZFS als Dateisystem (vermutlich TrueNAS Scale) welches auch VMs und prinzipiell auch Luft nach oben haben muss (10 GBit Ethernet als Erweiterung + Performance in den VMs).

Aktuell wäre meine Präferenz ein ASRock Rack X470D4U um den vorhandenen 3700X weiter zu verwenden, ein BeQuiet E10 500 liegt auch noch herum.
Dazu dann 2x32 GB ECC RAM, 5-6 >= 8 TB SATA SSDs und 2x NVME für das OS / Cache / VMs + i350 Karte mit 2 oder 4 weiteren Ethernetports.

Anforderungen sind:

• >= 6 SATA
• ECC RAM
• Raid Z2
• So sparsam wie möglich, so viel Energie wie nötig

Den 3700X und das E10 muss ich nicht verwenden - wenn es deutlich sinnvollere Alternativen gibt würde ich auch komplett neu kaufen (Budget ist erstmal offen, so wenig wie möglich, so viel wie nötig - für das vorgeschlagene Setup belaufen sich die Kosten auf ~2k€, alleine die Platten sind dabei schon >1k€ (14 TB pro Platte)).

Eine möglichst effiziente USV steht auch noch auf der Liste - gerade hier wären Vorschläge sehr hilfreich.

Bin gespannt auf Vorschläge - gerade auf die Liefersituation bei der Nische...

 

[Iqra]

Vergiss die SATA Ports und leg nen HBA drauf. Kann man dann auch mitnehmen. Und es schränkt die Board Wahl weit weniger ein.

Usv ist natürlich teuer, rechne mit dem PC Preis nur für die usv, vermutlich eher mehr. Jedenfalls dann wenn’s was ordentliches sein soll.

 

[AGB-Leser]

Kommt auf deine Ansprüche bei der usv an. Ich habe eine apc sua750i mit Managementkarte für 120€ mit Akkus damals gebraucht gekauft. Die läuft super. Mit USB an die nas ist am einfachsten.

Ansonsten schau mal, ob du die Festplatten aus externen Festplatten ausschlachten kannst oder schau bei mydealz nach entsprechenden Angeboten

 

[ofneo]

Hallo,
ich habe das Board, das du kaufen möchtest, im Einsatz und bin mit einem Ryzen 5 1600, aber nur 8 GB ECC-Ram, 2 SSD, bei ca. 34 Watt im Leerlauf. Mit einem neueren Prozzi und aktuellem Bios würde sich noch einiges rausholen lassen.
Festplatten habe ich ausgelagert in ein DIY-NAS.

Das Board ist super. Du musst nur überlegen wie du alles anschließen möchtest. Eine Raid-Karte im HBA-Modus musst du prüfen, meine Raidkarte hat im Leerlauf 10-15 Watt verbraten. Hier könnte eine SATA-PCI Erweiterungskarte ausreichen, denn die Platten müssen nur durchgereicht werden und das spart einige Watt.
Ja, man kann es übertreiben mit dem Stromsparen, bei mir war es aber auch mehr das Ausprobieren.

Ergänzung (12. Dezember 2022)

USV ist das SMT750RMI2UC, bin da auch sehr zufrieden damit.

 

[AGB-Leser]

Ich würde bei zfs nicht mehr auf ein Hardware-RAID setzen.

 

[Iqra]

Absolut richtig, daher hba. Allerdings kann man raid Controller üblicherweise als IT flashen. Macht Sinn in Bezug auf die Kosten und ob man sich die raid Funktion offenhalten will.

Simples passthru geht auch. Aber: sata ist üblicherweise nicht dediziert per Lane. Da wird geteilt. Normalerweise nicht so auffällig, aber raidz hat doch schon was an Durchsatz vor allem gleichzeitig auf allen Ports.

Strom Ok, aber ich denke an der Kernaufgabe eines fileservers sollte man nicht rütteln. Sonst hat nachher das Ding mehr mit der Selbstverwaltung zu tun als mit dem ausliefern.

 

[ofneo]

Da bin ich bei euch, ich kann nur zum Board etwas sagen.
Ansonsten hatte ich mein Projekt auf Stromsparen aufgebaut, was natürlich in einem größeren und professionelleren Umfeld ein "Nebenschauplatz" sein sollte und die zuverlässigkeit im Vordergrund steht.
Daher auch die Aussage zur Raid-Karte im HBA-Modus.

Finde du bist gut am Sweepspott angekommen, mehr Strom kann man nur auf Kosten der Zuverlässigkeit sparen.
Oder die HDD durch SSD tauschen, aber dann zerstört der Invest auf Jahre die Stromersparnis

 

[AGB-Leser]

Ach ja, nochwas zur usv:
Je nach Bauart haben die einen Eigenbedarf zwischen zwanzig bis fünfzig Watt. Also reine Bereitschaft, ohne Akku zu laden.

 

[DayvanCowboy]

Vergiss die SATA Ports und leg nen HBA drauf

Das halte ich für quatsch. Absolut unnötig, outdated, gerade bei ZFS.

m den vorhandenen 3700X weiter zu verwenden

Ich halte das von dir vorgeschlagene Board für eine gute Lösung. Gibt es einen Grund für die x470 Wahl, anstatt X570?

Als Alternative würden sich embedded Xeon-D als Plattform anbieten, wie z.B:

https://www.supermicro.com/en/products/motherboard/x11sdv-4c-tp8f

 

[I'm unknown]

Vielen Dank für die rege Diskussion!

Vergiss die SATA Ports und leg nen HBA drauf. Kann man dann auch mitnehmen. Und es schränkt die Board Wahl weit weniger ein.

Das hilft mir nur etwas wenn ein alternatives Board deutlich günstiger wäre bei weniger Strombedarf. Beim ausgewählten könnte ich vier SSDs in eine x16 Adapterkarte stecken da das BIOS eine Aufteilung auf 4x4 kann - das geht bei vielen Desktop Boards leider nicht.

Usv ist natürlich teuer, rechne mit dem PC Preis nur für die usv, vermutlich eher mehr.

An die USV habe ich zwei Anforderungen: Sie soll effizient arbeiten (wenn nochmals der IDLE Verbrauch drauf kommt ist das unangenehm) und sie muss genügen Leistung + Reserve haben um das NAS kontrolliert herunter zu fahren. Ein Weiterbetrieb über z.B. 30 oder mehr Minuten ist nicht erforderlich.

Ansonsten schau mal, ob du die Festplatten aus externen Festplatten ausschlachten kannst oder schau bei mydealz nach entsprechenden Angeboten

Da hätte ich schon ganz gerne welche mit 24/7 Freigabe + Fehler erst nach 1x10^15 anstatt 1x10^14. Favorit wäre wegen der P/L aktuell Toshiba.

Ja, man kann es übertreiben mit dem Stromsparen, bei mir war es aber auch mehr das Ausprobieren

Das letzte Watt ist mir egal, nur wenn es statt mit 80 auch mit 50 Watt geht ist der Unterschied schon spürbar.

USV ist das SMT750RMI2UC, bin da auch sehr zufrieden damit.

Hast du auch mal nachgemessen wie viel die zusätzlich an Strom benötigt?

Ich würde bei zfs nicht mehr auf ein Hardware-RAID setzen.

War für mich auch nie eine Option.

Oder die HDD durch SSD tauschen, aber dann zerstört der Invest auf Jahre die Stromersparnis

Das ist bei der anvisierten Größe auf die Laufzeit betrachtet keine Option .

Je nach Bauart haben die einen Eigenbedarf zwischen zwanzig bis fünfzig Watt. Also reine Bereitschaft, ohne Akku zu laden.

Ist mir bewusst, daher die Frage nach empfehlenswerten Modellen. Verglichen mit einem ARM NAS welches um die 2 Watt im Idle benötigt wird mein Wunschsetup keine sparsame Lösung.

Gibt es einen Grund für die x470 Wahl, anstatt X570?

Verfügbarkeit der für mich gewünschten Boards und auf PCIe 4.0 kann ich verzichten. Das würde auf die Laufzeit vom NAS maximal bei SSDs minimale Vorteile bieten, alles andere geht auch mit PCIe 3.0 (die 20 Lanes der CPU werden auf die drei Steckplätze verteilt).

Als Alternative würden sich embedded Xeon-D als Plattform anbieten, wie z.B:

https://www.supermicro.com/en/products/motherboard/x11sdv-4c-tp8f

Sehr interessantes Board da wirklich alles drauf wäre was ich gerne hätte - nur leider wie bei den meisten Intel Lösungen preislich uninteressant da nur ein 4C/8T Skylake verlötet ist .


Zusammenfassend sehe ich: So ganz daneben liege ich mit dem geplanten Setup nicht, Einsparpotential ist wohl bei drei Themen am Größten:

1. Effiziente USV
2. Falls es das AM4 Setup wäre der Schritt zu einer Pro-APU mit ECC Unterstützung langfristig interessant bezüglich Verbrauch
3. Kleinere HDDs kaufen und erst bei Bedarf aufrüsten (mir ist bewusst dass ein ZFS RAID nicht mit einem weiteren Datenträger erweitert, sondern nur mit größeren hochgezogen werden kann)

Ein HBA Adapter wäre für die Zukunft noch eine Option, allerdings wird der Server erstmal durch das 1 Gbit/s Netzwerk limitiert, daher sehe ich aus Performancesicht momentan keinen Grund diesen Schritt zu gehen.

Sollte ich was übersehen haben bitte gerne hier die Kritik äußern.

 

[ofneo]

Hi,
die USV habe ich noch nie nachgemessen, aber die Suche und meine "Erfahrung" deckt sich ziemlich. Ich rechne zwischen 5 und 10 Watt als Verbrauch. Auf der Page von APC steht im Green-Mode von 98% Effektivität. Was bei meinen aktuellen 110 Watt Verbrauch des Rack ca. 3 - 5 Watt bedeutet. Würde bei deiner Konfig von ca. 10 - 15 Watt ausgehen. Wir bedenken, bei mir ist es im Home-Einsatz.

Welches OS willst du einsetzen? Bei vielen kannst du Link Aggregation nutzen, dann hast du schon 2x1Gbit/s Netzwerk.

Zumal kannst du über das Bios auf dem Board auch die TDP der CPU eine Stufe reduzieren. Bringt bei Vollast weniger Verbrauch bei etwas weniger Performance.
ECC dürfte bei dir auch kein Problem sein, auch wenn es oft nur heist es müssen die Pro-CPU sein. Die Normalen können es auch alle. Nur eine Sache des Chipsatzes und Bios.

Thema ist dann nur, wie die Platten dran bekommen. Und der Rest macht das OS.

 

[snaxilian]

Das halte ich für quatsch. Absolut unnötig, outdated, gerade bei ZFS.

Ich halte ja dein gefährliches Halbwissen für Quatsch... Bitte lies noch einmal nach was ein HBA ist, was ein Raid-Controller ist und wo die Gemeinsamkeiten und Unterschiede liegen.

Sie soll effizient arbeiten (wenn nochmals der IDLE Verbrauch drauf kommt ist das unangenehm) und sie muss genügen Leistung + Reserve haben um das NAS kontrolliert herunter zu fahren.

Schwierig, da bei USVs die Effizienz zwar mit betrachtet wird aber nicht als eine der wichtigsten Kriterien. Die Frage ist: Brauchst du wirklich eine USV? Probleme treten ja "nur" auf wenn gerade ein Schreibvorgang stattfindet und der Energieausfall genau dann passiert und nicht nachdem die Daten auf den Pools liegen.
Auch holst du dir so einen weiteren SPoF ins Haus da der Server ausfällt wenn die USV ein Problem hat ODER das Netzteil. Daher ist eine USV oft erst dann sinnvoll wenn man zwei Netzteile hat und die USV an eins der Netzteile kommt. Stromausfall -> USV federt ab. Ausfall USV -> anderes Netzteil übernimmt. Eins der beiden Netzteile fällt aus -> das andere übernimmt.
"Brauchst" oder willst du denn eine VFI, VI oder VFD USV? VFI und VI haben mehr aktive Bauteile und daher einen höheren Eigenverbrauch aber eine VFD will man eigentlich nicht am Server haben...

Verfügbarkeit der für mich gewünschten Boards und auf PCIe 4.0 kann ich verzichten.

https://www.computerbase.de/forum/threads/selbstbau-nas-im-10-zoll-rack.1932675/ Ja das sind 20 Seiten und ja du solltest trotzdem alle lesen. Der Autor hat niedrigen Stromverbrauch nicht perfektioniert aber schon sehr nahe dran. Vielleicht kannst dir da Inspiration holen.
Bedenke bitte: In deinem Fall werden idR die HDDs den Großteil des Verbrauchs erzeugen.

mir ist bewusst dass ein ZFS RAID nicht mit einem weiteren Datenträger erweitert, sondern nur mit größeren hochgezogen werden kann

Ja und nein. Du kannst technisch einen Pool um eine weitere single-vDev erweitern aber das wäre ziemlich dumm daher wird zurecht davon abgeraten. Du kannst aber zu einem bestehenden Pool weitere vDevs hinzufügen aber es findet afaik noch kein automatisches rebalance der Daten statt. Ansonsten bleibt nur nach und nach alle bestehenden HDDs durch größere tauschen wie du schon geschrieben hast.

Welches OS willst du einsetzen? Bei vielen kannst du Link Aggregation nutzen, dann hast du schon 2x1Gbit/s Netzwerk.

Steht im Eingangspost und welchen der 7 Modi meinst du? Nicht jede Variante unterstützt Nutzung mehrerer NICs und manche funktionieren nur mit entsprechenden Switchen und auch dann ist es kein Garant für eine gute Verteilung sondern im worst-case laufen trotzdem 2+ Clients über die gleiche NIC. Alternativ könnte man einen Blick auf SMB Multichannel werfen wobei ich da den aktuellen Status der Implementierung bei TrueNAS Core/Scale nicht kenne.

 

[DayvanCowboy]

Ich halte ja dein gefährliches Halbwissen für Quatsch...

OK, was sind deiner Meinung die Vorteile eines Broadcom/Areca etc. zu den Onboard Lösungen von Supermicro/Asrock bei ZFS?

 

[Bohnenhans]

Da gibt es sicher nicht wirklich einen - ich habe in meinen Servern LSI 4i aber aber habe die auch schon gegen einfachste PCIE 1.0 getauscht zum testen - bei 10 GBit machte das keinen messbaren Unterschied (9 Daten HDD Setup)

Wegen COW finde ich eine USV weniger wichtig, dann lieber in ein gutes Backup Konzept investieren.

Meine Server HW ist sicher deutlich leistungsschwächer bei gleichzetig sehr viel grösserem verwaltetem Speicherplatz und hat mit 10 GBit 0 Probleme - für rein Fileserver ist das Setup sicher dick over the top - VM Nutzung wird hier bestimmen.

 

[DayvanCowboy]

Da gibt es sicher nicht wirklich einen

Ich wüsste zumindest keinen, und wäre daher sehr an einer Erläuterung von @snaxilian interessiert. Für mich haben die Dinger in vielen Szenarien ihre Daseinsberechtigung verloren, zum einen wegen z.B. ZFS, zum anderen wegen dem shift zu nvme, inzwischen wurden ja auch die ersten HDDs mit der Schnittstelle vorgestellt.

 

[Bohnenhans]

Für etwas grössere Fileserver mit eher vielen HDDs wegen RAID etc verteilt sich eh die Last, da reichen "langsame" Schnittstellen - ausser man geht in den Bereich über 10 GBit - aber zu Hause sind doch die meisten bei max 10 GBit.

Bei 40 GBit und < 10 HDDs da muss man sich sicher was überlegen...

 

[snaxilian]

was sind deiner Meinung die Vorteile eines Broadcom/Areca etc. zu den Onboard Lösungen von Supermicro/Asrock bei ZFS?

Stelle spezifische Fragen, dann bekommst du auch eher spezifische Antworten... Willst du jetzt Unterschiede und Vorteile von SAS und SATA oder HBA aufs Board gelötet vs. HBA per PCIe Karte gesteckt?
Meine konkrete Aussage bezieht sich ja auch darauf, dass es eben keinen Quatsch ist einen HBA zu verwenden anstatt nur die onboard SATA Ports, deine Rückfrage jedoch liest sich in eine andere Richtung. Daher bitte spezifischer werden, dann können wir beide es besser vermeiden ggf. aneinander vorbei zu reden.

Grundlegend:

• SAS bietet eine höhere Bandbreite ggü. SATA und SAS kann redundant betrieben werden.
• Die HBA-Chips auf den Boards von Supermicro, Asrock und Co sind auch nur Broadcom/Areca Chips und da auch in der Regel per PCIe angebunden.

Wenn man einen low-performance-Server/Selbstbau-NAS für zuhause sich zusammen klöppelt kann man natürlich erst einmal die SATA und SAS Ports, sofern vorhanden, des Boards verwenden. Braucht man aber eine größere Anzahl an Ports nicht an einem HBA vorbei. Versucht man ein Board zu finden, dass direkt ausreichend viele SATA/SAS Ports hat, ist die Auswahl deutlich eingeschränkter. Die Kombi aus Board mit weniger Anschlüssen und HBA ist daher deutlich flexibler.

Für mich haben die Dinger in vielen Szenarien ihre Daseinsberechtigung verloren, zum einen wegen z.B. ZFS, zum anderen wegen dem shift zu nvme

Du vermischt hier doch schon wieder HBA und Raid-Controller. Ja, Raid-Controller haben nur in gewissen Szenarien ihre Daseinsberechtigung und nein HBAs sind nicht mit ZFS überflüssig geworden und ja es gibt auch HBAs mit SATA, SAS und NVMe und sobald ich sehr sehr viel Speicherplatz benötige sind SSDs, mit egal welchem Anschluss und Protokoll, einfach weiterhin zu teuer ggü. einem Berg HDDs.
Ich muss ja zum Glück kein entweder-oder machen sondern kann wunderbar kombinieren.

inzwischen wurden ja auch die ersten HDDs mit der Schnittstelle vorgestellt.

Schauen wir mal ob es bei einer technischen Studie bleibt oder ob das wirklich in den Handel kommt...

 

[DayvanCowboy]

Vergiss die SATA Ports und leg nen HBA drauf.

Und mein Statement bezog sich darauf. Ich wüsste beim Besten Willen nicht, warum man die onboard SATA Ports vergessen sollte, beim Board aus meinem Vorschlag sind bereits 12 SATA Ports drauf. Ich bleibe dabei, dass ich das für Quatsch halte.

Daher bitte spezifischer werden, dann können wir beide es besser vermeiden ggf. aneinander vorbei zu reden.

Elegantes rhetorisches manöver, welches aber nur teilweise davon ablenkt, dass du mir erstmal gefährliches Halbwissen unterstellen musstest. Vielleicht drücke ich mich nächstes mal exakter aus, und du wartest mit den Beleidigungen bis du meinen Punkt verstanden hast, ok?

 

[Bohnenhans]

Naja aber selbst SATA 3G ist ja bei 10 Gbit kein Flaschenhals xD 10 Gbit kann ja maximal 1 GByte / sec übertragen - bei z.B. 5 HDDs liefert SATA 3G ~ 1500 MByte - mit SATA 6G 3000 MByte / sec

Hat man "nur" ein 10 Gbit Netzwerk ist die Datenträger-Schnittstelle egal sobald man 5 HDDs+ hat.

 

[AGB-Leser]

Wie kommste bei sata6 auf 3000MiB/s? Alle neueren Sata SSD sind begrenzt auf 550MiB/s. Da kann ja dann was nicht stimmen, oder hast du 550x5 gerechnet?