NAS / Homeserver: fortgeschrittene Nutzungsanforderungen und resultierende Fragen

PS828

Der Flieseninspektor
Moderator
Registriert
Juni 2019
Beiträge
8.141
Werte Community,

Nachdem viele von euch mir schnell und unkompliziert bei meinen Fragen hinsichtlich ECC UDIMMs und aktuellen Consumerboards geholfen haben bin ich zu dem Entschluss gekommen dass es eine volle Kaufberatung zum Kernpunkt der Plattform geben sollte, um die Sachen thematisch besser zu charakterisieren. Zum Alten thread als Kontext: https://www.computerbase.de/forum/t...m5-fehlende-dokumentation-und-fragen.2167168/

Doch gleich zu beginn: Was möchte ich eigentlich erreichen? was habe ich schon? und wo klemmt es?

Also von vorn: Wie es halt so ist mit den Datenmengen platzen die Workstation sowie die losen Externen HDDs aus allen Nähten und Astrophotographie sowie erweitere Wild- und Landschaftsfotos (also große Merge- und Stackingdatensätze) sowie die daraus Resultierenden Videos (z.B. Timelapse aufnahmen vom Nachthimmel) in 8k bzw Gigapixel Bildern von mehreren hundert GB haben dem ganzen nun den rest gegeben.

Eine ordentliche Lösung muss her. Eine Lösung bei der ich meine Daten sicher speichern (externe Backups erfolgen natürlich weiterhin auf ext. HDD und M Disk je nach relevanz) und schnell darauf zugreifen kann und die Projekte dort speichern sowie wieder in den Work space laden kann. Dieser Workspace ist ein SSD Array in meiner workstation sodass Echtzeit workflows egal welcher art NICHT über das NAS passieren müssen.

Anforderungen an die Hardware: Als gehäuse nehm ich mein altes Thermaltake Chaster MK1 was im ersten ausbau zunächst 6 HDDs, später dann mit 5 HDD wechselrahmen bis zu 11 HDDs ermöglicht (Link zum Wechselrahmen: https://www.mindfactory.de/product_...-5x-3-5Zoll-Festplatten--MB155SP-_984968.html ) - Kalkulierte größe 20TB pro HDD

Installiert und genutzt werden soll ZFS in einem Z2 verbund der 6 HDDs (Z3 mit 11 HDDs später) und nach setup evtl noch dinge wie Plex für meine Mediadatenbank. Ingesammt also nichts was neben der paritätsberechnung bzw transcoding viel leistung benötigt. Aus diesem grund gehe ich davon aus, dass es ein 4-6 Kerner mit HT locker tut. den relevanten teil des Computes erledigt sowiso das system in meiner Signatur oder dessen Nachfolger. Hier bei ist auch wichtig dass das system wie oben schon gesagt kein reines datengrab ist. Shapshots von Projekten und Rohdaten werden viel hin und her geschoben (workstation und NAS) was auch mal Terabytes auf einmal sein können, da vor jeder änderung oder edit eine kopie gemacht wird (ausnhame non-destructing editing, dann ist es nur einmal eine kopie). wiord insgesammt viel gelesen und geschrieben da ich alte datensätze oft nochmal brauche und demnach die Verfügbarkeit wichtig ist. Auch laufen die Backups regelmäßig in vollständiger größe auf das NAS. (Nicht nur das meiner Workstation, eigentlich die Backups aller PCs und systeme von allen verwanten und handys dieser, dennoch bin ich durch die nutzung für über 95% des traffics verantwortlich)

Kommen wir nun zum thema Speicher. Verbaut werden sollte EEC RAM um fehler im Filesystem und den Daten beim verschieben zuverlässig zu Erkennen, zu Loggen und zu Korrigieren. Diese Anforderung hat einige Implikationen für die Wahl der CPU, plattform und Motherboard.

wie im oben verlinkten thread ist die erwiesene (und sicherheit ist mir hier wichtig, also was ich Kaufe muss funktionieren wie erdacht) Sachlage bei ECC UDIMMs auf AM5 und LGA 1700 desolat, wesahlb hier ausschließlich lösungen her müssen, welche ECC in vollem Maß unterstützen, gleichzeitig aber auch aufgrund der anwendung keinen Overkill in sachen performace und dem damit einhergehenden idle Verbrauch darstellen.

Das einbezogen bleibt bei AMD eigentlich nur noch Ryzen Pro und bei Intel entweder ein kleiner Xeon oder die Core vPro serie übrig. die mehrkosten sind mir im anbetracht der sicherheit erstmal zweitrangig. Hier brauch ich definitv hilfe bei der erkennung und bennenung passender Kandidaten. Damit ist auch ECC UDIMM keine einbahnstraße. ich setzte auch auf RDIMM wenn es die plattfrom erfordert. Es sollte aber eine DDR5 fähige plattform sein. Die lebenszeit des systems ist so lang dass ich in vielen jahren nicht auf DDR4 suche gehen möchte falls doch mal ein tausch passieren muss.

Was muss der Board also mindestens können ODER genug PCIe anschlüsse für entsprechende Steckkarten bieten:
-kleine grafikausgabe wäre nicht schlecht
  • min. 128 GB DDR5 ECC UDIMM / RDIMM
  • 10 Gbit ethernet intern oder über AIC steckkarte (hier gerne mit link) (cat 7 im Haus liegt überall an, theoretisch aber nur für meine Workstation relevant)
  • 11 SATA Ports oder vergleichbar (falls SAS mehr sinn macht dann das über entsprechende HBAs)
  • Platz für einen M.2 oder U.3 lvl2 ARC (SSD Puffer über ZFS)
  • 2 gespiegelte SATA SSDs kleiner größe als OS und logging Instanz

falls ich noch was vergessen habe bitte gern nachfragen! mir platzt aktuell ziemlich der kopf weil die sache mit der kompatibilität ein wenig :)

Im allgemeinen ist Geld hier erstmal, da es sich um keine High end CPUs oder chipsätze handelt erstmal nicht so das thema und sie sollten im rahmen bleiben. für diese anforderung kostet es halt was es kostet. wenn es funktioniert ist das okay)

Zusammengefasst: wa sbrauch ich von euch, bzw was möchte ich wissen? Primär Board, CPU und daran gekoppelt pasender RAM, der rest läuft eigentlich soweit. nur das kernstück des Systems macht mir sorgen.

euch einen schönen Abend und ich freu mich darauf dazuzulernen und die Antworten zu lesen, um weiterzukommen :)
 
Uff, da hast du ja eine schöne Wall of Text gezaubert.

Also für mein Verständnis mal ein paar kurzgefasste Denkanstöße Ergänzend zum letzten Thema:

-Wenn AM5, kennst du ja die einzigen garantierten Boardkandidaten aus dem anderen Thread

-Die AM5 Pro CPUs sind eigtl nicht für den Endkunden bestimmt, daher meistens auf OEM Business PCs usw. Mit Support könnte also Essig sein wenn mal was ist.

-Bei aktuellen Intel CPUs in der Größenordnung kann ich gerade keine Hilfe zu geben, da kennen sich andere besser aus :)

-Gerade bei DDR4 mit ECC wirst du noch über so viele Jahre RAM Riegel bekommen wenn mal was wäre, dass ich die nicht kategorisch ausschließen würde. Selbst für alte Server hab ich gebrauchte RDIMMs bei eBay noch Jahrzehnte später bekommen und die laufen immer noch ;).

-Wenn du im Serversockelbereich schaust, egal ob Xeon oder kleiner Epyc muss nicht unbedingt alles overkill sein. Es gibt ja auch welche mit Single Socket und wenig Kernen bzw. sogar Embedded. Da wäre aber je nach konkreter Auswahl die Aufrüstoption riesig falls du noch ein wenig mehr übertreiben möchtest.

-"richtige" Serverboards sind natürlich über "Gedanken darüber machen" erhaben, außer bei richtigen Defekten laufen die Teile Rock-Stable, dafür wurden sie auch gemacht.

-Da du ja headless bauen willst bleibt mein Hinweis bzgl. IPMI/BMC natürlich bestehen. Bei einer solch wichtigen Maschine würde ich auf Fehlerhinweise/Steuerungsmöglichkeit nicht verzichten wollen
 
Warum nicht AM4?

selbst 16Kern 7nm Prozessoren sind nicht teuer.
Und DDR4 ECC RAM auch nicht.
Einen Broadcom HBA und 10GbE NIC nach Wahl dazu und gut ist.


...gibt es alles auch gebraucht.

"richtige Serverboards" braucht kein Mensch Zuhause.
Das AMD Zeug starte ich nur alle paar 100 Tage durch um Updates zu installieren.

Hier ein aktueller Screenie von meinem Fileserver:

NAS.PNG
 
Zuletzt bearbeitet:
Weil seine Anforderung konkret ECC lautet und das bei den einfachen CPUs und Boards leider nen Glücksspiel ist. Ob so eine Konfiguration bootet ist die eine Sache, obs wirklich Multi-Bit-ECC ist die andere.
 
PS828 schrieb:
  • Platz für einen M.2 oder U.3 lvl2 ARC (SSD Puffer über ZFS)
  • 2 gespiegelte SATA SSDs kleiner größe als OS und logging Instanz
ZFS ist fantastisch, aber das vDev Design ist wirklich wichtig. Speed, Erweiterbarkeit etc.
Ich bin am Ende auf ein RAID10 mit 4x 16TB + special vDev mit SSDs um mein Array sinnvoll mit 10GBit zu nutzen.

Anstatt ARC und sLog, würde ich eher auf special vDev setzen.

Dein angedachtes RAID1 für OS kann man machen, aber besser wären regelmäßige Backups der Config um das OS schnell wieder herzustellen.

Wenn DDR5 (ECC DDR4 ist günstiger und etabliert, dann bleibt dir nur AM5, oder Intel 1700.
Bei AM5 würde ich mal nach den Asrock Rack AM5 Mainboards schauen, bei Intel zu den Supermicro Mainboards.

Läuft der Server 24/7 und/oder ist Video Transcoding relevant?
AM4 mit 4650G und B550 und ECC UDIMM, oder C246 Mainboard mit i3 8100/9100, oder Xeon

Wenn Geld wirklich irrelevant ist incl. Stromverbrauch:

https://geizhals.de/?cat=WL-3450801&hloc=de&hloc=at&nocookie=1
 
  • Gefällt mir
Reaktionen: Drahminedum
holdes schrieb:
Weil seine Anforderung konkret ECC lautet

Guckst Du auf meinem Bild bei Arbeitsspeicher.
Das ist ECC Speicher und ECC ist auch aktiv.

Ich habe eine ASUS ProART Board verbaut.
 
Zuletzt bearbeitet:
@PS828

Ich kenne dich nicht, daher die Frage: Willst du dich mit dem NAS Server auseinander setzen und ist das deine Zeit wert, heute wie auch über die komplette Laufzeit? Ein Synology NAS mit 12x Bays, 4GB ECC (lässt sich aufrüsten, sind zwei so-dimms +80€ für 32GB) kostet keine 2000€. Dann noch eine 10Gbit Netzwerkkarte (am besten dualport!) Hört sich nach viel an und ist es auch, aber du wirst signifiant weniger Zeit und Arbeit in das Syno NAS stecken.

https://geizhals.de/synology-diskstation-ds2422-a2621459.html?hloc=de
 
PS828 schrieb:
Intel hat mittlerweile auch offiziellen ECC Support auf Consumer CPUs. Geht nicht mit allen Consumer CPUs, aber seit 12th gen zB mit den -K CPUs und auch ein paar ohne K, wie in Ark gelistet oder zB hier in Wiki in Fett: https://en.wikipedia.org/wiki/Alder_Lake.
Und dann braucht es ein Board mit W680 Chipsatz. Dann gibt es aber vollen und offiziellen ECC Support von Intel, ähnlich wie es mit Ryzen Pro CPUs + entsprechende Workstation-Grade Boards bei AMD ist. Nur dass bei AMD für uns unklar ist, wie weit sich der jeweilige Hersteller aus dem Fenster lehnt, weil ECC ja theoretisch mit allen Chipsätzen und CPUs geht und wir nicht wissen, in wie fern ein Board-Hersteller von AMD schriftlich Garantien eingeholt hat, dass seine spezifische Konfiguration von AMD supported wird (und nicht wie die ganzen Asrock Boards zum Launch von AM5 gekillt bekommen hat).
 
Das war doch schon mal super viel input, ich danke euch!

holdes schrieb:
Wenn AM5, kennst du ja die einzigen garantierten Boardkandidaten aus dem anderen Thread
Exakt, da bin ich aktuell bisschen bei beim hier kleben geblieben, gefällt mir sehr was ich da sehe für die AM5 lösung ;) https://www.gigabyte.com/de/Enterprise/Server-Motherboard/MC13-LE1-rev-1x

holdes schrieb:
Die AM5 Pro CPUs sind eigtl nicht für den Endkunden bestimmt
Ryzehn Pro ist, wenn ich das richtig verstanden habe auch nicht erforderlich für vollständiges multi bit ECC richtig? das wäre ja mit dem board oben + normale Ryzen CPU erledigt hoffe ich mal ^^

holdes schrieb:
Es gibt ja auch welche mit Single Socket und wenig Kernen bzw. sogar Embedded
richtig, halte ich im hinterkopf, würde aber erstmal bei den kleinen sockeln bleiben. embedded ist natürlich hier auch eine option besonders hinsichtlich LTS

holdes schrieb:
Da du ja headless bauen willst bleibt mein Hinweis bzgl. IPMI/BMC natürlich bestehen. Bei einer solch wichtigen Maschine würde ich auf Fehlerhinweise/Steuerungsmöglichkeit nicht verzichten wollen
Ist bei dem Board kandidaten oben ja mit dabei, und ja das wäre durchaus etwas was ich gerne hätte. Aufgrund fehlernder bisheriger berührungspunkte aus erster hand habe ich mich darüber nochmal belesen und fidne dies unverzichtbar, da ich so jederzeit steuern und nach dme rechten sehen kann

IBISXI schrieb:
gibt es alles auch gebraucht.
richtig, war mir bei einem derartigen aufbau aber erstmal zweitrangig da die anforderugnen wie oben beschrieben etwas weitreichender sind ist garantie und entsprechende supportzeiträume durchaus spannend für mich

Dig.Minimalist schrieb:
Anstatt ARC und sLog, würde ich eher auf special vDev setzen.
kannst du mir dazu mehr sagen bzw etwas verlinken? ich kannte durch meine rudimentäre nutzung bisher nur die ARCs und sLogs :D wenn mir das vorteile bringt wieso nicht. danke für den hinweis! man lernt nie aus :)

Dig.Minimalist schrieb:
Läuft der Server 24/7 und/oder ist Video Transcoding relevant?
AM4 mit 4650G und B550 und ECC UDIMM, oder C246 Mainboard mit i3 8100/9100, oder Xeon
der server wird 24/7 laufen, ja. Videotranscoding ist nur relevant sobald ich PLex installiere. habe ich vor aber nicht sofort. erst soll der rest laufen, aber ja. transcoding sollte möglich sein grundsätzlich.

Die Plattformvorschläge sind gut, allerdings würde ich gerne auf die Aktuellen plattformen von AMD und intel zurückgreifen. bei AMD ist mir die sachlage klar, aber weißt zu zufälligerweise wie ein nachvolger des C246 bei ibtel heißt?
Maximilian.1 schrieb:
nette all in one lösung, allerdings hab ich gehäuse und teile des systems schon, weshalb ich es gerne in bestehendes integrieren möchte :)
john.smiles schrieb:
Ein Synology NAS mit 12x Bays, 4GB ECC (lässt sich aufrüsten, sind zwei so-dimms +80€ für 32GB) kostet keine 2000€.
nicht erweiterbar genug bzw fehlt die flexibilität für weitere funktionen als homeserver, weshalb ich ein feritg NAS erstmal ausgeschlossen habe
Ray519 schrieb:
Und dann braucht es ein Board mit W680 Chipsatz
Die W serie von intel ist mir bekannt, gibt es dafür auch noch abstufungen nach unten? so viel IO wäre bei vergleichbaren pries zu der AMD lösung oben natürlich schön, aber bringt sie ein IPMI/BMC mit und lässt sich headless betrieben?
 
PS828 schrieb:
nicht erweiterbar genug bzw fehlt die flexibilität für weitere funktionen als homeserver, weshalb ich ein feritg NAS erstmal ausgeschlossen habe

Ähm was würde dir da fehlen? Die Apps von Synology decken einiges ab und dann kommt noch Docker hinzu.
 
Primär die menge an DRAM und die closed down lösungen bei sachen wie netzwerkerweiterungen und anderer skalierung. ich wollte das ganze etwas "freier" aufsetzen, du verstehst :D und der preis für den barebone selbst ist schon sehr hoch verglichen mit dem mehr an flexibilität und leistung was ich für die eigene lösung brauche. HDDs muss ich ja auch dort seperat erwerben wenn ich das recht verstanden habe
 
Maximilian.1 schrieb:

Ich will auch vieles. Nichts von dem, was vom TE lese gibt mir den Vibe das er versteht, was er alles fordert und wie überzogen es ist. ECC, ZFS, aber mit Sata Kabel 08/15 HDD Wechselkäfige betreiben - Sata Kabel sind ohne Witz eine problematischere Quelle von Fehlern als defekter Ram. Dann noch 11 Stück und das dann nicht direkt in die HDDs, sondern auf die Wechselrahmen.

Außerdem hat DDR5 begrenztes on-Die ECC, was schon mal besser ist alle anderen normalen Ram davor - ich würde auf eine Consumer Lösung mit DDR5 setzen und das Geld in mehr Backups stecken.
 
john.smiles schrieb:
Außerdem hat DDR5 begrenztes on-Die ECC, was schon mal besser ist alle anderen normalen Ram davor - ich würde auf eine Consumer Lösung mit DDR5 setzen und das Geld in mehr Backups stecken.

Ich nicht. Mehr als zwei oder drei Backups machen ohnehin nur bedingt Sinn oder erfordern großen Zeitaufwand, um die Daten ständig auf Integrität zu prüfen. Wenn man so ein System bauen möchte, kann man ich schon verstehen, dass man es gleich richtig machen will.
Was an ZFS und ECC-RAM überzogen sein soll, erschließt sich mir nicht. Das ist einfach eine sehr vernünftige Basis für so ein System.

Die Anzahl der Datenträger finde ich auch ziemlich krass und ob man wirklich ein Z3-RAID als Privatperson braucht, ist auch so eine Sache. Der TE kann am besten einschätzen, welches Volumen er benötigt und ansonsten ist doch wahrscheinlich noch nichts in Stein gemeißelt.

Ein Board ohne große Kompromisse wäre z.B. dieses hier:

https://geizhals.de/asrock-rack-x570d4u-2l2t-bcm-90-sxg9b7-a0uayl-a2868344.html?hloc=de

Ist halt teuer. :D

Mit niedrigeren Anforderungen ginge es deutlich günstiger.
 
Banned schrieb:
Die Anzahl der Datenträger finde ich auch ziemlich krass und ob man wirklich ein Z3-RAID als Privatperson braucht, ist auch so eine Sache
das wäre ausbau stufe 2 mit 11 HDDs, zunächst tun es erstmal 6 stück da reicht Z2. im ersten absatz meines eingangsposts gehe ich bisschen drauf ein was ich eigentlich mache und warum die datenmengen jetzt so explodieren. Außerdem find ich IPMI zu wichtig als dass ich das einfach weglasse.

Banned schrieb:
Ein Board ohne große Kompromisse wäre z.B. dieses hier:
kann ich auf meinen Post #13 verweisen, wo ich schon einen heißen kadidaten gefudnen habe der auch DDR5 mitmacht :) aber ja, grundsätzlich such ich nach so einem featureset. das Board ist preislich auch noch okay. die vielen jahre die das laufen soll sind das durchaus wert.

Banned schrieb:
Mit niedrigeren Anforderungen ginge es deutlich günstiger.
dem bin ich mir durchaus bewusst aber leider ist es nicht so einfach ;)
 
Für AM5 gibt es m.W. halt keine CPUs mit offiziellem ECC-Support; und außerdem ist gerade DDR4 sehr günstig - deshalb mein Vorschlag.
 
Zurück
Oben