FreeNAS Selbstbau

[Holt]

Dafür kann man bei synology falls die Maschine kaputt geht die Platten in jede andere synology stecken was bei einer eigenlösung nicht möglich ist da meines Wissens man den gleichen raid Controller braucht,oder hat sich das geändert?

Dein Wissen ist lückenhaft und hoffnungslos veraltet. Man braucht nur eine RAID Lösung die das Format der Metadaten des bestehenden RAIDs unterstützt und meines Wissens haben auch die HW RAID Controller inzwischen über Generationen hinweg das gleiche Metadatenformat. Außerdem unterstützen die Linux md SW RAIDs auch die Metadatenformate vieler HW RAID Controller und auch die der Intel Chipsatz RAIDs. Intel hat das extra dort eingepflegt um eben keinen eigenen Chipsatz RAID Treiber für Linux anbieten zu müssen.

Obendrein wollen sowieso nur Windows User einen HW RAID Controller, die Linux Anwender nehmen alle ein md SW RAID, denn dessen Performance ist spitze, was man von der eines Windows RAIDs nicht unbedingt behaupten kann.

Wenn ich das richtig sehe wird auf vielen Supermicro Boards sowieso nur unbuffered ecc ram unterstützt.

Das hängt vom Board und der Plattform ab, die S.1151(v2) CPUs unterstützen alle nur UDIMM, da kann das Board also auch nicht mehr können. Bei dem Xeon-D Boards sieht es hingegen anderes aus, meines mit dem 1541 unterstützt auch RDIMM und die sind inzwischen sogar billiger als UDIMM mit ECC.

Warum der extra Hardware Controller?

Eben, dies ist bei einem Heimserver auf Basis von Linux oder FreeBSD (wie FreeNAS) unsinnig, da nimmt man immer SW RAIDs.

Gibt es denn überhaupt Platten mit einer UBER von 10e15?

Ja, die ganze Enterprise Nearline HDDs haben 1:10^15, aber bei Consumer HDDs auch die IronWolf ab den 6TB und alle IronWolf Pro.

wollte ich für den Anfang erstmal auf ein System mit 3 Platten setzen und dann später nochmal 5 Platten dazukaufen.

Dann solltest Du nicht auf ZFS setzen oder unbedingt ein Backup von allen Daten haben. ZFS erlaubt es nämlich meines Wissens nach bis heute nicht eine weitere Platte so in den Pool aufzunehmen, dass sie den gleichen Schutz wie anderen hat, sondern klebt sie wie bei JBOD (BIG) an. Erstellst Du also einen RAID Z1 Pool mit 3 Platten und fügst dann eine viere hinzu, so sollten diese vierte besser nicht ausfallen.

Nimm also lieber ein Linux md SW RAID, da ist es kein Problem ein RAID 5 um ein weitere Platte zu erweitern und danach ist es dann das Gleiche als wäre das RAID sofort mit 4 Platten erstellt worden, es kann also irgendeine der 4 ausfallen, ohne dass deswegen Daten verloren gehen würden.

Aber wie sinnvoll ist IPMI wirklich für den Heimbedarf?

Das musst Du wissen, aber ohne musste Du immer gleich ein Keyboard un einen Monitor anschließen, wenn keine Remoteverbindung mehr möglich ist.

Ich bräuchte eine extra Lizenz dafür wenn ich das richtig sehe.

Das hängt davon ab was Du machen willst, die Grundfunktionen sind bei den Supermicro Boards auch ohne Lizenz nutzbar.

Ich plane tatsächlich meine Daten nicht nochmal extra zu sichern.

Das ist gefährlich und bei ZFS wirst Du wie gesagt den Pool nicht vernünftig um weitere Platten erweitern können, sondern solltest den Pool dann jeweils neu erstellen und die Daten vom Backup rückspielen, wenn danach alle Platten den Ausfallschutz genießen sollen.

Ansonsten plane ich aktuell mit bis zu 30TB an Daten.

Dann musst Du wieso entweder mit 3x14TB (490€ für die IronWolf) oder 4x10TB (295€ für die IronWolf ST10000VN0004, der aber die mittleren Befestigungsgewinde fehlen).

Die iron Wolf sollen 10e15 haben was ich wo gelesen hab.

Erst ab der 6TB, wie man diesem Product Manual entnehmen kann.

Lt geizhals ist die Hardware ecc kompatibel
https://geizhals.de/?cat=WL-1197584

Nein, die CPU kann es nicht! Bei den APU haben nur die Pro Versionen die ECC Unterstützung, nur die CPU wurden von AMD nicht um die ECC Unterstützung beschnitten, auch wenn sie nicht validiert ist, also die Funktionsfähigkeit nicht garantiert ist.

Außerdem vergleichst Du da eine Zusammenstellung mit 4x10TB IronWolf für insgesamt 1178,31€ mit einem Selbstbau mit 5 WD Red 10TB die zusammen 1570,10€, was alleine 391,79€ Preisunterschied ausmacht. Das Synology DiskStation DS3018xs, 8GB RAM, 4x Gb LAN ist mir 1331,53€ einfach nur sauteuer, da ist ein Pentium D1508 drauf und sowas kann man selbst billiger zusammenbauen:
Supermicro X10SDV-2C-TLN2F retail (MBD-X10SDV-2C-TLN2F-O) ab 367,70 349,16€
SilverStone DS380, Mini-ITX (SST-DS380B) ab 159,90€
8GB passendes RAM ab 61,75€
Dazu ein SFX Netzeil, ein richtig tolles wäre das Corsair SF450 80 PLUS Gold 450W SFX12V ab 79,45€[/URL], aber das Seasonic 300W SFX12V 2.31 (SSP-300SFG) ab 48,02€ oder Sharkoon Silentstorm SFX Bronze 450W SFX12V ab 50,1€ wären wohl immer noch ausreichend, nur spare ich nicht am Netzteil, dafür hängt da einfach zu viel teure Hardware dran.
Als Systemlaufwerke dürfte sogar eine Intel Optane Memory 16GB ab 24,90€ reichen, die habe ich bei meinem Heimserver auch als Systemlaufwerk (CentOS) drin.
Für die letzten beiden SATA Ports, bräuchte man noch eine ASM1061 Karte, die es ab unter 10€ gibt, eine etwas solider aussehende wie die InLine 76696C kostet mehr und wenn man eine mit einem Marvell 9230 wie die Digitus DS-30104-1 nimmt, hat man mehr Bandbreite bei der Anbindung und noch zwei Ports übrig, etwa um einer VM eine eigene SSD zu gönnen.

Das wären mit dem billigsten Netzteil und RAM dann 662,27€ und damit knapp weniger als die Hälfte des Preises der DiskStation DS3018xs mit 8GB RAM und dafür mit zwei 10GBASE-T Ports. Das Mainboard ist aber schwer zu bekommen, nur wenn man sowieso noch VMs drauf laufen lassen möchte, würde ich erstens mehr RAM verbauen und zweiten ein Board mit einer größeren CPU, wie z.B. das Supermicro X10SDV-4C+-TLN4F bulk (MBD-X10SDV-4C+-TLN4F-B) ab 521,09€ oder das Supermicro X11SDV-4C-TLN2F retail (MBD-X11SDV-4C-TLN2F-O) ab 499€ mit dem Xeon-D 2123IT auf Skylake-SP Basis mit 4 Kernen und bis 3GHz Turbotakt. Da braucht man dann auch keine SATA Controllerkarte um auf 8 Ports zu kommen.

Intenso Top Performance SSD

Von Intenso kann ich nur abraten, die kleben ihr Label auf alles was die Einkäufer gerade billig in China bekommen, da weiß man nie was drin ist und was die taugen, leider taugen manche auch nicht viel und FW Update findet man für keine ihrer SSDs. Ich kaufe und empfehle nur SSDs von NAND Herstellern oder deren Tochterfirmen mit einem DRAM Cache, da im Alltag DRAM less SSDs nicht zu viel zu erwarten ist. Nur die Intel Optane SSDs sind mit ihrem schnelle 3D XPoint als Medium eine Ausnahme und auch ohne DRAM Cache schnell, aber die spielen auch preislich in einer anderen Liga, wobei man ggf. mit einer kleinen Optane Memory 16GB auskommt und dann ist es ein günstiges Systemlaufwerk.

Fractal Design Node 804

Davon kann ich nur abraten, da hängen die HDDs wie an Stimmgabeln die ihnen zu viele Vibrationen erlauben. Außerdem kannst Du da keine HDDs verbauen denen wie den ST10000VN0004 die mittleren seitlichen Befestigungsgewinde fehlen. Nimm besser das SilverStone DS380, Mini-ITX (SST-DS380B).

Der 8100 kann ja kein ecc oder irre ich mich.

Wieder einmal irrst Du Dich. Es wäre wirklich hilfreich, wenn Du künftig mal vor dem Posten etwas googlen würdest um zu bestätigen was Du so meinst, statt immer wieder anderen die Arbeit zu machen die Fehler und Irrtümer zu korrigieren.

https://geizhals.de/?cat=WL-1197687

Auch die Kombination hat keine ECC RAM Funktion, da die APUs diese nur in der Pro Version bieten, nur bekommt man die Pro praktisch nicht zu kaufen. Man findet bei verschiedenen AM4 Boards diesen Hinweis:

For Ryzen Series CPUs (Raven Ridge), ECC is only supported with PRO CPUs.

Alternativ mit AMD reicht vermutlich auch ein Athlon 200GE/220GE, hast dann aber das "Problem" ein Board finden zu müssen, dass ECC unterstützt.

Nicht die Boards sind das Problem, sondern wohl die APUs, denn auch beim ASRock X470 Taichi Ultimate steht:

• AMD Ryzen series CPUs (Pinnacle Ridge) support DDR4 3466+(OC) / 3200(OC) / 2933/2667/2400/2133 ECC & non-ECC, un-buffered memory*
• AMD Ryzen series CPUs (Summit Ridge) support DDR4 3466+(OC) / 3200(OC) / 2933(OC) / 2667/2400/2133 ECC & non-ECC, un-buffered memory*
• AMD Ryzen series CPUs (Raven Ridge) support DDR4 3466+(OC) / 3200(OC) / 2933/2667/2400/2133 non-ECC, un-buffered memory*

*For Ryzen Series CPUs (Raven Ridge), ECC is only supported with PRO CPUs.

dort sind die Daten meist länger drin als im Cache vom Fileserver...

Da würde ich eher das Gegenteil annehmen, gerade wenn der Filesystem recht viel RAM hat und daher auch mehr Daten dort gecacht bleiben.

 

[snaxilian]

@Holt Du kannst bei ZFS problemlos den Pool erweitern mit weiteren vDevs und Redundanz ist auf Level der vDevs. Wenn der TE mit 3x Disks als Raidz1 startet und dann den Pool darauf anlegt, kann er später weitere vDevs hinzu fügen. Der Pool wird dann wie ein Raid 0 über alle vDevs verteilt.
ABER: Fügt er nur eine einzelne HDD hinzu, dann hat er ein raidz1 und eine einzelne Disk über die ein Stripe existiert. Fällt die eine Disk aus: Daten futsch. Fügt der TE 2 Disks hinzu als mirrored vDev, dann hat er ein ein "Raid 5" und ein "Raid 1" und darüber ein Stripe. Eine beliebige Disk pro vDev kann ausfallen. Baut er 3 weitere Disks ein, könnte er daraus auch ein Raidz1 erstellen und hätte dann zwei "Raid 5" mit Stripe darüber, also ein Raid 50 wenn man so will.
ABER 2: bestehende Daten werden bei der Erweiterung nicht umverteilt. Ist seine ursprüngliche vDev zu 80% voll und er fügt eine weitere vDev aus 3x Disks als Raidz1 hinzu und schreibt dann weitere Daten rein (beispielsweise 2% in dem Beispiel, dann ist danach die erste vDev zu 81% belegt und die zweite vDev zu 1%. Ist irgendwann vDev 1 voll, erfolgen Schreibzugriffe nur noch ins zweite vDev.

Daher kann man es zwar erweitern wenn man weiß, was man da tut aber es ist nur ratsam. Sinnvoller wäre direkt einen neuen Pool aus gleichmäßigen vDevs aufbauen und die Daten (datasets) in den neuen Pool migrieren. Oder Daten in altem vDev löschen, Pool vergrößern und Daten dann aus Backup wieder her stellen damit eine gleichmäßige Verteilung statt findet.

Im Gegensatz zu einem sw raid per mdadm unter Linux ist es aber bei ZFS nicht möglich, einzelne HDDs oder vDevs aus einem Pool zu entfernen. ZFS ist eben nicht so flexibel wie andere Lösungen aber ZFS hat dafür andere Vorteile wie CoW oder dass bei einem Rebuild nur die real vorhandenen Daten aus den Paritäten wieder hergestellt werden müssen und nicht das gesamte Device.
Ein Großteil der Vorteile hat BTRFS aufgegriffen nur leider kann bzw. sollte man das produktiv nur als Mirror, also Raid 1, betreiben.

Zur sonstigen Hardware schließe ich mich @Holt an

 

[Holt]

kann er später weitere vDevs hinzu fügen. Der Pool wird dann wie ein Raid 0 über alle vDevs verteilt. ... Fällt die eine Disk aus: Daten futsch. ... bestehende Daten werden bei der Erweiterung nicht umverteilt.

Eben das ist doch was ich geschrieben habe: "ZFS erlaubt es ... bis heute nicht eine weitere Platte so in den Pool aufzunehmen, dass sie den gleichen Schutz wie anderen hat, sondern klebt sie wie bei JBOD (BIG) an." Bei JBOD (BIG) wird auch erst eine Platte belegt und dann die nächste, sofern es wie üblich läuft das ein Volumen vom Anfang des Adressraumes an beschrieben wird.

Wenn der TE mit 3x Disks als Raidz1 startet und dann den Pool darauf anlegt, kann er später weitere vDevs hinzu fügen. Der Pool wird dann wie ein Raid 0 über alle vDevs verteilt. ... also ein Raid 50 wenn man so will.

Nur mit dem Nachteil, dass eben keine Umverteilung stattfindet, es also nicht den Performancevorteil des RAOD 0 innerhalb des RAID 50 gibt, es also nur ein JBOD (BIG) aus zwei RAID 5 ist und es drauf aus jedem RAID 5 nur eine Platte kaputtgehen.

Im Gegensatz zu einem sw raid per mdadm unter Linux ist es aber bei ZFS nicht möglich, einzelne HDDs oder vDevs aus einem Pool zu entfernen.

Das macht ja kaum jemand, ist also nicht so wichtig, aber das größte Problem ist, dass man eben keine weiteren Platten einfach so hinzufügen und komplett integrieren kann, so dass es am Ende genauso ist als wäre das RAID gleich mit allen Platten gebaut worden. Dies geht bei md SW RAIDs und auch bei allen ordentlichen Hardware RAID Controller sollte es funktionieren, aber ZFS RAIDs können es eben nicht:

With ZFS, you either have to buy all storage you expect to need upfront, or you will be wasting a few hard drives on redundancy you don't need.
This fact is often overlooked, but it's very important when you are planning your build.
Other software RAID solutions like Linux MDADM lets you grow an existing RAID array with one disk at a time. This is also true for many hardware-based RAID solutions. This is ideal for home users because you can expand as you need.
ZFS does not allow this!

Jemand der genau dies vorhat, sollte sich daher sehr gut überlegen ob ZFS wirklich die richtige Lösung ist und auch die Leute die hier Ratschläge geben und immer gerne zu ZFS raten, sollten solche Wünsche berücksichtigen. Immerhin steht schon im Eröffnungspost:

Initial möchte ich gerne mit 3 Festplatten starten. Langfristig möchte ich dann gerne bis zu 8 Festplatten einsetzen.

 

[Banned]

FreeNAS bzw. ZFS frisst extrem viel RAM.

Die Faustregel ist: Mindestens 8GB und pro TB Kapazität ein GB RAM.

Ich sehe, du willst 50TB verbauen.

Da wären dann 48GB RAM der richtige Ansatz mMn. Man sollte es auch nicht zu genau nehmen. Aber in etwa sollte man schon auf den entsprechenden Wert kommen.

 

[scooter010]

Das ist nur bei deduplizierung erforderlich. Ich habe 14 TB Kapazität, 6 davon gefüllt und ich konnte die Netzwerkschnittstelle als auch 2 USB 3 Platten voll auslasten, gleichzeitig. Mit nur 16 GB RAM. Trotz Verschlüsselung von Quelle und Ziel mit unterschiedlichen Schlüsseln. Ohne deduplizierung reichen 16 TB immer.

 

[Banned]

Da haben die Macher von FreeNAS aber eine andere Meinung zu...

Ich verstehe auch nicht ganz, was du willst. Die 14TB von dir sind erstens weniger als 16TB (wieviel Kapazität die externen haben, lässt du im Dunkeln; wobei von Anbindung über USB bei FreeNAS eh abgeraten wird, nur mal so nebenbei) und zweitens: Welchen Sinn macht denn ZFS bzw. RAID ohne redundante bzw. duplizierte Daten?

Nämlich gar keinen! Ein RAID0 ist im Prinzip kein RAID.

Der Vorteil von ZFS ist doch gerade, dass Prüfsummen für die Sektoren erstellt und abgeglichen werden. Das erfordert einen hohen Verwaltungsaufwand. Sachen wie Verschlüsselungen kommen dann nur noch oben drauf.

Ohne Redundanz braucht man nicht ZFS bzw. FreeNAS. Denn dessen wesentlicher Vorteil besteht eben in der Verwaltung dieser Redundanz.

 

[scooter010]

USB ist das Backup Medium. Ich habe kein 2. NAS für Backups via Netzwerk. Funktioniert gut.
Du verwechselst was. Deduplizierung hat nichts mit Redundanz zu tun. Raidz2 (RAID 6) geht ohne deduplizierung geht.

 

[Banned]

Dann verstehe ich leider nicht, was du mit Duplizierung meinst.

Aber ein disk scrub mit nur 16GB RAM und 50TB Kapazität wird bestimmt kein Spaß...

Ich halte mich nur an die offiziellen Hersteller-Angaben. Und ich glaube mal nicht, dass die nen Deal mit irgendeinem RAM-Hersteller haben.

Du hast auch bei weitem nicht genug Kapazität, um da eine verlässliche Aussage drüber treffen zu können mMn.

Weil deine 14TB in Kombi mit 16GB RAM noch nicht mal gegen die Regel verstoßen.

 

[Masamune2]

Nicht Duplizierung sondern das Gegenteil Deduplizierung. Dabei wird das Dateisystem nach Blöcken mit identischen Daten durchsucht und diese nur einmal abgespeichert und mehrfach referenziert. Um diese Blöcke beim lesen auch schnell genug wieder zu finden wird ein Hash im Arbeitsspeicher gehalten. Daher braucht ZFS bei aktivierter Deduplizierung so viel RAM, aber auch nur dann. Nutzt man die nicht, was z.B. bei vielen Videodaten auf dem Volume keinen Sinn macht, kommt man auch mit viel weniger aus.

 

[scooter010]

Jap. Und FreeBSD macht den Arbeitsspeicher immer voll. Egal ob 8,16, 32 GB verbaut sind, es sind immer nur rund 10% "frei". Leerer Arbeitsspeicher ist ja auch Verschwendung.
Das heißt aber nicht, dass FreeNAS oder ZFS nicht auch mit weniger klar kämen. Wichtig ist, dass der "Break even Point" bzgl. dem Cache nicht unterschritten wird und der ARP oder wie der heißt auf HDD geswapped werden muss. Dann wird es langsam.
Ich habe übrigens 16GB verbaut, aber 2-4 GB stehen nicht zur Verfügung, da an VM abgegeben.

 

[Banned]

Alles klar, danke für die Aufklärung.