Eigenbau Unraid Server (NAS-Ersatz)

[Rockhound]

Hallo Forum,

ich nutze derzeit eine TS-653A mit 6× 6TB Festplatten im Raid5. In erster Linie läuft darauf SABNZBd und Plex. Der Platz wird bald knapp und ich habe folgende Teile übrig durch ein Upgrade meines Haupt-PCs:

• Asrock Z87 Extreme6 (10x SATA)
• Intel Xeon E3-1231v3
• 24GB RAM (2× 8GB / 2× 4GB)
• 100GB SSD
• BeQuiet System Power 7 400W (Netzteil)

Dazu kaufen würde ich noch:

• 3× Toshiba Enterprise MG09ACA 18TB
• Broadcom MegaRAID 9260-8i PCIe (für späteres Upgrade gut?)
• Inter-Tech 4F28 Minin-Rack, 4HE ( oder Inter-Tech 3U-3416, 3HE ) (hab einen Serverschrank)
• ASUS XG-C100C LAN-Adapter
• ~ 1.100 - 1.400€

Nun möchte ich vor dem Kauf mit Menschen diskutieren die auf dem Gebiet schon Erfahrung haben und mich beraten können. Welche Teile sind eher schlecht ausgewählt, welche wären besser usw.. Da ich wenig Erfahrung habe in dem Bereich, aber Lust habe mich da weiterzubilden, hab ich ein offenes Ohr Das ganze soll ein Einstieg sein und ich möchte daher auch nicht unbedingt mehr ausgeben wie 1.500€.


1.
Als OS würde ich Unraid nutzen wollen, da ich gerne auch mehr ausprobieren möchte mit Docker & VMs.

2.
Das 1. Gehäuse schien mir günstig und bietet Platz für 28 Festplatten (3× 18TB & 6× 6TB). Das 2. Gehäuse hat Platz für 16 Festplatten Hot-Swap ist aber 3× so teuer. Bei der NAS hatte ich jetzt in den letzten 8 Jahren einen Festplattenausfall. Und auch ein Upgrade ist eher selten, von daher ist das Hot-Swap nice-to-have aber nicht dringlich denke ich.

3.
Die 100GB SSD könnte doch als SSD-Schreib-Cache für die HDDs dienen.

4.
Eignen sich die SATA Broadcom Karte mit Unraid? Mit der SSD und den 9 HDDs hab ich ja das Mainboard voll belegt. Kann ich die SATA Karte auch später kaufen und dem 3× 18TB Pool eine weitere HDD hinzufügen durch die Broadcom Karte?

5.
Ist das Netzteil mit 400W OK? Oder sollte ich mir was aktuelleres/effizienteres kaufen?

6.
Ich würde den "Server" gerne per Wake-on-Lan via Handy (on the Go) oder PC anschalten können, worauf muss ich achten? Ist die ASUS 10GB LAN Karte OK? Als Switch hab ich daheim ein Ubiquiti USW-Pro-24-PoE, als Router eine FritzBox 7560.

Danke schonmal für Euren Input und habt ein schönes Wochenende.

Gruß.

 

[Rickmer]

Inter-Tech 4F28 Minin-Rack, 4HE (

Kein Backplane, keine Fixierung für die HDD, kein nichts - igitt!

( oder Inter-Tech 3U-3416, 3HE )

Besser. Immerhin ist ein Backplane vorhanden. Allerdings bietet dein Mainboard keine SFF-8087 Anschlüsse. Wenn ich das richtig sehe würdest du für eine Vollbesetzung eine Broadcom SAS 9201-16i oder zweimal die von dir genannte Broadcom MegaRAID 9260-8i benötigen.

Oder alternativ ein 'normaleres' PC-Gehäuse nutzen...

Das 1. Gehäuse schien mir günstig und bietet Platz für 28 Festplatten (3× 18TB & 6× 6TB). Das 2. Gehäuse hat Platz für 16 Festplatten Hot-Swap ist aber 3× so teuer. Bei der NAS hatte ich jetzt in den letzten 8 Jahren einen Festplattenausfall. Und auch ein Upgrade ist eher selten, von daher ist das Hot-Swap nice-to-have aber nicht dringlich denke ich.

Am ersten Gehäuse stört mich halt, dass die da effektiv wild reingeschmissen werden und nur nicht umkippen wenn man die dicht an dicht stapelt.

Das rappelt bestimmt sehr schön, wenn alle HDDs aktiv sind.

Die 100GB SSD könnte doch als SSD-Schreib-Cache für die HDDs dienen.

Fürn Cache würde ich mir eine andere SSD suchen als die, auf dem das OS drauf ist - insbesondere falls du eh Platz für ein paar Experimente brauchst.
Grund - ich habe von QNAP und Synology NAS häufiger gehört, dass die kleine SSDs die als Cache verwendet werden in ein paar Jahren tot schreiben. Wenn du jetzt wieder 8 Jahre oder mehr anvisierst, könnte das ein Problem werden.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Wenn du wirklich mit Caching arbeiten willst -> gebrauchten Intel Optane kaufen?
https://www.ebay.de/itm/373495938745?epid=24045681411

Eignen sich die SATA Broadcom Karte mit Unraid? Mit der SSD und den 9 HDDs hab ich ja das Mainboard voll belegt. Kann ich die SATA Karte auch später kaufen und dem 3× 18TB Pool eine weitere HDD hinzufügen durch die Broadcom Karte?

Ich kenne das zwar nicht genauer, aber ich sehe keinen Grund warum nicht. Ist ja nur ein 0815 HBA...

Ist das Netzteil mit 400W OK? Oder sollte ich mir was aktuelleres/effizienteres kaufen?

Eine gefährliche Frage zu der es sehr auseinandergehende Meinungen gibt
Ein Denkanstoß zum Thema der 80 PLUS-Effizienzklassen
Netzteil-Tausch erforderlich? In der Regel NICHT (nicht nur den Artikel lesen sondern am besten auch die nachfolgenden Argumente im Thread)

Ich bin persönlich eher einer der empfiehlt, einmal häufiger das Netzteil zu erneuern wenn da teure Hardware dran hängt. Andere halten das für ein ökologisches Desaster.

Das Netzteil sollte von der Leistung her eigentlich noch mit dem Anlaufstrom von 9 HDDs klar kommen. Falls du mal eine Vollbesetzung machst bei einem der beiden oben genannten Gehäuse könnte das kritisch werden.

1-2A @ 12V pro HDD beim Anlauf kann man schon rechnen.
(Wobei bei meinen Toshiba MG07 14TB nur 0,75A 12V und 0,7A 5V dran steht.)

Ich würde den "Server" gerne per Wake-on-Lan via Handy (on the Go) oder PC anschalten können, worauf muss ich achten? Ist die ASUS 10GB LAN Karte OK? Als Switch hab ich daheim ein Ubiquiti USW-Pro-24-PoE, als Router eine FritzBox 7560.

Das Mainboard und der Netzwerk-Port müssen WoL unterstützen.

Kurz googeln sagt, dass die ASUS Karte kein WoL kann: https://www.asus.com/support/FAQ/1039219/

Ist bei meinem NAS dasselbe, der SFP+ Port unterstützt kein WoL. Ich habe daher einen der Gbit Ports angeschlossen und alles außer einigen Mangement Sachen für den Port deaktiviert, damit geht's und die Daten gehen trotzdem immer über 10Gbit.

 

[0x7c9aa894]

Intel Xeon E3-1231v3

Das ist eine ziemlich alte CPU von 2014

bietet Platz für 28 Festplatten (3× 18TB & 6× 6TB). Das 2. Gehäuse hat Platz für 16 Festplatten

wenn du viele HDDs verwenden willst, kann deine CPU schnell ins Schwitzen kommen.

 

[MobaLA]

2.
Das 1. Gehäuse schien mir günstig und bietet Platz für 28 Festplatten (3× 18TB & 6× 6TB). Das 2. Gehäuse hat Platz für 16 Festplatten Hot-Swap ist aber 3× so teuer. Bei der NAS hatte ich jetzt in den letzten 8 Jahren einen Festplattenausfall. Und auch ein Upgrade ist eher selten, von daher ist das Hot-Swap nice-to-have aber nicht dringlich denke ich.

Idealerweise hat man natürlich viele Hot-Swap-Einschübe mit Backplane, aber in der Praxis tut es doch zu Hause so gut wie immer auch eine einfache Lösung.
Ich bin eher der Basteltyp, daher sehe ich in dem Mining-Gehäuse kein Problem. Ein paar Schaumstoffstücke zwischen die Festplatten um die Vibrationen etwas zu dämpfen und es sollte klappen. Bei Unraid laufen sowieso selten alle Platten gleichzeitig, sodass sich Vibrationen in Grenzen halten.

Besser. Immerhin ist ein Backplane vorhanden.

Backplane heißt nicht automatisch besser. Gerade bei billigen Backplanes in Consumer-Gehäusen gibt es auch viele Beschwerden.

Allerdings bietet dein Mainboard keine SFF-8087 Anschlüsse.

Dafür gibt es reverse breakout Kabel.

3.
Die 100GB SSD könnte doch als SSD-Schreib-Cache für die HDDs dienen.

Fürn Cache würde ich mir eine andere SSD suchen als die, auf dem das OS drauf ist - insbesondere falls du eh Platz für ein paar Experimente brauchst.

Unraid läuft im RAM und wir nur beim Systemstart vom USB-Stick geladen. Es lässt sich noch nicht einmal auf eine SSD installieren.
100GB werden aber in der Tat schnell knapp, wenn man Cache und ein paar Anwendungen daruaf ablegen will. Die Plex Metadaten sollten auf einer SSD liegen und können bei größeren Sammlungen alleine schon in Richtung 100GB gehen. Ich würde mir also überlegen noch eine zweite oder neue, größere SSD zu besorgen.

4.
Eignen sich die SATA Broadcom Karte mit Unraid? Mit der SSD und den 9 HDDs hab ich ja das Mainboard voll belegt. Kann ich die SATA Karte auch später kaufen und dem 3× 18TB Pool eine weitere HDD hinzufügen durch die Broadcom Karte?

Die diversen 9xxx-8i/16i/24i Karten laufen so ziemlich alle problemlos in Unraid, solange sie auf IT Mode geflasht sind.

 

[Snowi]

• BeQuiet System Power 7 400W (Netzteil)

Dazu kaufen würde ich noch:

• 3× Toshiba Enterprise MG09ACA 18TB
• Broadcom MegaRAID 9260-8i PCIe (für späteres Upgrade gut?)

Beim Netzteil würde ich ab 7-8 HDDs ein neues kaufen. 400W reichen für ein paar HDDs, aber irgendwann werden die Anlaufströme bzw. generell die Leistungsaufnahme "schwierig".
Mit deinem aktuell geplanten Setup dürfte das klappen, aber wenn du später noch zusätzliche HDDs kaufst, und die alten nicht damit aussortierst, solltest du auch ein stärkeres Netzteil dazu kaufen.

Was die Toshiba angeht: Ich hab auch 2, und bin soweit zufrieden. Aber kauf die bei einem ordentlichen Händler der auch den Garantieprozess über die vollen 5 Jahre übernimmt, oder investiere 10€ mehr und kauf WD/Seagate.
Grund / mehr Infos: https://www.computerbase.de/forum/t...-auf-enterpriseplatten.2064640/#post-26469824

Der HBA/Raid-Controller sollte passen, solange du auch einen nimmst wie von dir verlinkt. Also von einem guten Hersteller.
Ich hab mir mal einen nur geringfügig günstigeren bei Amazon bestellt, von einem China-Hersteller den man A) nicht kennt, und der B) nicht auszusprechen ist. Kann ich nicht empfehlen. Zumal deren Performance oft grottig ist, weil die statt einem guten Chip mehrere schlechtere nehmen, und die koppeln. Die IBM/LSI/Broadcom Teile sind aber alle absolut ausreichend, und eigentlich alle auch supported vom Linux-Kernel.

Die restliche Hardware erachte ich als ausreichend, zumindest wenn es nur um Storage, Plex und vielleicht noch 2-3 Anwendungen in Containern geht wie du es schreibst.

1.
Als OS würde ich Unraid nutzen wollen, da ich gerne auch mehr ausprobieren möchte mit Docker & VMs.

Ich fand Unraid nicht so schön und nutze lieber OpenMediaVault, aber das ist Geschmackssache. 2 Arbeitskollegen nutzen Unraid und sind sehr zufrieden.

3.
Die 100GB SSD könnte doch als SSD-Schreib-Cache für die HDDs dienen.

Da Unraid auf einem USB Stick läuft, sollte das passen. Aber die SSD wird nicht ewig leben, das sollte einem klar sein. Aber ist halt in dem Einsatzzweck so, schlecht ist es deshalb nicht.

Zum Rest hab ich entweder oben schon geschrieben, oder kann ich nichts zu sagen.
Gehäuse hab ich ein 8-Bay von Silverstone als Tower, für 19" hab ich keinen Platz bzw. macht keinen Sinn. Eine Backplane erachte ich auch nicht als notwendig, aber wenn du das kaufst, schau dir direkt die Halterungen für die Platten an. Wenn die wackeln, direkt widerruf. Die Platten sollten ordentlich im Gehäuse sitzen, ohne wackeln. Bei meinem Silverstone passt das, bei den günstigen 19" hab ich da viel negatives gelesen, kann aber nicht selbst berichten / kenne auch keinen dazu.

 

[fgordon]

Ich habe ja ähnliche Server - 1225V2 Xeon mit jeweils 8x16 TB + SSD - also grob recht nahe.

Meine Server brauchen 220W beim Anlaufen für wenige Sekundenbruchteile als Spitzenwert - und ~ 65-75 Watt im Betrieb (gemessen an der Steckdose also vor Netzteil Eingang) mein LSI staggert allerdings minimal, so dass die HDs nicht komplett gleichzeitig anlaufen (allerdings ein günstiger 9211 LSI und ich habe das nicht extra aktiviert, ich seh das nur in der Verbrauchskurve, wann jede HDD da anläuft)

Ich habe mit dennoch 650W bequiets geholt - vor allem wegen der Effizenz

Schon meine 1225V2 CPU langweilt sich trotz 10 Gbit RAIDZ2 und AES-Crypt xD solange es kein 25 oder 100 Gbit Netzwerk gibt würde sich eine schnellere CPU doch nur noch mehr langweilen, die CPU würde ich sagen reicht mehr als dicke.

Die Asus Karte habe ich auch - die kann aber kein WOL(!) - auch nicht über PCI-E - will das nur sagen, weil ich das erst später gemerkt habe xD und die Treiber sind in FreeBSD bei 0.51 stehengeblieben vor Jahren, funktionieren aber problemlos.

Hotswap sehe ich wie Du wenn ich so oft Platten wechslen müsste, dass sich Hot Swap "lohnt" würde ich den Server eh auf den Müll werfen, dann stimmt ja was mit dem nicht und vor allem jeder Stecker weniger auf dem Weg ist besser für die Signalqualität.

Wake-On-LAN habe ich aktuell umgestellt auf "Power-ON after Power-Loss" und ein SOnOff R2 mit Tasmota vorgeschaltet - funktioniert super (am 10 Gb Switch sind mir die wenigen (8) Ports die ich habe viel zu wertvoll für ein extra Netzwerkkabel) geht natürlich auch über Handy und Co.

 

[Rockhound]

Vielen Dank an Euch alle. Der Input hat mir sehr geholfen. Ich bin auf dem richtigen Weg. Jetzt suche ich mir noch ein sehr gutes Netzteil raus, so um die 650 Watt und bei den Festplatten schau ich genauer.

Was die Toshiba angeht: Ich hab auch 2, und bin soweit zufrieden. Aber kauf die bei einem ordentlichen Händler der auch den Garantieprozess über die vollen 5 Jahre übernimmt, oder investiere 10€ mehr und kauf WD/Seagate.

Danke für den Hinweis. Wenn ich mich jetzt für Mindfactory und die WD HDDs entscheide, woran erkenne ich denn das ich 5 Jahre Garantie bekomme? Ich kann die Seriennummern der HDDs ja nicht vorher prüfen. Ist Mindfactory verlässlich oder sollte ich vorher nachhaken?

 

[fgordon]

Was ich evtl machen würde da Deine CPU keine GPU hat mir einen Xeon mit GPU zu holen, vor allem weil Dein Board die Anschlüsse hat und Du kein IPMI hast. Spart die Grafikkarte. Und "alte" Xeons bekommt man doch oft nachgeworfen - Deinen kannst ja auch dann verkaufen....

 

[v3nom]

Ich habe mir das InterTech Mining Case geholt einfach aus dem Grund das ich soviele HDDs habe und diese mit 6x 120mm Lüftern kühlen wollte. Dafür ist das Case genial, gerade auch bei dem Preis.
Man muss halt bedenken das es extrem unflexibel ist und man sehr wahrscheinlich viel ausbauen muss damit man eine Platte nachrüsten oder austauschen kann, dagegen wären Gehäuse mit HotSwap halt genial.

Als HBA habe ich mir eine LSI SAS 9400-16i geholt und diese mit den 12 Anschlüssen auf meinem Supermicro kombiniert. Dazu eine asus hyper m.2 x16 für 4x m.2 SSDs (Achtung Slot muss x16 sein und bifurcation können).

Bei sovielen HDDs muss es ein potentes Netzteil sein und man braucht auch viele SATA Stromstecker (die habe ich mir von einem Modder bauen lassen damit die direkt ans NT können 4 Stränge mit je 7x SATA).

Als OS rennt darauf unRAID, klappt super.

 

[fgordon]

Hmm allerdings muss man bei den Mining Gehäuse die Platten ja kopfüber also mit Anschlüsse nach oben einbauen - das doch die einzige Position die glaube ich von manchen Herstellern nicht empfohlen wird/wurde - oder ist das heutzutage ganz egal?

Aber mehr HDDs auf kleinen Raum bekommtman wohl kaum hin krass.

 

[Snowi]

Danke für den Hinweis. Wenn ich mich jetzt für Mindfactory und die WD HDDs entscheide, woran erkenne ich denn das ich 5 Jahre Garantie bekomme? Ich kann die Seriennummern der HDDs ja nicht vorher prüfen. Ist Mindfactory verlässlich oder sollte ich vorher nachhaken?

Bei WD ist es mehr oder weniger egal, bei Seagate auch. Im Zweifel kannst du alle Platten direkt beim Hersteller reklamieren. Nur Toshiba bietet das nicht an, da muss das über den Händler gehen, und da ist MF leider ein negativbeispiel. Also wenn Toshiba, eher Alternate oder sowas. Oder kauf direkt WD/Seagate, die auch direkt die Platte von dir aus umtauschen, und den Weg über den Händler nicht vorschreiben.

 

[fgordon]

Bei der SSD musst Du aber auch bedenken, die limitiert dann die Übertragungsrate auf 500-550MByte / sec wenn per SATA6G angeschlossen. Ich kann auf mein RAIDZ2 mit 700-800 Mbyte / sec direkt per 10 GBit schreiben - da ist eine "Cache" SSD per SATA ein Bremsklotz, den Fehler hatte ich auch mal im System, aber dank des Forums hier gefunden

Also dann auch evtl später auch mal ohne "Cache" testen - hängt natürlich alles von der Konfig ab. Auf wieviele HDDs sich anschliessend Schreibvorgänge verteilen usw. Aber ab einer gewissen Zahl an HDDs auf die Schreibdaten gesplittet werden, werden SATA6G SSDs zum Bremsklotz.

Exos hat z.B. in Test etwas > 190 MByte Schreibrate ~ => 6x190 = 1140 MByte theoretische Datenschreibrate in einem RAIDZ2 Setup mit 8 HDDs ungefähr doppelt(!) so schnell wie der Max Wert einer SATA6G SSD.

 

[Rockhound]

Danke Euch. Ich werde sicherlich noch viele Fragen haben wenn es an die Installation von Unraid kommt und die Möglichkeiten die HDD Pools anzulegen. Will da ja flexibel sein mit nachrüsten bzw. aufrüsten der Kapazität.