RAID6 Storage Server - Tipps zur Realisierung

[TulgaD5]

Hallo zusammen,

ich brauche Hilfe bei der software-seitigen Realisierung eines Storage-Servers mit RAID 6 und Tape-Drive.
Ausgangssitzation:
Ich habe einen ehem. Gaming-PC mit PCIe-SAS-Controller und ein Bandlaufwerk mit SAS-Anschluss. Festplatten sind natürlich am SAS-Controller angeschlossen, sowie am SATA-Controller des Motherboards, weswegen kein Hardware-RAID in Frage kommt, sondern nur ein Software-RAID.

Welche Software kann ich hierfür nutzen? Windows bietet von sich aus ja bereits RAID 5 an, jedoch kein RAID 6. RAID 5 halte ich für zu risikoreich.
Soweit mir bekannt, kann man in Windows kein RAID 6 erstellen und ich bin beim Googeln auf keine Software gestoßen, die das könnte.
Auf der anderen Seite gibt es aber ja noch FreeNAS, mit dem man problemlos ein RAID 6 Verbund erstellen könnte, jedoch, soweit mir bekannt, kann man kein Bandlaufwerk in FreeNAS verwenden und auch nicht in eine Windows-VM, die ja problemlos in FreeNAS erstellt werden kann, durchschleifen.

Kennt hierfür jemand eine Lösung? Das Hardware-RAID des SAS-Controllers kann ich, wie gesagt, nicht nutzen, da ich die HDDs, die am Motherboard angeschlossen habe eigentlich mitnutzen will.

Vielen Dank im Voraus für die Hilfe
TulgaD5

 

[BFF]

Wirklich keine Moeglichkeit die Platten die den Wunsch-RAID bilden sollen am SAS-Kontroller anzuschliessen?
RAID, egal welchen, ueber zwei verschiedene Kontroller (Brett und SAS) finde ich irgendwie ungesund.

Was fuer einen SAS-Kontroller hast Du?

BFF

 

[holdes]

Also so richtig kann ich die Situation nicht zuordnen. RAID6 für Redundanz aber dann so ein gefrikel hinten dran? Die RAID Controller haben nicht umsonst (wenns ein vernünftiger ist) solch starke CPUs mit entsprechend Hardwareseitigen Algorithmen um von der Ausfallsicherheit zu proftieren das torpediert man doch wenn man den Controller mit irgendwelchen Onboard SATA Anschlüssen nutzt? Ich gehe mal davon aus du hast dann auch keine SAS HDDs sondern nur SATA? Normalerweise kommt das Tape Drive in eine Backup Maschine, auf der "Produktivmaschine" selbst benutzt man eigentlich keine große Backupsoftware welche das Tape auch ansprechen kann.

 

[martinallnet]

FreeNAS ist durch ZFS grundlegend eine gute Wahl, im Idealfall kombiniert mit einem Serverboard, das auch ECC-RAM nutzen kann.
Aber auch sonst ist ZFS einem klassischen Hardware- oder Software-RAID überlegen.

 

[holdes]

Durch aber eben diese mangelnde vorhandene Hardware wird das aber damit eben leider auch nicht besser. Die Hardware RAIDs bieten zumindest den Vorteil OS unabhängig zu sein aber das ist eben eine Grundsatzgeschichte. Wenn er schon einen RAID Controller hat wäre es natürlich optimal wenn dieser genug Anschlüsse hätte alle vorhanden Platten darüber anzuschließen ohne da mit Onboard SATA rummachen zu müssen.

 

[Cool Master]

RAID 5 halte ich für zu risikoreich.

Frage:

Um welche HDDs handelt es sich und um wie viele?

 

[RalphS]

Exaktes Modell des HBA und der Festplatten, bitte. Die Frage nach dem "wie viele?" wurde ja schon gestellt.

Ansonsten "prinzipiell" wie schon gesagt wurde (aber nicht so ganz, deswegen sicherheitshalber):

Ad 1, Betriebssystem auf eigene Platte(n) mit oder ohne RAID-Konfiguration; mein Vorschlag wäre, diese ans Mainboard zu hängen, außer es besteht Bedarf für den HBA (=> SAS-Platten).

Ad 2, Storageplatten (alle) an den HBA. Wenn dessen Ports nicht reichen: Expander dran.

Ad 3, es ist nicht ganz klar, ob wir hier von einem SAS RAID Controller oder von einem puren HBA reden (ohne RAID-Funktion).
Ohne RAID-Funktion: ZFS als Storagesystem, wenn möglich.
Mit kommt's drauf an, was der Controller mitmacht. Womöglich ist es sinnvoller, eine non-RAID-Firmware draufzuflashen und trotzdem ZFS zu nehmen; womöglich steckt der Controller bereits alles in die Tasche.

Aber das können wir ohne weitere Info nicht abschätzen.

 

[TulgaD5]

Danke erstmal für die blitzschnellen Antworten
Die Lösung war mehr plattformunabhängig als Proof of Concept gedacht, daher hatte ich anfangs keine konkrete Hardware genannt. Aber hier sind eingesetzte Hardware:
MB: ASUS Z87-C ( 4x SATA 3 Gbit/s + 2x SATA 6 Gbit/s)
RAID-Controller: ASHATA M5015 ( dieser Controller kann eh kein RAID 6, nur 0, 1, 5, 10 und 50 )
HDDs: 10 St. WD30EFRX (und bevor es einen Aufschrei gibt Ich weiß, ich hätte auch Seagate IronWolf SAS 10 TB nutzen können, aber von 4 St. WD30EFRX waren halt bereits da und vom Preis je TB sind die auch preiswerter
Zusätzlich dazu noch Bandlaufwerk und 2x SSDs für OS und Cash.

Ich habe mir die ganze Sache nochmal durch den Kopf gehen lassen und habe eine mögliche Lösung:
Windows als Baremetal-Installation und FreeNAS in einer VM mit Hyper-V, bei der die HDDs und die Cash-SSD an die VM durchgeschleift werden. Ich müsste dann nur zusehen, dass ich die andere SSD, auf der die Baremetal-Installation und die VHDX von Hyper-V drauf ist, nicht in FreeNAS sichere.... Das ist auch technisch machbar. Abgesehen davon, dass man auch mit anderer Hardware arbeiten könnte, was wegen dem begrenzten Budgets nur bedingt möglich ist, was haltet ihr davon?

 

[Cool Master]

Ich würde die Idee verwerfen. Die WD Reds sind mit maximal 8 HDDs in einem Gehäuse zertifiziert. Bei der WD Red Pro sind es 16. Bedeutet also du bist 2 HDDs über dem Limit was zu Problemen durch Vibrationen führen kann. Den RAID Controller würde ich auch nicht weiter trauen als ich ihn werfen kann. Wenn man so etwas kauft dann direkt von LSI oder Broadcom bzw. wer immer LSI aktuell gekauft hat

Wie gesagt ich würde, wenn möglich, die HDDs wieder zurück schicken und das noch mal von vorne neu planen. Dazu kommt je mehr HDDs du hast desto größer das Risiko, dass eine hops geht. Gerade deswegen sind ja die neuen HDDs ein Segen.

 

[holdes]

Naja ich hab mal eben nachgesehen, der Controller vom TE basiert auf einem Megaraid 9260-8i Controller (von 2009?) und der ist ziemlich alt. Performance würde ich da nicht wirklich erwarten also kommt man da schon wie oben empfohlen besser weg wenn man die Platten an dem Teil nativ durchreicht und hinten dran ein ZFS aufbaut. Wenns eh im eigenen Zuhause stattfindet und Backups gemacht werden kann man natürlich das Risiko mit den Platten eingehen. In einer richtigen Enterprise Umgebung würde man dich dafür allerdings steinigen .

EDIT: fast vergessen, wenn du ein RAID Controller in einem normalen Gehäuse betreibst musst du zwingend einen Lüfter auf den Kühlkörper vom Controller verbauen, die Teile erreichen weit über 100°C da sie eigentlich für Servergehäuse mit massivem Luftstrom designt wurden.

 

[TulgaD5]

[...] maximal 8 HDDs in einem Gehäuse zertifiziert [...]

Hmm.... ok, eigentlich ist allein deswegen Ende Gelände... uneigentlich hat holdes natürlich Recht, die Kassetten und das Bandlaufwerk sollen ja auch nicht einrosten und die Festplatten fühlen sich in gummierten Rahmen bestimmt auch ganz wohl, zumal solch eine Lösung besser ist, als einfach gar keine Zentrale stelle für sowas und auch keine Ausfallsicherheit zu haben. Ein Lüfter kommt jetzt gleich auf die Karte drauf

Ich muss mir das nochmal durch den Kopf gehen lassen....

Nichts desto Trotz: Danke an euch alle für die tolle Hilfestellung

 

[holdes]

...der Wunsch nach einem Storage Server doch teurer ist als anfangs angenommen...

Nicht unbedingt, wenns dir nur um den heimischen Server geht warum so kompliziert? Theoretisch reicht ein einfaches ITX Board und wenn du eine guten RAID Controller nimmst, übernimmt dieser auch die XOR Berechnungen für die Paritäten im RAID, da kannst du am Ende auch einfach ein RAID5 mit 5 riesigen SATA Platten basteln. Wenn du so oder so Backups anlegst wäre es auch nur halb so dramatisch wenn dir nicht doch mal das RAID zerfliegt. RAID selbst ersetzt ja so oder so kein Backup sondern stellt durch die Redundanz lediglich eine Ausfallsicherheit dar falls mal ein Hardwaredefekt auftritt - nun ist es aber ja so dass wenn du das zuhause betreibst keine 100% Verfügbarkeit benötigst und es sicher nicht so ein Weltuntergang ist wenn das Teil mal von 365 Tagen 3-6 Tage nicht läuft oder?

Das Bandlaufwerk kannst du natürlich auch in einen anderen normalen PC verbauen, wichtig ist nur das so gut wie jede Backup Software (bei Windows) fast ausschließlich auf Windows Server läuft, Windows 10 etc. verweigert da den Dienst. So hast du deine Backups entsprechend auf einer anderen Kiste bzw. den Bändern und da spricht auch nix gegen eine Risikobastelei.

 

[Humptidumpti]

@holdes
Der M5015 ist wie du schon gesagt hast ein Abkömmling des Megaraid 9260-8i. Performancemäßig schlägt der sich aber nicht schlecht. Im Raid 5 limitiert er irgendwo zwischen 1,2-1,3 Gigabyte pro Sekunde lesend und schreibend. Im Raid 6 wird es etwas weniger sein. Dennoch keine Gurke.

@TulgaD5
Wie Festplatten von der Anzahl in einem Gehäuse spezifiziert sind hat natürlich auf der einen Seite einen realistischen Hintergrund, auf der anderen Seite habe ich noch keinen gesehen der damit Probleme hatte. Ich hatte bis zu 14 WD Green Platten in einem Gehäuse im Raid 5 betrieben und damit über Jahre keine Probleme gehabt.

Generell sollte man aber immer so wenig Festplatten verbauen wie nötig. Der Stromverbrauch wird es einem danken.

Der Controller wird ein umgelabelter Klon des IBM M5015 sein. Da konnte man Raid 6 nachrüsten. Ist ein kleiner Chip der auf einen PinOut gesteckt wird. Kannst ja mal suchen ob das bei deinem auch geht.

 

[RalphS]

als Proof of concept wie gesagt zunächst 2 Platten fürs OS in R1 und dann die 10x3T an den Hba.

10 ist natürlich schon ein bissel schief... hba hast als 8i und als 16i und es sind also zwei überzählig.

Stellt sich die Frage:
2x 3T für OS oder sonst non Storage ans MB
8x 3T für Storage in r6 an bestehenden hba

oder
10x 3T an neuen hba
Ssd in R1 ans MB fürs OS

oder noch was anderes.

Zfs mit 10 vdevs in raidz* ist auch so ne Sache; einmal 10 vdevs, immer 10 vdevs.

ja, Storage auf SAS ist teuer, und mehr Platten in klein kosten nicht weniger als wenig Platten in größer.

Würde persönlich versuchen abzuschätzen wie sich das entwickeln wird mit dem Bedarf und der Verteilung. Wie schon gesagt, wenige große Platten sind zu bevorzugen wegen Ausfallsicherheit - je mehr Platte, desto eher knallt es irgendwo.

Das Zeug heißt Cache 🤓 - mit Bezahlen hat es nichts zu tun—- und der Erfahrung nach würde ich eher zum Weglassen tendieren. Genug RAM für den hba und natürlich fürs System sind da die bessere Investition. OS, temp und alles wo gewerkelt wird auf die Ssd, Rest auf HDd und gut.

Zu schmales Interface für den hba oder HDDs statt der ssd fürs OS sind da einiges problematischer.