W10-NAS: Speicherpool ? Oder Alternativen ?

multiblitz

Cadet 4th Year
Registriert
Juli 2004
Beiträge
96
Ich habe ein paar alte Rechner, die ich gern als Server / NAS nutzen will. Ich bin nun bei Windows 10 Pro gelandet, da die LIghts-Out-Lösung zum automatischen Schlafenlegen und Wiederaufwecken sehr gut funktioniert und ich nicht meinen NAS durchrappelt lassen will aus den diversen Gründen (Verschleiss, Strom, Lautstärke usw).

NUn hatt ich in der Vergangenheit schon immer mal wieder so Herz-Infakt-Momente:
  • Raid 5 System (Hardware Controller) liess sich nicht recovern, alle Daten weg.
  • Festplatten-Ausfälle, bei denen man aber ganz gut noch was retten konnte, wenn man NTFS-Formatierung hatte
  • HOchwasser, bei dem NAS und Windows HOmeserver mit Raid 6-System und uralt Controller unter Wasser waren (und alles überlebt haben).

Aber man wird paranoid...

Also backup, backup, backup, schon klar.

Dennoch würde ich gern verstehen, was sich nun anbietet, wenn man die Festplatten idealerweise mit NTFS - lesbar behalten möchte. Beispielsweise ist es mit bei Photodateien egal, auf wieveil Festplatten die verstreut werden, wenn aber immer genau ein File auf einer FEstplatte ist am Ende.

So gab es früher einmal beim Windows Home Server eine art JBOD, aber alle Dateien waren in normalen NTFS, d.h. man konnte eine Festplatten aus dem VErbund nehmen, an einen anderen Windows Rechner dran machen und die Dateien auslesen. Duplizieren konnte man auf Ordner-Level einstellen. Erweiterung des Verbundes war kein Problem. Ging eine PLatte kaputt, waren nur die Dateien auf der PLatte ggfs (recovery von NTFS ist ja oft erfolgreich) betroffen, aber der Gesamtverbund war nicht einfach weg. Der Server hat auch automatisch alle FEstplattem gleichmässig beschrieben bzw reorganisiert, um die Leseleistung zu optimieren...

Sowas in der Art hätte ich gern wieder. Leider wurde das System von Microsoft mit WHS2011 abgeschafft.

Wie nah sind nun die Speicherpool dieser Lösung ?

  • Stimmt es, dass der Ausfall einer Festplatte den gesamten VErbund zerstört )in dem JBOD-Mode)?
  • Wenn das passiert: Kann man dann die einzelenen Files als NTFS-Files auslesen auf einem anderen W10-Rechner ? Oder ist alles kryptisch wie bei einem Raid-System gespeichert ?
 
Zuletzt bearbeitet:
Ja, dieses Modell gab es beim WIndows Home Server, und dennoch was es relativ "schwachsinnig" die Festplatten einzeln auszulesen, weil man eigentlich nicht genau wusste, auf welchem Laufwerk sich die Dateien befinden. Ein Ordner kann ja immer auf mehrere Laufwerke verteilt dann sein.

Also bei den Speicherpools geht das nicht. Dort wird das Dateisystem eben wirklich auf mehrere Festplatten verteilt (bzw. eben die entsprechenden Blöcke), und es lässt isch einstellen, wie viele Paritätsblöcke man zusätzlich auf weiteren Festplatten ablegen möchte.

Aber eigentlich gibt es dazu schon genug zu lesen im Internet. Einfach gesagt:
  • Ein Speicher-Pool besteht auf mehreren Laufwerken
  • Der Pool kann eine beliebige virtuelle Größe haben, die unabhängig ist von den verwendeten Laufwerken (natürlich kann man nicht mehr belegen als man Speicherplatz verbaut hat)
  • Ein Speicher-Pool kann beliebig viele (virtuelle) Disks enthalten, die DIsk kann größer sein als die real verbaute Menge an Laufwerken (aber natürlich nicht mehr tatsächlich belegen)
  • Pro Disk kann man den Modus festlegen (also die Zahl der Columns, die Zahl der Parititätslaufwerke),

Insofern: Was man in welchem Fall verliert hängt von den selbst vorgenommenen Einstellungen ab. Es ist alles "kryptisch" gespeichert. Aber im Gegensatz zu einem RAID-Verbund ist es super flexbiel was Austausch von Festplatten und Erweiterung angeht.

Ich nutze seit Jahren ein ReFS-Volume im Datengrab und bin sehr zufrieden. Darauf habe ich eine Disk, die quasi als RAID5 läuft (3+1). In Storage Spaces Terminologie ist es eine 4-Column-Disk mit PhysicalDiskRedundancy = 1 (Partität).

Bei Parität = 0 verliert man denke ich bei einem Ausfall zwangsweise quasi alles, da die Blöcke auf verschiedene Laufwerke verteilt werden. Nur Dateien, die in einen Block passen, würden das überleben. Aber ehrlich gesagt ergibt so eine Datenlotterie keinen Sinn.

Unabhängige Backups von wichtigen Daten sind so oder so Pflicht. Sonst sind die Daten nicht wichitg.
 
Zuletzt bearbeitet:
Vielen Dank für die kompetente Antwort...nun, ich bin etwas nachdenklich geworden. Was ich an der alten WHS Lösung mochte war, dass man die Ordner einfach spefiziert hat, die dupliziert werden sollten und sowohl Original als auch Kopie in direkt lesbarem NTFS abgelegt wurde....somit war der Raid-1 Speicherplatz, den man verbraucht dynamisch mit anwachsender Datenmenge in diesem Ordner.

Was mich bei dem Speicherpool interessieren würde:

Gelten die alten Raid-5 Parameter, d.h. wenn ich 8TBSpeicher will, dann brauche ich z.B. drei 4TB Platten.

Will ich nun mehr Kapazität, ist die nächste Platte wieder eine 4TB Platte, wir sind nun bei 12 GB usw.

Oder:

Scenario 1: Wenn ich eine 8TB (statt 4) Platte reinstecke, wird bei Speicherpools daraus nun ein 16GB Raid5-system (3*4+8)
Scenario 2: Wenn ich eine 2 TB (statt 4) Platte reinstecke, wird bei Speicherpools daraus nun ein 10GB Raid 5 System (3*4+2)?
Scenario 3: System mit drei Platten: 3, 4, 8 TB hat dann in Total in Raid 5 ? 6 (3virtuelle 3GB in R5)+1+5(leftover Kapazität=wie virtuelle neue Festplatten)=12GB Usable Raid 5 Space ?
 
Zuletzt bearbeitet:
Das geht halt nun nicht mehr auf Freigabe-Ebene sondern auf Storage-Disk-Ebene (= virtuelles Laufwerk). Aber man kann auf einem Pool komplett unterschiedlich konfigurierte Disks anlegen, welche ohne Parität, welche mit 3-facher Parität...

Wichtig ist, dass Pool und Disk eben nicht dasselbe sind. Bei einem RAID sind sie es. Deine Betrachtung findet sehr stark auf der DIsk-Ebene statt.

multiblitz schrieb:
Gelten die alten Raid-5 Parameter, d.h. wenn ich 8TBSpeicher will, dann brauche ich z.B. drei 4TB Platten.
Für das Beispiel: Disk hat 3 Columns mit 1 Parität (2+1).
Du könntest 3x4 TB nehmen, ja. Oder 2x4TB+2x2TB, oder 1x4 TB+2x3 TB+1x2 TB. Wichtig ist halt, dass ein Datenblock eben immer auf 3 verschiedene Datenträger verteilt werden können. Wie das erreicht wird ist dem System egal.

multiblitz schrieb:
Will ich nun mehr Kapazität, ist die nächste Platte wieder eine 4TB Platte, wir sind nun bei 12 GB usw.
Nein, sonst müsste ja die Disk auf 4 Columns mit 1 Parität (3+1) umgestellt werden. Du verlierst bei einer Disk quasi einen konstanten Wert, bei 2+1 ist es eben ein Drittel, bei 3+1 ist es ein Viertel.
Eine Disk, die bislang 3 HDDs à 4 TB genutzt hat in einem 2+1, wird mit einer weiteren 4 TB HDD nur 2,67 TB "dazugewinnen".
Hört sich schlecht an, aber ein bestehendes RAID5 würde 0 TB dazu gewinnen.
Also du hast am Ende dann: 4*4 * 2/3 = 10,67 TB

multiblitz schrieb:
Scenario 1: Wenn ich eine 8TB (statt 4) Platte reinstecke, wird bei Speicherpools daraus nun ein 16GB Raid5-system (3*4+8)
Mein Tipp: Löse dich vom dem Gedanken, dass es feste Größen gibt bei einem Storage Pool/Storage Space. Ich habe z.B. einfach 100 TB als Datenträger gemacht. Und wenn das nicht reicht, dann vergrößere ich ihn irgendwann mal... vollkommen unabhängig, was für Datenträger da verbaut sind. Die 100 TB kann ich natürlich nicht nutzen. Aber ich will nicht ständig meine Datenträgergrößen anpassen, wenn ich HDDs tausche usw.

Also wenn du 3x4 TB und 1x8 TB einbaust, dann hast du Gesamt nutzbar 20 TB. Und davon geht 1/3 ab... Du hast 20 * 2/3 = 13,33 TB.
Diese Rechnung gilt aber nur dann, wenn wirklich genug Datenträger vorhanden sind und auch passend verteilt werden kann. Eine Umverteilung kann das System selbst durchführen (soll heißen: bei 2x4 + 1x2 TB würde die 2 TB eben limitieren und die Rechnung ginge nicht mit dem dritteln... man hätte in dem Fall nur 4 TB nutzbar).

multiblitz schrieb:
Scenario 2: Wenn ich eine 2 TB (statt 4) Platte reinstecke, wird bei Speicherpools daraus nun ein 10GB Raid 5 System (3*4+2)?
Analog, du hast du hier eben 14 TB * 2/3 = 9,33 TB
multiblitz schrieb:
Scenario 3: System mit drei Platten: 3, 4, 8 TB hat dann in Total in Raid 5 ? 6 (3virtuelle 3GB in R5)+1+5(leftover Kapazität=wie virtuelle neue Festplatten)=12GB Usable Raid 5 Space ?
Okay, habe lange gebraucht um das zu verstehen.
Ja, da hättest du dann theoretisch nutzbar 6 TB in einem 2+1-Modus, den Rest könntest du anderweitig nutzen, indem du noch weitere Storage Disks auf dem Pool anlegst mit weniger Columns und schließlich ganz ohne Partität.
Es sind aber nicht 12 TB Usable RAID 5 Space, sondern würden 6 TB entsprechen und 6 TB ohne Parität.
Ergänzung ()

Mein Tipp: Man kann auch in einer VM gut mit den Storage Spaces rumspielen, um mal ein Gefühl zu bekommen. Das würde ich vor dem Ernstfall auf jeden Fall empfehlen.
 
Zuletzt bearbeitet:
Alternativ schau mal in Richtung SnapRaid, damit kannst auch Disks unterschiedlicher Größe kombinieren.
 
Vielen, lieben Dank...das mit den Columns hab ich jetzt auch erst verstanden...also ändert sich der 2/3 ratio, wenn man von Anfang an auf 4 Platten/columns geht of 75% (wenn man die Expertenkomsole nimmt) bzw. 80% bei fünf Platten...

Ich habe noch ein Raid6 System, das konnte ich auf 16Tb steigern...verstehe den Kommentar nicht, dass Raid5 nicht bei 12gb landet, wenn man eine Disk mehr nimmt. Man kann doch auch Raidsystem erweitern.

SnapRaid schaue ich mir auch mal an...ost aner Linux, oder ?

Bei mir kommt es nicht drauf an, das die Daten zeitnah gespiegelt werden. Ich frage mich, ob ich nicht einfach mit ner 8Tb und zwei 4Tb Platten anfange, die einfach in NTFS ohne irgendwas als eigene Laufwerke und dann per Folder Backup spiegele wie Allsync das macht. Schnell genug sind die Platten ja eh, die Netzwerkkarte ist ja das bottleneck.

Vorteil: Es laufen nur die Platten, die wirklich gefragt sind, der Rest geht in den Ruhemodus, Raid1 Overhead wird nur verbraucht, wenn besagte Folder wachsen...und 8TB auf einem Laufwerk ist auch schon mal n Wort. Und in n paar Jahren einfach ne 16tB Platte rein...alles bleibt lesbar als NTFS...umd wenn 8TB eng wird, kommt ne 16TB Platte rein.
 
Zuletzt bearbeitet:
I hatte in das Manual geschaut und fand dann syntax wie:

/mnt/diskp <- selected disk for parity
/mnt/disk1 <- first disk to protect
/mnt/disk2 <- second disk to protect
/mnt/disk3 <- third disk to protect

Aber inzwischen habe ich den Windowsx64-Installtionsordner gefunden...ja sieht sehr interessant aus, eigentlich genau, wonach ich suche. Quasi ein Raid5, dass aber alle Festplatten in NTFS lässt und mit lesbarem Filesystem. Klasse. Vielen Dank.

Nun muss ich noch rausfinden, wie gross die PArity-Platte sein muss...mehr reinlesen.
 
Also SnapRAID sieht interessant aus und schaue ich mir auch mal an, teste aber auch hier erst mal ein wenig in einer VM. Eventuell stelle ich meinen Storage-Pool auch um.

multiblitz schrieb:
Ich habe noch ein Raid6 System, das konnte ich auf 16Tb steigern...verstehe den Kommentar nicht, dass Raid5 nicht bei 12gb landet, wenn man eine Disk mehr nimmt. Man kann doch auch Raidsystem erweitern.
Nur, wenn es in der Lage ist, alles umzustellen... also von 3 auf 4 Columns zum Beispiel. Kann das dein RAID-Controller?
Das würde dann beim Storage Space auch gehen - halt manuell. Neue Disk anlegen und alles verschieben.

Aber geht an der Diskussion ein wenig vorbei.
 
Real-Time Redundancy gibt es da nicht? oO Das ist für mich fast ein K.O-Kriterium. Aber naja, die brauche ich nicht für alle Dateien... hmm.

Eventuell wäre auch das etwas: https://stablebit.com/
 
Zuletzt bearbeitet:
Stimmt, das sieht auch sehr cool aus. Eine Cloud-Option ist auch nett, da könnte man einen anderen NAS mit ner privat-cloud verbinden (nach dem Hochwasser werde ich in zwei verschiedenen Häusern zwei Server laufen lassen, sodass die sich gegenseitig übers NEtz duplizieren.

Wenn ich es recht verstehe, dann schafft Snap-Raid (wie auch immer) es, bei 5 gleich grossen Drives mit nur einem PArity-Drive auszukommen (also 4 Data + 1 PArity). Wie die das schaffen ist mir allerdings unklar. Denn es heisst ja, dass keine BAckup-Daten auf den Daten-PLatten angelegt werden. D.h. das müsste ja eine Kompression stattfinden, die sich gewaschen hat, was ich mir bei 4 PLatten voll mit jpg oder mp4-files irgendwie schlecht vorstellen kann.

In Snapraid Foren steht, dass die meisten eben keine grössere Platte brauchen, weil sie auf den Datenplatten 2% für snapraid-dateien reservieren...no idea wie das geht.

Aber ich bin schon mal sehr über die vielen guten HInweise dankbar, denn ich habe was zum Spielen gesucht, sodass ich einen Lautlosen Quasi-NAS-Server bauen kann, wo die Festplatten nur laufen, wenn sie benötigt werden.

Mein WHS2011 mit Xeon Board und Raid-HW-COntroller ist halt schon betagt und mir graust es davor, wenn der COntroller seinen GEist aufgibt...da geht ja schon ggfs. alles den BAch runter, wenn die Reihenfolge KAbel der HDD anders ist als vorher...über unterschiedliche Firmwarestände usw will ich gar nicht erst nachdenken.

Deshlab ist mir eine Hardware unabhäginge Lösung sehr willkommen. UNd einmal am Tag einen Sync machen reicht bei der Art von Daten völlig.Das ist einfach ein typische Heimserver mit DAten wie Blu-Ray, Photos, Musik. Einmal drauf und für lange ZEit ändert sich da nix.
 
Nein
multiblitz schrieb:
Wenn ich es recht verstehe, [...]. Wie die das schaffen ist mir allerdings unklar.
Nope, verstehst du nicht ;)
Snapraid ist vergleichbar mit einem Raid 4. Anstatt die Daten und Paritätsinformationen gleichmäßig auf alle Platten zu verteilen wie bei einem Raid 5 landen bei Snapraid die Paritätsinfos alle auf einer Disk und das eben nicht in Echtzeit sondern wenn man es triggert, z.B. manuell oder per Script/Automatismus.
multiblitz schrieb:
mir graust es davor, wenn der COntroller seinen GEist aufgibt
Dann ist allerspätestens JETZT der Zeitpunkt um dich um Backups zu kümmern und DANACH um eine Ablösung des Altsystems.
 
Also das schöne an den Software-Lösungen ist halt, dass sie echt "flexibel" sind. Also der WHS selbst ist ja auch eine Software-Lösung, ohne dein Hardware-RAID hättest du da weniger Sorgen. Ich habe den WHS früher auch genutzt, vor allem die Idee Desktop-Backups anzufertigen fand ich genial. Leider hat MS den halt eingestellt und auch keinen Ersatz dafür gemacht (naja, mit c't-WIMage gibt es einen etwas ähnlichen Ansatz könnte man sagen, was das Backup von Windows-Installationen angeht)

Mit flexibel meine ich halt, dass die verwendete Hardware egal ist, die Controller, die Reihenfolge der Laufwerke usw alles beliebig getauscht werden kann, USB genauso wie PCIe verwendet werden kann als Schnittstelle für die Laufwerke. Je nachdem, wie ausgeklügelt die Verfahren sind, muss man auch nichts "nachkonfigurieren". Aber hat eben auch Nachteile.

Mit nachkonfigurieren meine ich z.B. wenn man SATA-Kabel tauscht.
 
OK...anscheinend ist es eine gute IDee, beide zusammen zu verwenden:


Wobei ich mich frage:

  • Nehmen wir an, ich hätte fünf 4 TB-PLatten. Dann wären da 4*4=16TB an Daten und eine PArity, also 80% Daten.
  • wenn ich nun eine 8TB, zwei 4TB und zwei 2TB PLatte habe, dann wäre ja die Textbuch-Lösung: 4+4+2+2=12TB Daten und die 8TB PArity. DAs wäre dann eine QUote von 60%...deutlich schlechter.

--> also wie wäre es, die zwei 2TB als PArity zu verwenden ? Dann ist die Quote wieder bei 80% und ich hätte theoretisch Raid-6-Level, richtig ?

...also eher kleinere, dafür aber viele HDD für parity ? Too good to be true vermute ich mal...
Ergänzung ()

snaxilian schrieb:
Nein

Nope, verstehst du nicht ;)
Snapraid ist vergleichbar mit einem Raid 4. Anstatt die Daten und Paritätsinformationen gleichmäßig auf alle Platten zu verteilen wie bei einem Raid 5 landen bei Snapraid die Paritätsinfos alle auf einer Disk und das eben nicht in Echtzeit sondern wenn man es triggert, z.B. manuell oder per Script/Automatismus.

Dann ist allerspätestens JETZT der Zeitpunkt um dich um Backups zu kümmern und DANACH um eine Ablösung des Altsystems.
I know...deshalb mache ich das jetzt ja. Die sensitiven Daten sind eh schon mehrfach im BAckup, es geht jetzt um ersetzbare MAssendaten wie Medien usw. Mein PLan ist, dass ich nun einen Server basierend of W10 aufbaue, der erstmal alles schluckt, Komplett-BAckup aller Daten macht (ca 18TB). Danach lösche ich das Raid-6-System und nutze den Controller nur noch, um die ca. 12 2GB PLatten als normale NTFS-PLAtten umzuformatieren. DIe werden dann mit Drivepool zusammengeführt, SnapRaid drüber und so haben wir den eigentlichen Back-Up-Server mit Raid-6. Wenn dann der Controller die Biege macht, ist das egal. Ist nur noch die Frage, ob ich WHS2011 am LEben lasse und da Drivepool und Snapraid drauf mache oder gleich alles mit ner Neuinstalltion von Win10Pro plattmache, d.h. am Ende habe ich zwei W10-NAS-Server in zwei Häusern (unterschiedlichen Standorten), die sich gegenseitig nächtlich synchronisieren.
 
Zuletzt bearbeitet:
Ok, ich habe bei snapraid weiterlesen...man kann in der Tat auch kleinere Festplatten nutzen für die Parity Disk, die werden dann als Splitparity vom System zusammengefasst, d.h. meine zwei 4tb Platten könnten ein Raid 5 mit lauter 8TB Platten bedienen oder man Partitioniert nur eine 4tb Partition auf der 8tb für die Parity und nutzt den Rest als normale NTFS Platte, ungesichert...die man dann als Parity hochgraded, wenn man mehr 8tb Platten hat. Die Restriktion vier Datenplatten - eine Parity ist keine Restriktion, somdern eine Empfehlung, damit beim Recovery nicht noch eine Platte abraucht. Technisch gehen aber 256 Datenplatten mit nur einer Parity Platte. Also wie bei Raid5.
 
Ich habe ein System auf dem Stablebit Drivepool läuft. DriveBender hatte ich auch schon im Einsatz, der kann aber manchmal ganz schön rumzicken und Probleme machen. Drivepool ist dagegen bei mir seit Einsatzbeginn absolut unproblematisch. Das gute daran ist, dass die Platten auch für sich einzeln genommen aus dem Pool entfernbar und die Daten darauf lesbar sind.
 
Drivepool hatte ich auch mal, das große und einzige Problem daran war das die Ordner und deren Inhalt wild über alle Platten verteilt wurden. Hat man viele zusammenhängende Dateien können so durch einen Plattenausfall wesentlich mehr Daten unbrauchbar werden als eigentlich auf der kaputten Platte waren.
multiblitz schrieb:
Sowas in der Art hätte ich gern wieder.
Genau das macht Drivepool.

multiblitz schrieb:
--> also wie wäre es, die zwei 2TB als PArity zu verwenden ? Dann ist die Quote wieder bei 80% und ich hätte theoretisch Raid-6-Level, richtig ?

...also eher kleinere, dafür aber viele HDD für parity ? Too good to be true vermute ich mal...
Nein, du hast wie in einem RAID5 immer noch einfache Parität. Zweifache Parität wie bei RAID6 hast du erst wenn du diesen Verbund aus 2x2TB noch einmal spiegelst.
 
  • Gefällt mir
Reaktionen: snaxilian
Pandora schrieb:
Drivepool hatte ich auch mal, das große und einzige Problem daran war das die Ordner und deren Inhalt wild über alle Platten verteilt wurden. Hat man viele zusammenhängende Dateien können so durch einen Plattenausfall wesentlich mehr Daten unbrauchbar werden als eigentlich auf der kaputten Platte waren.
Naja, zum einen hat man ja von allem ein Backup ;), zum anderen kann man Drivepool entweder manuell austricksen, indem man das automatische Balancing deaktiviert, und Dateien nicht in das Poollaufwerk, sondern auf die Einzelplatte in den Poolordner kopiert. Somit bleiben Dateien die zusammengehören auf einer Platte. Oder man nutzt eben genau die Balancing-Einstellungen, um dafür zu sorgen dass die Laufwerke nicht gleichmässig, sondern nacheinander befüllt werden. Das funktioniert zumindest so lange, wie keine Dateien gelöscht und somit wieder Platz auf einem vorgelagerten Laufwerk frei wird.

Bei mir ist der Drivepool-PC bereits mein backup-Speicher. Wenn hier eine Platte ausfällt (habe nichts gespiegelt), kann ich die ersetzen und per Freefilesync die fehlenden Dateien wieder ergänzen.
 
@Pandora: Genau das macht die Nutzung für mich suspekt und fragwürdig. Wenn der Inhalt eines Ordners von mir willkürlich auf verschiedene Laufwerke verteilt ist, dann ist das Argument, dass man die Daten ja auch noch so vom Laufwerk lesen kann für mich auch eher nur noch ein theoretischer Vorteil.

Die Mechanismen von Drivepool dann explizit selbst zu umgehen mag ein Workaround sein, dann kann ich aber auch gleich auf den ganzen Pool verzichten und mich manuell drum kümmern.

Auch die Aussage, dass es dafür ja ein Backup gibt ist zwar korrekt, aber nach der Argumentation brauch ich bei einem HDD-Ausfall ja niemals auf den Inhalt eines einzelnen Drivepool-Laufwerks zugreifen, sondern kann immer mein Backup verwenden.
 
Zurück
Oben