NAS Storage Pool erweitern oder neu aufsetzen?

[z1ckZack]

Hallo zusammen,

ich habe letztes Jahr für den Preis eines 2 Bay QNAP TS-253Be ein QNAP TS-453Be erwerben können und bin ganz neu in die Themathik NAS und RAID eingestiegen. Overkill I know. Da ich mir dachte das der extra Platz sicherlich irgendwann hilfreich ist, habe ich zugeschlagen. Anfangs habe ich das NAS mit 2x 4TB WD Red betrieben weil mir der Speicher ausgereicht hat und eine WD 8 TB als externe Backup Platte.

Auf dem NAS werden Monatlich Backups von Mobilen Geräten und Desktops gespeichert und außerdem habe ich meine Medien Sammlung auf das NAS verlegt und Streame die auch in der Wohnung auf andere Geräte.

Da die Größe der Backups und Mediensammlung größer als 4TB ist, betreibe ich die beiden Platten aktuell in einem JBOD. Ich habe noch eine 500GB SSD als Cache dazu geworfen weil diese rumlag und ich mit der Funktion rumspielen wollte. Wenn ich ehrlich bin brauche ich den Cache aber nicht gibt ja eher wenige Zugriffe.

Im zuge des SMR "Skandal" bei WD und Segate habe ich dann sicherheitshalber noch 2 weitere 4TB WD Red gekauft die seitdem bei mir rumliegen. Jetzt wollte ich meinen Storage Pool gerne erweitern, weil die knapp 5,5TB aus dem 7,2TB JBOD Pool langsam voll werde. 15% sind für Snapshots reserviert.

Jetzt wäre meine erste Frage ist das überhaupt Sinnvoll Snapshots bei reinen Backups anzulegen?
Leider scheint es nicht möglich zu sein einen JBOD Storage Pool um eine weitere HDD zu erweitern oder liege ich hier falsch?

Ich hatte auch die Überlegung, den Storage Pool neu aufzusetzen um diesen zu verschlüsseln. Habe ich davor nicht gemacht und dachte ich könnte das nachholen, geht aber auch nicht wie es scheint. Wenn ich es neu aufsetze würde ich das ganze als Raid 5 erstellen bin mir allerdings noch nicht sicher ob mit allen 4 oder besser nur mit 3 der HDDs.

Ich hoffe Ihr könnt mir bei meinen Gedankengängen helfen. Vielen Dank

 

[madmax2010]

4 platten im Raid 1 sind hier eher sinnvoll, denn:

Gegen raid5 spricht bspw: https://www.zdnet.com/article/raidfail-dont-use-raid-5-on-small-arrays/

Vernünftige redundanz ist halt schon etwas was du bei backups eher haben willst.

 

[boxte30:Goas]

SMR wird m.W. nicht mit 4 TB angeboten. - Update: Doch sie gibt es... Außerdem wird 4x SMR nicht besser: Ich hoffe, du hast keine WD40EFAX.
Dir ist hoffentlich schon klar was JBOD bedeutet: Mehr Speicher, aber keine Absicherung. Wenn 2 weitere 4 TB Festplatten herumliegen, dann hilft das nix.

 

[z1ckZack]

4 platten im Raid 1 sind hier eher sinnvoll, denn:

Gegen raid5 spricht bspw: https://www.zdnet.com/article/raidfail-dont-use-raid-5-on-small-arrays/

Vernünftige redundanz ist halt schon etwas was du bei backups eher haben willst.

Danke für den Hinweis schau ich mir mal an.

SMR wird m.W. nicht mit 4 TB angeboten. - Update: Doch sie gibt es... Außerdem wird 4x SMR nicht besser: Ich hoffe, du hast keine WD40EFAX.
Dir ist hoffentlich schon klar was JBOD bedeutet: Mehr Speicher, aber keine Absicherung. Wenn 2 weitere 4 TB Festplatten herumliegen, dann hilft das nix.

Ich habe die CMR (WD40EFRX) Varianten weil ich Probleme vermeiden wollte mit zukünftigen HDDs.
Ich bin mir bewusst das JBOD keine Absicherung bedeutet, desshalb überlege ich ja auch das ganze neu aufzusetzen und ich habe die Platten ja "über". Meine Absicherung war bisher die externe Sicherung.

 

[NJay]

4 platten im Raid 1 sind hier eher sinnvoll, denn:

Gegen raid5 spricht bspw: https://www.zdnet.com/article/raidfail-dont-use-raid-5-on-small-arrays/

Das kann man aber umgehen, in dem man ein vernuenftiges dateisystem verwendet, z.B. ZFS. Das hat bei regelmaessigen scrubs kein Problem mit raidfail. Und im schlimmsten fall ist eine einzelne datei korrupt.

 

[madmax2010]

+1 Für ZFS -Das erfordert jedoch deutlkich mehr ram als hier vermutlich verbaut sind und ohne ecc würde ich es auch nicht betreiben wollen.

 

[snaxilian]

Das erfordert jedoch deutlkich mehr ram

Pauschale Aussagen sind pauschaler Quark. Der TE nutzt keine high-performance IOPS relevanten Zugriffe. Es werden Backups drauf geschrieben und Medien gelesen. Einen Vorteil von einem großen ARC im RAM erkenne ich da nicht und solange keiner auf die Idee kommt die Deduplication einzuschalten sollte es laufen ab 4 oder 8GB Ram. Aber die Diskussion um ZFS oder nicht ist doch sowieso obsolet oder habe ich überlesen, dass das NAS vom TE überhaupt ZFS kann?

@z1ckZack Wenn du es auch mittel- und langfristig schaffst zeitnah Backups anzulegen, dann kannst auch ein Raid 5 mit 3 oder 4 HDDs nutzen. So wie ich es verstehe liegen auf dem NAS die Backups von PCs und Mobilgeräten (also schon eine Kopie) und deinen Medien (keine Kopie). Sofern du viel Speicherplatz haben willst bekommst mit einem Raid 5 und 4 HDDs ~11 bis 12TB raus und musst mit dem Risiko leben. Darfst halt nicht herum heulen und jammern wenn es in paar Jahren den Geist aufgibt und du aus $hier_beliebigen_Grund_einfügen kein aktuelles Backup hast.
Wenn du dieses Risiko minimieren willst bleibt dir eher ein Raid 6 übrig aber mit deinen 4TB HDDs wirst dann nicht mehr Speicherplatz als jetzt bekommen und nein auch ein Raid 6 befreit dich nicht von der Pflicht von Backups wenn dir deine Daten wichtig sind.

 

[madmax2010]

Darum das vermutlich dahinter, ich kann ja nicht wissen ob er die verbauten 2gb aufgerüstet hat.

Und nein, selbstverständlich kann man zfs nicht ohne einen gewissen, hier mmn nicht angebrachten, Aufwand auf einer qnap nutzen. Mein +1 bezog sich auf : jo, zfs ist ein großartiges Dateisystem'


Darum ja raid 1 - ja raid 6 tut es auch. Da stimme ich dir zu

 

[snaxilian]

Wenn du in deinem Beitrag noch das hier falsche synology durch qnap ersetzt kann ich bei deinem Post auch auf mit reinem Gewissen auf "Gefällt mir" klicken

 

[madmax2010]

Upsi. Hatte nicht mehr hoch gescrollt

 

[z1ckZack]

Pauschale Aussagen sind pauschaler Quark. Der TE nutzt keine high-performance IOPS relevanten Zugriffe. Es werden Backups drauf geschrieben und Medien gelesen. Einen Vorteil von einem großen ARC im RAM erkenne ich da nicht und solange keiner auf die Idee kommt die Deduplication einzuschalten sollte es laufen ab 4 oder 8GB Ram. Aber die Diskussion um ZFS oder nicht ist doch sowieso obsolet oder habe ich überlesen, dass das NAS vom TE überhaupt ZFS kann?

@z1ckZack Wenn du es auch mittel- und langfristig schaffst zeitnah Backups anzulegen, dann kannst auch ein Raid 5 mit 3 oder 4 HDDs nutzen. So wie ich es verstehe liegen auf dem NAS die Backups von PCs und Mobilgeräten (also schon eine Kopie) und deinen Medien (keine Kopie). Sofern du viel Speicherplatz haben willst bekommst mit einem Raid 5 und 4 HDDs ~11 bis 12TB raus und musst mit dem Risiko leben. Darfst halt nicht herum heulen und jammern wenn es in paar Jahren den Geist aufgibt und du aus $hier_beliebigen_Grund_einfügen kein aktuelles Backup hast.
Wenn du dieses Risiko minimieren willst bleibt dir eher ein Raid 6 übrig aber mit deinen 4TB HDDs wirst dann nicht mehr Speicherplatz als jetzt bekommen und nein auch ein Raid 6 befreit dich nicht von der Pflicht von Backups wenn dir deine Daten wichtig sind.

Vielen Dank für das Feedback. Ich habe tatsächlich die 2GB gegen 2x4GB getauscht. ZFS kann das QNAP glaube ich trotzdem nicht müsste ich mich noch mal schlau machen.

Wie du richtig schreibst lasse ich meine Backups (Desktop und Mobile Geräte) automatisch auf das NAS Speichern ca. 1 mal im Monat und habe dort meine Medien Sammlung.
1x im Monat stecke ich dann meine externe Festplatte an und lasse dort ebenfalls ein Backup laufen dass alles vom NAS (Backups und Medien) auf die ext. Speichert.

Ich habe auch kurz überlegt ob ich ggf. ein Raid 5 baue die eine 4TB WD Red als spare aufbewahre und noch eine große 8 TB kaufe. Dann könnte ich die 3 4TB Platten als ein Raid 5 laufen lassen und auf die 8TB im Nas Backups und auf die Ext 8TB jeweils eine Kopie des Backups ablegen.

 

[snaxilian]

müsste ich mich noch mal schlau machen

Das kannst dir sparen, es gibt afaik 2 nicht-Rack-mountable NAS von QNAP die ZFS unterstützen und deins ist nicht dabei^^

Ich habe auch kurz überlegt ob ich ggf.

... weiter herum pfusche und herumfrickel.

Du hast jetzt bereits 8TB die fast voll laufen, davon sind x TB Backups und y TB Medien. Mit deinem neuen Konstrukt hättest du im Raid5 effektiv 8TB für Medien und 8 TB standalone für Backups. Mit einer externen 8TB willst dann noch ein externes Backup der internen 8TB-Backup-HDD erzeugen aber deine Medien gar nicht sichern?
Du gehst also die Wette ein, dass nach Ausfall einer HDD der Rebuild ohne Fehler durch läuft und verzichtest daher auf Backups der Medien. Da deine Festplatten alle mehr oder weniger gleich alt sind. Stirbt in paar Jahren die erste davon hast du durch den Rebuild bedingt eine plötzlich stark ansteigende und mehrere Stunden lang anhaltende Last auf den verbliebenen alten HDDs. Du wärst damit nicht der erste Kandidat dem während des Rebuilds die zweite HDD stirbt und dann war's das mit den Medien. Diese Wette kann man eingehen wenn man das möchte, muss jeder für sich entscheiden.

Was du aber bisher gar nicht machst ist eine (nachvollziehbare) Überlegung ob dir der neue Speicherplatz ausreicht über die Lebenszeit der HDDs.
In der Regel geht man von 4-5 Jahren aus, also großzügig 5 Jahre. Ebenso brauchst den jährlichen Wachstum des Datenberges. Da du ein Geheimnis daraus machst wie viel davon Backup und wie viel davon Medien sind nehme ich die 8TB zusammen.
Bei 10% jährlichem Wachstum, was eher konservativ gemessen ist, wärst du in 5 Jahren bei 12,88 TB. Je nach Verteilung auf Backups & Rest können die 4TB ausreichen.
Bei 15% Wachstum sind es in 5 Jahren aber schon 16,09 TB. Zieht man den reservierten Platz für Snapshots ab reicht es schon nicht mehr und du müsstest frühzeitiger Ersatz besorgen.

 

[z1ckZack]

Du hast jetzt bereits 8TB die fast voll laufen, davon sind x TB Backups und y TB Medien. Mit deinem neuen Konstrukt hättest du im Raid5 effektiv 8TB für Medien und 8 TB standalone für Backups. Mit einer externen 8TB willst dann noch ein externes Backup der internen 8TB-Backup-HDD erzeugen aber deine Medien gar nicht sichern?
Du gehst also die Wette ein, dass nach Ausfall einer HDD der Rebuild ohne Fehler durch läuft und verzichtest daher auf Backups der Medien. Da deine Festplatten alle mehr oder weniger gleich alt sind. Stirbt in paar Jahren die erste davon hast du durch den Rebuild bedingt eine plötzlich stark ansteigende und mehrere Stunden lang anhaltende Last auf den verbliebenen alten HDDs. Du wärst damit nicht der erste Kandidat dem während des Rebuilds die zweite HDD stirbt und dann war's das mit den Medien. Diese Wette kann man eingehen wenn man das möchte, muss jeder für sich entscheiden.

Was du aber bisher gar nicht machst ist eine (nachvollziehbare) Überlegung ob dir der neue Speicherplatz ausreicht über die Lebenszeit der HDDs.
In der Regel geht man von 4-5 Jahren aus, also großzügig 5 Jahre. Ebenso brauchst den jährlichen Wachstum des Datenberges. Da du ein Geheimnis daraus machst wie viel davon Backup und wie viel davon Medien sind nehme ich die 8TB zusammen.
Bei 10% jährlichem Wachstum, was eher konservativ gemessen ist, wärst du in 5 Jahren bei 12,88 TB. Je nach Verteilung auf Backups & Rest können die 4TB ausreichen.
Bei 15% Wachstum sind es in 5 Jahren aber schon 16,09 TB. Zieht man den reservierten Platz für Snapshots ab reicht es schon nicht mehr und du müsstest frühzeitiger Ersatz besorgen.

Erstmal vielen Dank für den sehr hilfreichen Input. Über das anwachsen der Daten habe ich mir tatsächlich noch wenig Gedanken gemacht.
Bei meinen Überlegungen habe ich mich vielleicht etwas ungenau ausgedrückt. In meinem JBOD stehen 7,2 TB zur Verfügung. Davon sind aktuell 5,7 TB für Daten vorgesehen und 1,5 TB für Snapshots.
Meine NAS-Daten teilen sich aktuell auf in ca. 1 TB Medien und ca. 3 TB an Backups von unterschiedlichen Geräten. Aktuell habe ich noch freiem Speicher von ca. 1,7 TB.

Meine Idee war es sowohl die NAS-Daten (Medien und Backups) auf den 3 HDDs im Raid 5 laufen zu lassen. Das ergäbe 8 TB Speicher für meine NAS-Daten und eine Platte könnte ausfallen. Ich hätte wenn eine Festplatte ausfällt noch eine weitere 4 TB die ich sofort einsetzen kann und noch einen freien Slot im NAS. Snapshots außer acht gelassen.

Alle NAS-Daten (Medien und Backups) würde ich dann monatlich einmal auf der 8 TB ext. Platte als cold Backup sichern.

Den einen freien Slot könnte ich jetzt nutzen um ein zweites Backup der NAS-Daten anzulegen (neben dem externen Backup der NAS-Daten)
oder meine NAS-Daten mit 4 HDDs im Raid 5 zu betreiben. Dann hätte ich insgesamt 12 TB Speicher und müsste ggf die ext. Festplatte erweitern sobald meine ext. Backups größer 8 TB werden.

 

[Dig.Minimalist]

Datenverfügbarkeit scheint ja nicht so relevant zu sein. Welche Daten sind wichtig für dich? (Alle, oder nur ein Teil?).
Backup dieser Daten ist essentiell - am besten auf einem Medium, welches nicht dauerhaft läuft und an einem anderen Platz gelagert wird, z.B. Deine externe 8TB HDD.
Das NAS dient als Zwischenspeicher und ist Streaming Quelle.
4x4TB als JBOD mit 16TB, oder RAID5 mit 12TB, oder RAID10 mit 2x4TB, oder 1x8TB.
Ich würde ein RAID 5 Setup machen - falls du mehr Backup Daten als 8TB hast. Größere, oder zusätzliche Backup Platte.
Ich würde sogar die Backups und Medien separat absichern auf zwei unterschiedlichen Backup HDDs.