Datengrab mit etwas Sicherheit

[Cluster5020]

Hallo liebe Community,

ich will mir noch heuer ein neues (Computer-)System zusammenbauen und dazu brauche ich auch etwas mehr Speicherplatz. Genauer gesagt stell ich mir dafür ein DAS (Directly Attached Storage) vor.

Die Prinzipien der Datensicherung und- speicherung sind mir bekannt, auch habe ich die Kaufgebratung (Update 2014/2012) gelesen. Aber über die neuesten Entwicklungen tu ich mir ein bisschen schwer.

Was habe ich zu Sichern:
Fotos (TIFF, RAW) und Videos (4K) -> aktuell 10TB (steigend)

Grob vorgestellt habe ich mir:
- ein DAS
weil ich keine dieser Daten woanders benötige als auf meinem PC. Auch weil es derzeit für mich keine sinnvolle NAS Möglichkeit gibt die hohen Bitraten vernünftig HEVC enzukodieren. Ein Umstieg auf ein NAS in der Zukunft ist nicht ausgeschlossen, aber eher unwahrscheinlich für mich.
- RAID 5 (update 08.11.19 = SnapRAID)
momentan liegen meine Daten ohne Backup auf zwei verschiedenen HDDs. Das ist sehr riskant und für mich seit 3 Jahren die Praxis. Das würde ich natürlich so nicht machen, wenn die Daten unverzichtbar für mich wären. Die wenigen wichtigen Daten sind natürlich durch regelmäßige Backups geschützt, was aber nur auf circa 2TB der Daten zutrifft und sich auch in Zukunft nicht ändern wird.
Für die restlichen Daten würde ich jedenfalls etwas besser schlafen, wenn zumindest ein bisschen Schutz vorhanden ist. Darum meine Idee mit einem 5er RAID
- Wieviel Speicherplatz?
Eigentlich brauche ich ja erstmal nur 2TB mehr und in einem halben Jahr nochmal und dann nochmal etc.
Dass ein halbjährliches Upgrade sinnlos ist und da sich ein RAID auch schwer oder nur unsinnig stückeln lässt sehe ich nur zwei Optionen.
Angenommen für mein RAID wären 6TB HDDs im Einsatz (scheint momentan die beste Preis-per-TB Größe zu sein).
Option A) Endausbau -> 6x 6TB = 36TB - 6TB (wegen RAID5) = 30TB, was dann wohl für ein paar Jährchen reichen sollte. Ist halt recht teuer.
Option B) RAID mit stufenweisem Upgrade -> Start mit 3x6TB = 12TB (inkl. RAID5), wenn voll Erweiterung um eine zusätzliche 6TB HDD = 18TB, wenn voll Erweiterung etc. -> geht das überhaupt sinvollerweise?
- Wie?
mit einem dediziertem RAID Controller (e.g. PCI-Express)
- Welche HDDs?
Das ist die große Frage. Das DAS soll jedenfalls nur dann in Betrieb sein, wenn auch der PC in Betrieb ist. Was durchschnittlich circa 3h pro Tag sind. Kann man hier WD Blue verwenden??

Was haltet ihr davon? Wo liegt noch Potenzial?

Vielen Dank schonmal

 

[ameisenbaer]

Warum kein Software-RAID mit Windows?

 

[snaxilian]

@ameisenbaer Ein Windows Software-RAID lässt sich nachträglich nicht vergößern, zumindest nicht das Raid 5/6 wobei ich gar nicht weiß, ob Windows Raid 6 beherrscht.

@Cluster5020 Ein dauerhaft verbundenes System wie ein DAS ist KEIN Backup und auch ein RAID erhöht nur die Verfügbarkeit, sprich du kannst weiter arbeiten wenn eine Disk ausfällt aber es schützt nicht vor Feuer/Wasser/Elektro, Unachtsamkeit wie löschen durch dich, Cryptolocker, etc.
Ein Backup ist, wenn nicht gerade ein neues erstellt wird, immer getrennt von den aktuellen Daten und im besten Fall im sogenannten anderen Brandabschnitt damit es Elementarschäden, Einbruch etc. übersteht. Es gibt die gute alte 3-2-1 Regel für Backups:
3 Kopien der Daten (1x mit denen du arbeitest, 1x regelmäßige Sicherung mit denen man auch zeitnah etwas wieder herstellen kann, 1x "offsite" um Feuer, Wasser, Blitzschlag, Einbruch, etc. vorzubeugen für den absoluten Worstcase)
2 unterschiedliche Medien. Im Firmenumfeld z.B. ein Backupserver mit HDDs und ein Bandlaufwerk. Es können aber z.B. auch zwei unterschiedliche NAS-Systeme oder Backupserver sein mit unterschiedlichem OS/Software damit die Daten noch verfügbar sind, wenn eins der Systeme ein Problem oder Softwarefehler hat oder eine entsprechend große externe HDD oder ein Cloudstorage Anbieter.
1 der unterschiedlichen Medien, z.B. die externe HDD, befindet sich an einem anderen Ort als der Rest.

Raid 5 bei den Datenmengen ist grenzwertig, erst Recht wenn man kein Backup hat. https://www.zdnet.com/article/why-raid-5-stops-working-in-2009/

Ausbau des Raids: Unter Linux per Software bzw. die meisten HW-Raidcontroller ermöglichen die Erweiterung um weitere Disks (je nach Raid-Level, mit 5 & 6 aber problemlos möglich). Software-Raid per Windows: Afaik nein, ggf. Storage Spaces aber damit habe ich persönlich keine guten Erfahrungen gemacht. Mag sein, dass das inzwischen stabiler ist.
Die meisten DAS Lösungen für Privatanwender nutzen jedoch USB oder eSATA und sind dann oft von den Funktionen limitiert. Wirklich flexibel bist da eher mit einem SAS Shelf und passendem Raid-Controller. Ja, du kannst SATA Disks in einem SAS Shelf verwenden. Eins der wenigen mir bekannten für "zuhause" wäre das Silverstone TS821S, liegt preislich bei 300€ oder so und du brauchst dann noch nen Raidcontroller für deinen PC...
Du kannst natürlich ein zweites PC-Gehäuse neben deinen PC stellen und musst dann nur Strom & Datenkabel vom PC in das zweite Gehäuse legen aber das ist ziemliches Gefrickel..

Jede Anpassung eines Raids, also auch eine Erweiterung, ist immer eine sehr starke Belastung für alle Disks. Hohe Last = erhöhte Chance, dass eine Platte aussteigt. Ich habe schon mehr als einmal ein Raid 5 sterben sehen nachdem eine Disk ausgefallen ist, man Ersatz einbaute und bei der Last des Rebuilds die zweite Disk aufgegeben hat. Jede Erweiterung ist defacto ein Rebuild. Ein weiterer Grund gegen Raid 5 bzw. die Notwendigkeit von Backups.

Disks: Jede HDD erzeugt Vibrationen. Viele auf engem Raum in einem Gehäuse: Naja kannst du machen, würde ich nicht. Entsprechende NAS-HDDs die darauf ausgelegt sind, halten ggf. besser durch. Kann sein, muss aber nicht. So oder so wird früher oder später jedes elektronische oder mechanische Bauteil einen Defekt aufweisen womit wir wieder beim Backup sind...
Ich habe auch privat jahrelang ein Raid 5 mit WD Greens betrieben aber zum einen hab ich den Disks dieses unsägliche IntelliStop abgewöhnt und ich hatte stets Backups und wusste um die Schwachstellen und möglichen Probleme. Es geht also schon aber empfehlen würde ich es nur denjenigen, die sich fachlich damit auskennen und Netz und doppelten Boden haben...

 

[Cluster5020]

Warum kein Software-RAID mit Windows?

Vor allem aus Performancegründen. Außer es spricht vieles für ein Software-RAID.

@snaxilian
Das DAS soll kein Backup oder 100%ige Datensicherheit gewährleisten. Die wirklich sicherungswürdigen Daten werden manuell auf eine extra HDD gesichert, die in einem anderen Stadtteil gelagert wird. Aber das trifft nicht auf die Unmengen an Fotos und Videos zu von denen ich hier rede. Da es sich für mich um ein Hobby handelt reichen mir bei einem Datenausfall wenn die wichtigen (separat gesicherten) Daten übrig bleiben.
Bis jetzt habe ich immer wenn der Speicherplatz ausging eine neue HDD gekauft, ohne RAID oder irgendwelche Sicherheiten. Diskinfo zeigt mir jetzt schon zahlreiche Warnungen für die älteren HDDs und auf kurz oder lang muss ich mich von diesen Daten auf der Platte trennen. Daher ist die Frage, ob RAID 5 nicht die bessere Wahl wäre. Auch wenn da das Risiko steigt, alle Daten auf einmal zu verlieren...
RAID6 und höher lässt sich vermutlich nicht kosteneffizient als 3h/7d DAS betreiben?

 

[ameisenbaer]

> Vor allem aus Performancegründen.

Was brauchst Du denn für eine Performance?

Und bei einem RAID-Controller würde ich keine Desktop-Platten verwenden...

Ergänzung (7. November 2019)

RAID6 und höher lässt sich vermutlich nicht kosteneffizient als 3h/7d DAS betreiben?

Extra Computer mit FreeNAS/XigmaNAS und ZFS...

 

[Cluster5020]

Was brauchst Du denn für eine Performance?

Benötigt Software-RAID beim Lesen keine CPU-Ressourcen?

Extra Computer mit FreeNAS/XigmaNAS und ZFS...

Das ist aber nicht kosteneffizient 😅

 

[snaxilian]

Benötigt Software-RAID beim Lesen keine CPU-Ressourcen?

Ist absolut vernachlässigbar.

RAID6 und höher lässt sich vermutlich nicht kosteneffizient als 3h/7d DAS betreiben?

Was hat das eine mit dem anderen zu tun? Die Frage lautet: Hast du die Risiken bei einem Raid 5 ggü. 6 gründlich verstanden und kannst diese akzeptieren oder nicht? Wenn ja = 5, wenn nein = 6

Ansonsten: Welches DAS-Gehäuse & RAID-Controller schwebt dir denn vor? Denn allein das ist nicht "kosteneffizient" was auch immer du dir darunter vor stellst.

 

[ameisenbaer]

Benötigt Software-RAID beim Lesen keine CPU-Ressourcen?

Im Verhältnis zu heutigen CPUs ist das eher wenig...


Und was kostet ein RAID-Controller mit RAID 6 und Ports für 6 Platten? Plus das Upgrade für Platten die mit dem Controller zurecht kommen?


Ps: Und wenn Du Dir einen neuen Rechner zusammenbaust, kannst Du den Alten doch als NAS mit ZFS verwenden...

 

[Cluster5020]

Ich hab mehr ein Platzproblem bei mir, daher wollte ich einfach ein größeres Gehäuse bauen/kaufen und den PC & Storage im selben Housing haben. Die Stromversorgung wäre toll, wenn ein Netzteil reichen würde.

Hast du die Risiken bei einem Raid 5 ggü. 6 gründlich verstanden und kannst diese akzeptieren oder nicht?
Wenn ja = 5, wenn nein = 6

Ja und ja. Aber gegen ein 6er RAID spricht trotzdem vor allem der größere Aufwand für die USV und Hardware. Sonst würde ich bei klarem Verstand natürlich ein 6er nehmen ;-)
Der Preis ist auch der Grund warum ich kein RAID1 nehme. Weil eine HDD fast so viel kostet wie 2 RAID Controller...

Einen dedizierten RAID Controller hab ich noch nicht. Die klingen alle recht ähnlich. Ich würde aber auf jeden Fall zwei kaufen.

 

[ameisenbaer]

Weil eine HDD fast so viel kostet wie 2 RAID Controller...

Welcher RAID-Controller schwebt denn Dir da vor zum Beispiel?

 

[Cluster5020]

Welcher RAID-Controller schwebt denn Dir da vor zum Beispiel?

Sowas in die Richtung
https://geizhals.at/hp-smart-array-...ller-804326-b21-a1811470.html?hloc=at&hloc=de

ok, vielleicht gehn sich nicht zwei aus ;-)
Aber bei 6 HDDs bräuchte ich für RAID1 bzw. 10 ja 4 HDDs (und auch den Strom) mehr.

Aber wenn Software RAID mittlerweile schon eine echte Alternative ist...

 

[ameisenbaer]

Du willst Dir einen HP-Server mit Windows Server zulegen?

 

[Cluster5020]

Nein, das ist nur ein Beispiel, aber sollte kompatibel zu Windows oder Unix sein. Ich verwende übrigens Windows 10 Professional, also keine Server Version.

Ganz anderes Thema. Recherchen zu Software RAID, welches ich ursprünglich ja nicht am Schirm hatte, haben mich auf folgende Ansätze gebracht:
https://www.snapraid.it/
Schonmal davon gehört?

Also beim Beispiel Snapraid könnte ich eine Art RAID6 softwareseitig umsetzen, bei der bis zu 2 HDDs ausfallen können. Das gesparte Geld vom RAID Controller könnte ich also in eine 7. HDD stecken (zweite Parity Platte). So wie ich das sehe.

 

[ameisenbaer]

aber sollte kompatibel zu Windows oder Unix sein

Win 10 Treiber?

PS: Wie stellst Du Dir den Anschluss ans Motherboard vor bei dem Ding?

 

[Holt]

Und bei einem RAID-Controller würde ich keine Desktop-Platten verwenden...

Eben, aber einfache Desktopplatten sind sowieso nur darauf ausgelegt als einzige HDD im Gehäuse zu arbeiten, der Vibrationen wegen und daher würde ich sowieso bei mehreren HDDs im gleichen Gehäuse immer auf NAS Platten setzen, also bei WD Red statt Blue, bei Seagate IronWolf statt Barracuda und bei Toshiba N300 statt X300. Die haben dann auch TLER/ERC und eigenen sich auch für die Nutzung an einem HW-RAID Controller.

 

[Cluster5020]

https://www.snapraid.it/
Schonmal davon gehört?

Ich möchte nochmal darauf fokussieren. Denn meine RAW-Daten ändern sich nicht sehr oft. Es wird sehr selten darauf geschrieben und davon gelesen (von der Indexierung mal abgesehen).

Win 10 Treiber?

PS: Wie stellst Du Dir den Anschluss ans Motherboard vor bei dem Ding?

Du willst mir mit deinen Fragen doch irgendetwas sagen?
Ursprünglich hatte ich ja soetwas im Sinn: https://geizhals.at/broadcom-megaraid-sas-9240-4i-bulk-a565827.html

 

[snaxilian]

An den bekommst aber nur 4 Disks, du willst am Ende ja auch 6 oder mehr Disks gehen...
Snapraid ist eine Alternative, von der Geschwindigkeit her bist du aber immer auf eine Disk limitiert, da die Daten nicht verteilt abgelegt werden. Bei 4 Disks für Nutzdaten wird die erste Datei in Disk 1 geschrieben, die zweite Datei auf Disk 2 und die fünfte Datei dann wieder auf Disk 1.
In dem Fall brauchst natürlich nur genügend freie SATA Ports auf dem Mainboard oder einen reinen HBA mit ausreichend Anschlüssen & Durchsatz.

Nicht jeder HBA unterstützt beliebig große Disks, bei manchen älteren/billigen ist bei 2 TB Schluss. Ebenso drauf achten, dass es ein HBA ist oder wenn ein in den sogenannten IT-Mode flashbarer Raid-Controller. Häufigste Empfehlung ist ein gebrauchter IBM M1015. Ist schon etwas älter aber steckt in unzähligen (privaten) Storage Systemen oder NAS Kisten die einen reinen HBA benötigen.
Vor dem Kauf auch mal kurz recherchieren ob der Hersteller Treiber für Win 10 anbietet bzw. ob andere die Karte unter Windows zum laufen gebracht haben.

 

[Cluster5020]

Ich glaube dass mir der Snapraid Ansatz (in Kombination mit DrivePool) ganz gut gefällt. Die Geschwindigkeit ist zwar ärgerlich, aber ich brauch die Daten eigentlich nicht in Echtzeit. Der Player, das Bearbeitungsprogramm brauchen einfach nur eine vernünftige Caching-Möglichkeit. Diese Programme liegen ohnehin, wie auch Windows, auf SSD Speicher und ich nehme an, dass an diese Geschwindigkeit auch RAID5 kaum rankommt?

Jedenfalls wäre mein Plan dann erstmal nur 3x 6TB Platten zuzulegen. Vermutlich ist hier WD RED (und ähnlich) ebenso die richtige Wahl. Eine 600GB Raptor hätte ich noch, die die allgemeine Zugriffsgeschwindigkeit nicht mindern sollte. Oder sind die alten Raptors mittlerweile schon langsamer als neuere WD BLUEs and REDs?
Alle anderen bestehenden HDDs würde ich der Geschwindigkeit zuliebe nicht mit in das System nehmen (sondern ab sofort als Backup HDDs verwenden).
Das heißt ich hätte zu Beginn bei 12,6TB an verfügbarem Speicherplatz (ohne Win SSD) auf 5 SATA drives. Moderne Mainboards unterstützen oft 6 SATA Interfaces, da sollte es erstmal ohne HBA funktionieren. Ein Aufrüsten mittels HBA sollte ja in Zukunft auch funktionieren.
Der genannte Plan wäre allerdings nur mit einer Parity HDD.
Alternativ wäre es auch möglich 4x 6TB zu ordern und dann 2 Parity HDDs daraus zu machen. Was momentan zwar einem RAID 10 völlig unterlegen wäre, aber mir in Zukunft die Tür offen hält für die 2 weiteren 6TB HDDs.

Was meint ihr dazu?

 

[snaxilian]

SSD Speicher und ich nehme an, dass an diese Geschwindigkeit auch RAID5 kaum rankommt?

Falsche Wunschvorstellungen und Annahmen.
"Die Geschwindigkeit" gibt es nicht. Serielle oder parallele Zugriffe? Nur lesend? Nur schreibend bzw. im Wechsel oder parallel? Zugriffszeit bzw. Latenz oder Datendurchsatz? Alle diese Zugriffe & Nutzungsarten werden in einer Einheit Datenmenge pro Zeit, also Geschwindigkeit dargestellt.
Ja, nehme ich eine schlechte SSD aber gute/schnelle HDDs kann ich beim Schreib- & Lesezugriff die SSD sogar übertreffen aber nicht bei der Zugriffszeit/Latenz oder sobald viele parallele Zugriffe erfolgen. Willst du gute Performance mit einem RAID gewinnen nimmst du Raid 10, willst du billig Daten speichern dann 5.

Eine 600GB Raptor hätte ich noch, die die allgemeine Zugriffsgeschwindigkeit nicht mindern sollte.

Inwiefern und was für eine allgemeine Zugriffsgeschwindigkeit? Beim Zugriff auf Daten, die auf einer SSD oder dem RAID liegen, spielt die Raptor keinerlei Rolle, warum sollte sie auch? Wenn du die Raptor und die anderen Disks mit Snapraid zusammen fügen, sind Daten, die auf der Raptor liegen natürlich schneller gelesen und geschrieben als Daten, die auf den anderen Disks liegen.

Oder sind die alten Raptors mittlerweile schon langsamer als neuere WD BLUEs and REDs?

Naja... guck in die Datenblätter... Bei random IOPS wird die Raptor weiterhin schneller sein aufgrund der 10.000 rpm der Spindeln aber trotzdem um Welten lahmer als eine SSD.
Eine 8 Jahre alte HDD würde ich persönlich nicht mehr weiter betreiben wollen je nach Anzahl Betriebsstunden und den S.M.A.R.T. Werten...

Alternativ wäre es auch möglich 4x 6TB zu ordern und dann 2 Parity HDDs daraus zu machen. Was momentan zwar einem RAID 10 völlig unterlegen wäre, aber mir in Zukunft die Tür offen hält für die 2 weiteren 6TB HDDs.

Bei vernünftigen Betriebssystemen im Bereich Storage, sprich alles außer Windows^^, kannst du mit vier Disks im Raid 10 starten, also je zwei Disks als Mirror und darüber dann den Stripe und lassen sich später mit weiteren zwei (identisch großen) Disks als dritten Mirror erweitern, bessere Raid-Controller können dies auch. Das Ganze sieht dann so aus: https://commons.wikimedia.org/wiki/File:RAID_10_6Drives.svg
Mit jedem weiteren Mirror steigt dann auch die Performance.

Was meint ihr dazu?

Das du mit jedem zweiten Satz deine Anforderungen wechselst. Geschwindigkeit > billig als Raid5, Snapraid, etc > Geschwindigkeit > billig als Raid5, Snapraid, etc > usw. usf.

Entscheide dich, was du willst und definiere deine Anforderungen. Daraus ergibt sich dann die passende Lösung. Am Ende musst du definieren was du als Ziel erreichen willst, dann kann man überlegen welche Lösungen in Frage kommen. Du jedoch kommst mit einer halbgaren Lösung an und willst diese zurecht frickeln bis die eierlegende Wollmilchsau heraus kommt.

 

[Cluster5020]

Ich habe die Anforderungen nicht gewechselt, mich aber vielleicht etwas abstrakt ausgedrückt.
Also Billig ist wichtig, weil große Speicher nunmal teuer sind. Wenn ich beim RAID (z.B. Software Raid) was spare, dann kann ich das in bessere HDDs (RED) investieren. Ich hab mein Budget dazwischen nur ein paar Mal umverteilt.
Bei der Geschwindigkeit geht's mir einfach nur darum, dass ein 100GB File in 1h gelesen werden kann (ohne dass währendessen geschrieben wird). Das sollte mit modernen HDDs ja möglich sein. Die RAID5 Frage oben war nur, ob sich markant was verbessern würde mit RAID5, denn dann wäre es eine Überlegung wert gewesen.

Zu dem Raptor Thema. Mir kommt vor gelesen zu haben, dass der Datendurchsatz (nicht Response) bei SnapRAID von der langsamsten Platte bestimmt wird. Ansonsten würde ich auch meine schon bestehenden HDDs mit in das SnapRAID geben.
SnapRAID scheint meine Anforderungen zu erfüllen. Jetzt geht's mehr darum es möglichst intelligent in die Realität umzusetzen.
Entweder:
3x 6TB mit einer Parity HDD (SnapRAID)
4x 3TB mit zwei Parity HDDs (SnapRAID)
10er Software RAID mit späterem Umstieg auf SnapRAID wenn der Speicherbedarf steigen sollte
*die Raptor ist jetzt einfachhalber mal aussen vor bei den Überlegungen

Ich hoffe ich verwirre jetzt nicht noch mehr 😅