1. eigener NAS

[_PhG_]

Ich habe mir jetzt nochmal eure Diskussion durchgelesen und versucht ein wenig das für und wieder abzuwägen.

In dem Fall hier würde ich aber auch eher zu einer Fertiglösung raten, außer der TE hat Interesse und Zeit, sich mit so einem System zu beschäftigen.

Das ist vermutlich ein wenig der Knackpunkt. Vor allem der Punkt mit der Zeit, wobei mir bewusst ist das auch eine "Fertiglösung" einen gewissen Zeitaufwand mit sich bringt. Das Interesse wäre es auf jedenfall nicht an dem es fehlt, auch wenn sich meine bisherigen Erfahren mit Hard- und Software vor allem auf die Hardware beziehen und da eigentlich auch nur auf den PC Zusammenbau.

Vielleicht darf ich aber doch noch eine ganz andere Frage zum Grundsetting stellen, bei der ich eigentlich dachte das sie für mich schon geklärt wäre, jetzt aber doch wieder neu aufgeworfen wird mit dem ganzen Input.

Ich dachte ja an einen NAS mit 2 Bays und je eine Festplatte als Backup und eine als Datengrab. Und dann jeweils eine externe HDD als Absicherung plus die Originalen Daten auf den Rechnern. Sprich RAID 0.
RAID 1 ist kein sinnvolles Backup, soweit so klar.

Was tue ich aber wenn ich jetzt mal die Festplatten tauschen muss, wegen Defekt oder zu klein? Würde ich es mir da nicht einfacher machen mit RAID 1 (wobei das ja 3 oder 4 Bays bedeuten würde bei Backup und Datengrab)? Gehen mir dann die Einstellungen flöten beim Tausch und ich muss alles wieder neu aufsetzen? Oder tausche ich einfach und spiele die Daten vom externen Backup einfach wieder auf?

 

[engelbart]

Moin

Ich bring mich mal als querleser ein.

Ich hab vor ca. 6 Monaten angefangen mit meinem ersten TrueNas.
Seit ca. Einem läuft es wie ich es will....

Es ist jetzt keine Raketenwissenschafft aber auch nicht mal eben so nebenbei machbar.

Vom ersten versuch bis jetzt hat sich die platform geändert und das Heimnetz wurde aufgerüstet.

Aus 1Gbit wurden 10 und 2,5 gbit

Aus der sicherung von einem FamilienPC wurde eine backuplösung für alle PCs, Notebooks, Handys und Tablets.
Mit VM als Server für LS19 und teamspeak

Aus der Windowssicherung wurde es ein Truenas mir backup auf ein 2Baynas von WD und eine externe Sicherung zu Hetzner.

Völlig ausgeufert sind die Kosten

Aber es war lehrreich...

Aktuell nur das NAS

Xeon 2680v3
64GB DDR4
8x2TB HDD
3x1TB SSD
4x128GB SSD
2x16GB optane
1x256GB nvme
1x512GB nvme
1x256GB als VM
Dual Nic mit 10Gbit
Sas zu sata controller x8
Und ne olle GPU die mir gerade nicht einfällt


Zum Thema sicherheit kann ich nur aus erfahrung sagen topt bisher nichts truenas und das zfs.

Zu Anfang neu in der Materie wollte ich selbst mal sehen was möglich ist und hab im laufenden betrieb in einem grossen pool wahllos die platten gezogen und wieder gesteckt. Und es war für mich erstaunlich was alles passieren musste bis ich das ganze system geweigert hat weiterzuarbeiten.

 

[oicfar]

@_PhG_ wenn ich ehrlich bin. Bei der Datenmege:

Die maximale Speichergröße der Medien von denen ein Backup erstellt werden soll ist aktuell 1 TB,
würde perspektivisch aber eher von 2 TB ausgehen. Das Datengrab sollte mindestens 2 TB aufweisen. Wobei
ich aus Gründen der Zukunftssicherheit bisher vor allem nach NAS mit 8 TB (2x 4 TB) geschaut habe.

Würde ich eine 2-4TB SATA SSD nehmen und dann noch extern sichern. Alles andere ist Spielerei, wenn ich ehrlich bin. Es sei denn, du brauchst die Daten im Netzwerk, wo man von verschiedenen Geräten darauf zugreifen kann. Aber auch so würde ich einen NUC oder so was nehmen und hinstellen.

Ergänzung (26. November 2023)

Völlig ausgeufert sind die Kosten

Kenne ich.

Aber es war lehrreich...

So stelle ich es mir vor. Top!

 

[Tycoon187]

Oder tausche ich einfach und spiele die Daten vom externen Backup einfach wieder auf?

So die Theorie, Synology bringt da ja eigene Lösungen mit. Ich bin aber selber noch nicht an diesen Punkt gekommen, von daher weiß ich nicht wie gut das funktioniert. Bei Raid 1 geht das quasi „on the fly“

 

[H3llF15H]

Die Integrität der Daten auf dem NAS kannst du prüfen, indem du Btrfs als Dateisystem verwendest und einen Scrub durchführst.

RAID Scrubbing funktioniert bei QNAP auch auf EXT4-Dateisystemen.

https://docs.qnap.com/operating-system/qts/5.0.x/en-us/raid-scrubbing-0BE980D3.html

 

[_PhG_]

RAID Scrubbing funktioniert bei QNAP auch auf EXT4-Dateisystemen.

Dann besteht ja da schon mal die freie Auswahl.

Wenn ich das richtig verstehe ist das erstmal auch „nur“ (wie BTRFS) das Betriebssystem des NAS? Bedeutet ich sehe es richtig das es völlig egal ist von was für einem Betriebssystem ich die Daten einspielen (Windows, MacOS) weil das über SMB realisiert wird und sich NAS und Endgerät darüber verstehen?
Vermutlich wird das nur dann ein Problem wenn es eine betriebssystem-spezifische Datei ist und nicht bei Fotos/Dokumenten etc.?

 

[H3llF15H]

Wenn ich das richtig verstehe ist das erstmal auch „nur“ (wie BTRFS) das Betriebssystem des NAS?

Btrfs, EXT4, ZFS sind alles Dateisysteme, keine Betriebssyteme. Die Begrifflichkeiten kannst Du gerne mal googlen

Synology setzt als OS auf "DSM", QNAP auf QTS bzw. QuTS hero. Die genannten OS basieren auf Linux.

Bedeutet ich sehe es richtig das es völlig egal ist von was für einem Betriebssystem ich die Daten einspielen (Windows, MacOS) weil das über SMB realisiert wird und sich NAS und Endgerät darüber verstehen?

Ich unterstelle QNAP und Synology einfach mal, dass du Daten vom MacOS auf das NAS bekommst. Windows und Linux stellt kein Problem dar.

Live Demo Synology DSM
Eine Live-Demo von QNAP QTS habe ich nicht gefunden.

 

[Banned]

Ich dachte ja an einen NAS mit 2 Bays und je eine Festplatte als Backup und eine als Datengrab. Und dann jeweils eine externe HDD als Absicherung plus die Originalen Daten auf den Rechnern. Sprich RAID 0.
RAID 1 ist kein sinnvolles Backup, soweit so klar.

RAID0 ist etwas anderes.

Ja, RAID1 ist kein Backup, aber es kann eben dabei helfen, die Integrität der Daten zu erhalten. Das mit den Scrubs hatte ich ja schon mal angesprochen. Dazu auch hier unter "Btrfs Data Scrubbing":

https://blog.synology.com/ger/was-ist-data-scrubbing-2-mechanismen-zur-datenbereinigung/

Zur Frage mit dem Ausfall einer Platte:
Fällt bei einem RAID1 eine Platte aus, musst du nur eine neue einsetzen und die Daten werden wieder dupliziert. Also keine Notwendigkeit, ein Backup einzuspielen.

Ergänzung (27. November 2023)

RAID Scrubbing funktioniert bei QNAP auch auf EXT4-Dateisystemen.

RAID-Scrubbing funktioniert generell mit jedem RAID (außer 0), egal welches Dateisystem. Es bewegt sich aber auf einer unteren Ebene (welche nicht ganz so viel Sicherheit bietet wie die Prüfsummenmechanismen von ZFS und Btrfs) und verwendet die Prüfsummen auf Hardware-Ebene der Festplatten (Sektoren) als Grundlage.

Das funktioniert in den meisten RAID-Konstellationen auch unproblematisch, nur mit RAID1 z.B. ist es so eine Sache; siehe hier unter 6.1.2:
https://wiki.archlinux.org/title/RAID

Deshalb wird ein RAID-Scrub von einem RAID1 bei Synology auch scheinbar gar nicht angeboten (siehe auch den vorher verlinkten Artikel). Würde mich wundern, wenn das bei QNAP anders wäre.


Also RAID Scrubbung != ZFS oder Btrfs Scrubbing.

 

[H3llF15H]

Würde mich wundern, wenn das bei QNAP anders wäre.

Nope, ist es nicht. RAID-Scrubbing wird erst ab RAID 5 angeboten.

 

[_PhG_]

RAID0 ist etwas anderes.

Ja, RAID1 ist kein Backup, aber es kann eben dabei helfen, die Integrität der Daten zu erhalten

Die Strategie wurde von mir auch inzwischen nochmal etwas umgeworfen. Ich werde TimeMaschine weiterhin auf einer externen Festplatte ausführen und die beiden Platten im NAS als RAID1 nutzen. Ist vielleicht etwas overkill für die reine Datenspeicherung, aber der Komfort überwiegt dann doch, wenn mal eine Platte getauscht werden muss etc..

Externe Festplatten als Backup kann ich ja nach eigenem Sicherheitsgefühl soviele nutzen wie ich möchte und der Geldbeutel hergibt.

Deshalb wird ein RAID-Scrub von einem RAID1 bei Synology auch scheinbar gar nicht angeboten (siehe auch den vorher verlinkten Artikel). Würde mich wundern, wenn das bei QNAP anders wäre.


Also RAID Scrubbung != ZFS oder Btrfs Scrubbing.

Alles klar, da muss ich mich dann diesbezüglich nochmal mit auseinandersetzen was da eine sinnvolle Lösung ist. Danke für den Artikel, da schaue ich später mal rein.

 

[oicfar]

RAID Scrubbing funktioniert bei QNAP auch auf EXT4-Dateisystemen.

Für NAS würde ich kein ext4 nehmen.

 

[H3llF15H]

Was spricht dagegen, vor allem wenn es ein QNAP-Gerät ist / wird? Ich sehe darin kein Problem.

 

[oicfar]

An sich nichts. Da muss man schon in die Tiefe gehen.

Wenn ich die Wahl zwischen ext4, btrfs und zfs habe, dann würde ich btrfs oder zfs nehmen. Ich habe vor paar Monaten an einer intensiven Linux Performance Analyse Schulung teilgenommen. Es wurden u.a. die Vor-/Nachteile von den Betriebssystemen unter die Lupe genommen. Und es war schon spannend zu sehen, was mit btrfs möglich ist, wenn man hier auf der Kommandoebene unterwegs ist. Das wäre mit ext4 nicht machbar. Deswegen gibt's auch die Nachfolger, die Vorteile als auch Nachteile haben. ext4 hat den Vorteil, dass es schon sehr lange da ist und es funktioniert.

 

[H3llF15H]

Wenn ich die Wahl zwischen ext4, btrfs und zfs habe, dann würde ich btrfs oder zfs nehmen.

Jut, bin ich bei dir. Da ich mich seinerzeit gegen Synology entschieden habe blieb für mich nur noch QNAP. Da auch auch Bock auf ein "selbstheilendes Dateisystem" hatte, blieb nur noch QuTS hero. Problem: die Geräte sind schon einiges teurer als die QTS-Geräte.

Deswegen gibt's auch die Nachfolger, die Vorteile als auch Nachteile haben.

Das ist doch immer so

 

[_PhG_]

Vielen Dank nochmal für eure Anregungen.

Ich habe mich jetzt mal ein wenig weitergebildet und zumindest schon mal die Hardware ausgewählt:

1. NAS

Bei Synology bin ich fleißig am lesen, was möglich ist und wie man es umsetzt. Es wird wohl auf jedenfall ein längerer Weg.

Was mir allerdings ein wenig Sorgen macht, sind die Backups und leider finde ich da auch nach viel suchen und googeln nicht die passende Antwort (oder ich bin zu dusselig)

Wie erwähnt nutzt ich MacOS und Windows. Bisher habe ich zum Datentransfer eine Festplatte mit exFAT. Ein Stück weit wird diese obsolet werden, weil ich dann ja das NAS besitze und nicht mehr händisch von einem Rechner zum nächsten übertragen muss.

Wie formatiere ich allerdings die Festplatten die die Backups machen? exFAT damit sie überall gelesen und beschrieben werden können? Ist das notwendig wenn ich das Backup direkt vom NAS ziehe? Lieber etwas anderes?

Das Problem ist das ich in vielen Artikeln gelesen habe das exFAT nicht optimal sein soll, weil es technisch wohl eher zu Datenverlust-/Beschädigung neigt als andere Formate. Die nächste Frage, die ich leider nur unzureichend beantwortet fand ist, muss das Backup denn ein Format besitzen welches sowohl Windows als auch MacOS lesen/schreiben kann?

Wahrscheinlich sehe ich den Wald vor lauter Bäumen nicht, aber vielleicht habt ihr da nochmal einen Tipp.

PS: Es scheint auch kaum portable Platten zu geben, die mehr als 5 TB speichern (siehe Geizhaliste). Also einfach selbst etwas zusammenbasteln um vollständig backupen zu können?
Vermutlich stand hier eine unsinnige Frage. Ich kann ja einfach eine größere HDD kaufen und in ein kleines Gehäuse einsetzen, nehme ich an?

 

[Banned]

Ich kann ja einfach eine größere HDD kaufen und in ein kleines Gehäuse einsetzen, nehme ich an?

2,5"-Festplatten gibt's nur bis 5TB. Willst du ein größeres Backup auf eine Festplatte machen, musst du eine 3,5"-Variante verwenden.

Was mir allerdings ein wenig Sorgen macht, sind die Backups und leider finde ich da auch nach viel suchen und googeln nicht die passende Antwort (oder ich bin zu dusselig)

Synology bietet dafür sicherlich mehrere Funktionen an. (Konkret kann ich dir dazu nichts sagen, da ich kein NAS von Synology nutze bzw. mich mit deren OS nicht auskenne.) Die Dokumentation ist aber m.W. gut und es gibt auch reichlich Hilfe-Videos auf YT.

Ist das notwendig wenn ich das Backup direkt vom NAS ziehe?

Nein (siehe unten).

Welches Dateisystem, kommt auch darauf an, wie du das Backup erstellst. Wenn du z.B. Btrfs als Dateisystem hast und Snapshots per Replication sicherst, nimmt man auch Btrfs für das Backup (ist anders auch wahrscheinlich nicht möglich). Wenn man irgendein Tool nimmt, kann man relativ frei wählen. Btrfs erlaubt es einem halt, einen Scrub durchzuführen und so die Daten zu testen - somit wäre es auch hier keine schlechte Wahl. (Dafür wirst du Btrfs wahrscheinlich nicht so einfach mit Windows und mit MacOS wohl gar nicht auslesen können - hat also alles Vor- und Nachteile.)

Die nächste Frage, die ich leider nur unzureichend beantwortet fand ist, muss das Backup denn ein Format besitzen welches sowohl Windows als auch MacOS lesen/schreiben kann?

Das hängt davon ab, ob du das Backup mit einem oder beiden Betriebssystemen auslesen können willst. Müssen tut man hier erst mal gar nichts. Wichtig ist nur, dass es ein Format ist, welches das Betriebssystem des NAS unterstützt.

 

[_PhG_]

Danke erstmal!

5"-Festplatten gibt's nur bis 5TB

Exakt das war der Grund, warum ich nachgefragt habe. Mir ist bei der Suche nach einer externen HDD das 5 TB Limit aufgefallen. Es wäre aber natürlich schön, wenn man ein komplettes Backup haben kann.

Wenn du z.B. Btrfs als Dateisystem hast und Snapshots per Replication sicherst, nimmt man auch Btrfs für das Backup

Das ist zumindest aktuell der Plan, nach den vorangegangenen Tipps von euch.

Das hängt davon ab, ob du das Backup mit einem oder beiden Betriebssystemen auslesen können willst.

Heißt im Endeffekt ich muss mich am Ende entscheiden, wo ich denn mein Backup einspielen möchte? Beziehungsweise wenn ich es in mehreren Formaten benötige muss ich es sowieso über eine andere Festplatte lösen?
Es war aber wohl zu erwarten, dass mich Windows und MacOS ein wenig extra Arbeit kosten.

 

[Banned]

Heißt im Endeffekt ich muss mich am Ende entscheiden, wo ich denn mein Backup einspielen möchte? Beziehungsweise wenn ich es in mehreren Formaten benötige muss ich es sowieso über eine andere Festplatte lösen?
Es war aber wohl zu erwarten, dass mich Windows und MacOS ein wenig extra Arbeit kosten.

Ich verstehe das Problem nicht ganz. Das Backup ist doch im Grunde dazu da, um -falls das NAS die Daten verliert- es dort wieder einspielen zu können. Die anderen Geräte können doch auf die Daten über das NAS zugreifen.
Der Sinn eines Backups ist nicht, dass es ständig an PCs angeschlossen wird, um die Daten abzurufen.

 

[_PhG_]

Ich verstehe das Problem nicht ganz.

Sorry, ich glaube ich habe es auch einfach schlecht ausgedrückt.

Es geht mir eher um den Worst Case, wo mir quasi erstmal alles abraucht (NAS, PC, Mac) und ich die externe HDD verwenden muss, die ausserhalb der eigenen Wohnung liegt. Wenn ich dann die Daten wieder einspielen will, geht das ab dem Zeitpunkt wo das NAS wieder läuft, beziehungsweise ein neues vorhanden ist. Da ich denke das ich allerdings schneller Zugriff auf einen anderen Rechner, als ein neues NAS habe, wollte ich mir eine Rückfallebene schaffen, wo ich die Daten direkt auf ein Endgerät spielen kann.

Vermutlich ist das aber alles recht theoretisch und wenn bei mir alles gleichzeitg in Rauch aufgeht ist das vermutlich auch nicht das größte Problem.