Die Pech sträne hört nicht auf

[Araska]

Jede Datei wird durch 4 geteilt, die fünfte Platte enhält Prüfsummen. (Nicht ganz; IIRC wandert der Job 'Prüfsummme' mit den einzelnen Segmenten.

Fallen dir zwei Platten aus, mußt du damit rechnen, nur noch (etwas mehr als) die Hälfte der Daten zu haben.

Nicht etwa die Hälfte der Dateien, weil dir von jeder größeren Datei zwischendurch Segmente fehlen.

 

[latiose88]

naja das wwürde mir schon reichen,damit ich weis was es war.Wie mache ich das denn,nur zu wissen was fehlt?

 

[conf_t]

Bei 5 ist eine datei also 1/5 davon

Nicht ganz, aber fast 1/n-1. also bei 5 HDDs wird die Datei vereinfacht durch 4 geteilt und die 5 Platte bekommt die Paritätsinfo. Aber wie Verteilung was auf welcher Platte liegt ist bei jeder Datei anders. Und die Aufteilung passiert in Blöcken jede 512 Bytes oder jede 4096 Byte werden auf einer anderen Platte gespeichert.

Die Frage ist, ob die Platten wirklich tot sind oder nur rausgeworfen weil zu schlecht.

Vermutlich ist das RAID bereits Out of Sync. Denke nicht, dass da noch viel geht.

 

[aluis]

OK es handelt sich um Serien die so 300 MB Rum groß sind .

Das ist doch sowas von egal. Einfach neu laden und dann gleich in besserer Qualität.

 

[latiose88]

Also im Nas steht bei 3 inaktiv und 2 fehlt drinnen. Die Infos sagt mir was ?

 

[conf_t]

naja das wwürde mir schon reichen,damit ich weis was es war.Wie mache ich das denn,nur zu wissen was fehlt?

Echt? Du weißt wo eine 0 und wo eine 1 stand pro Datei? Du hast es noch immer nicht verstanden. Es wurde missverständlich ausgedrückt. Nicht die Hälfte deiner Dateien ist da, sondern die Hälfte der Informationen. Aber da wie schon x-mal gesagt, die Dateien sind als Schnipsel auf die Platten gespeichert. Eine 300 MB Datei besteht dann grob aus 6000000000 Schnipseln davon fehlen dir random 2000000000 Schnipsel. Und jedes dieser Schnipsel besteht auf 4096 0 und 1. Vergiss es. Ende Gelände! Das kannst du als Mensch gar nicht beheben.


Wem das nicht klar ist, dem kann ich nur gratulieren: Happy Datenverlust 🍻

 

[Araska]

Werden die Teile eigentlich blockweise verteilt, oder wird jeweils ein Strip am Stück geschrieben?

 

[conf_t]

Ein Strip ist meist ein Block, meist einstellbar. Daher war ich in meinem Beispiel einfomal von strips à 512 Bytes ausgegangen. Kannst meist aber auch größer definieren

 

[latiose88]

Ich habe es auf Standard gelassen. Hätte ich nur größere Gewält wäre wohl besser gewesen.

 

[conf_t]

Nöö, wären halt um Faktor 4 oder 8 weniger. Wie bewegen uns da aber immer noch im für menschliche Gehirne unvorstellbaren Anzahl von 0 und 1.

Du verstehst nicht, dass du nicht mal eben eine Milliarden Bits erraten kannst, selbst 100 Bits kannst du nicht erraten. Dein Gedanke ist da von vorne herein gescheitert. Dies hat ja schon was vom kindlichen „magischem Denken“.

 

[Banned]

Je nach Volume und URE Angabe des Herstellers uU sogar garantiert. Oder eben nicht.

Oder eben nicht, genau. Das ist eine rein statistische Größe, die mit der Realität bedingt etwas zu tun hat m.E. Es ist einfach nicht so, dass nach der errechneten Menge sicher ein RE auftritt. Es wird nur ausgesagt, dass innerhalb einer Menge an gelesenen Bits statistisch ein URE auftritt. Kann genauso gut sein, du hast am Anfang zwei und dann für die doppelte Menge der Bits laut URE-Rate - 2 gar keine mehr. Kann genauso gut sein, dein Nachbar hat zwei und du gar keinen. Einfach statistisches Geplänkel mit bedingtem Realitätsbezug.

Und die Aufteilung passiert in Blöcken jede 512 Bytes oder jede 4096 Byte werden auf einer anderen Platte gespeichert.

Die Chunk-Size entspricht nicht zwangsweise der Sektor bzw. Block-Größe der HDD. Bei mdadm z.B. sind es standardmäßig wohl 512KB:
https://serverfault.com/questions/1144296/mdadm-chunk-values

Kann man aber anpassen.

 

[wern001]

Nicht ganz, aber fast 1/n-1. also bei 5 HDDs wird die Datei vereinfacht durch 4 geteilt und die 5 Platte bekommt die Paritätsinfo. Aber wie Verteilung was auf welcher Platte liegt ist bei jeder Datei anders. Und die Aufteilung passiert in Blöcken jede 512 Bytes oder jede 4096 Byte werden auf einer anderen Platte gespeichert.

ist nicht ganz richtig. Das Raid egal welcher Level wird in Stripesets verwaltet. das hat nichts mit der Sektorgröße von 512 oder 4096 Bytes der Platten zu tun. Das Stripeset wird bei dem Raid init mit angegeben.
Die meisten Raid5 haben ein Stripeset von 256 oder 512 kb was dann bei 3 Platten mit 512 kb ein fullstripe von 1024 kb ergibt. Das bedeutet es werden pro Schreibzugriff 1536 kb (1024 daten und 512 parity) daten geschrieben.

 

[latiose88]

OK und was kann das tool so ,da steht doch extra für RAID 5 .was kann das so weil es ja ecpliziert an RAID 5 gerichtet ist .

 

[kartoffelpü]

OK und was kann das tool so ,da steht doch extra für RAID 5

Meiner Meinung nach versprechen die Werbetexte des Tools mehr als es realistisch erreichen wird.
Auch wenn "magic" im Namen steht, wird es primär mit solchen Aussagen das Geld aus den Taschen der Käufer zaubern

 

[seluce]

Puuh, ich bin eigentlich niemand, der sowas schreibt,aber sicher dass On Prem / eine NAS das richtige für dich ist? Mir scheint, dass du mit genug Kapazitäten bei einer Cloud besser fahren würdest. Da gibt's genug Anbieter, die es relativ kostengünstig machen.

Ist natürlich nett, wenn man die Dateien lokal halten kann oder auch mit Docker einige Dienste lokal hostet, aber dann brauchst du auch eine Backup-Strategie. Wenn die NAS oder das jeweilige RAID hin ist, dann bist du ohne Backup bei Null.

Wenn ich schon sehe, dass die eine Festplatte vor Monaten kaputt gegangen ist und du kein Backup gemacht hast, dann weiß ich auch nicht. Wenn es zuviele Daten sind, mach halt vom wichtigsten ein Backup (persönliche Dokumente, Fotos, Docker Dateien und die YAML) und lasse unnötiges (Serien, z.B) einfach weg. Wenn dann das Raid defekt geht und du deine Serien verlieren solltest, dann schmerzt es zwar ein wenig, aber die wichtigen Dateien sind noch da. Sei es ein USB-Stick oder externe Festplatte, welche täglich automatisch darauf sichert (immerhin).

Wenn du dich mit dem Thema nicht genauer beschäftigen möchtest, dann gibt's genug Cloud-Anbieter, die sich genau auf sowas spezialisieren.

 

[IBISXI]

Die Frage ist, ob die Platten wirklich tot sind oder nur rausgeworfen weil zu schlecht.

Genau das ist die Frage.

. Nicht die Hälfte deiner Dateien ist da, sondern die Hälfte der Informationen. Aber da wie schon x-mal gesagt, die Dateien sind als Schnipsel auf die Platten gespeichert. Eine 300 MB Datei besteht dann grob aus 6000000000 Schnipseln davon fehlen dir random 2000000000 Schnipsel.

Das stimmt nur wenn 2 Platten komplett ausgefallen sind.
Das ist aber selten der Fall.

Das Raid wird aber schon als failed angezegeigt, wenn einzelne Dateien nicht mehr zusammengebracht werden.

Hier kann man normalerweise das Raid nochmal online Forcen und Daten sichern.

 

[ABC]

Der Anbieter schreibt selbst (das alles steht ganz unten auf seiner Seite):
"Wenn zwei von drei Festplatten ausgefallen sind, gibt es keine große Chance, Daten aus einem RAID 5 wiederherzustellen. Wenn jedoch 2 von 4-16 Festplatten ausfallen, können Sie mit Hilfe einer speziellen Software zur RAID 5 Datenwiederherstellung einen Teil der Daten oder sogar alle Daten retten, ohne die Integrität zu beschädigen."

Mit ZFS als Dateisystem könnte eine Wiederherstellung klappen. ZFS muss aber vorher eingerichtet sein. Das ist hier nicht der Fall. Also Daten weg.

Wenn kein Backup vorhanden ist, sind die Daten auch nicht so wichtig. Wenn die Daten Wichtig sind, gibt es auch ein Backup.

PS: Profis nutzen für ein Backup LTO-Bandlaufwerke (Teuer aber gut).

 

[latiose88]

nun ja fällt mir genau sowas auf die füße.Ich hatte nicht genug externe Platten gehabt um alles sichern zu können.Jetzt erst wollte ich damit anfangen.Bin immer noch dabei von der einen alle ungesicheten sichern,bevor ich die eine Platte rein tue.Dabei habe ich scheinbar den zweiten Raid 5 so stark belastet,dann da auch was ausgefallen ist.Hätte ich das ganze lieber Extern gemacht,dann wäre wohl die zweite Raid 5 nicht auch zusammen gebrochen.Ich habe nur noch die neuen 20 Tb Raid 5 und eine einzelne 20 Tb wo die last nun drauf sitzt.Das wird wirklich übel.Ich schaue das ich die eine 16 Tb einfüge,weil alles kann ich da eh nicht auf die schnelle sichern.Je länger es in dem Zustand ist desto schlimmer wird es.Das Nas ppieppt ja eh schon dauernd.ALso schaue ich nur das ich die Sachen die ungesichert sind zu sichern.Der rest habe ich noch extern liegen.Das ist das Sinnvollste das ich machen kann.
Die 5 x10 TB jedenfalls die ja Älter sind als die 16 TB,kann ich wohl 2 eh schon als Defekt vergessen.Was ich mit den anderen Mache,sind ja weil nur 3 Platten,kann ich jedenfalls Raid 5 am Ende nur 2 davon Nutzen.Das wären dann rund 17 TB.Das ist halt zu wenig für große Sachen.

Da sehe ich also wenig Chancen für die 10 TB Platten.Eiggentlich wollte ich alles später zur größeren Raid 5 verschieben sobald diese wieder sicher sind.Wollte die 10 TB aufgeben für größere.Der PPlan ist nun vereitelt worden.Das es nie bei mir klappppen will der Plan,das nervt echt.

 

[CPat]

OK und was kann das tool so ,da steht doch extra für RAID 5 .was kann das so weil es ja ecpliziert an RAID 5 gerichtet ist .

Du hast im Eingangs-Post einfach nur einen Blog-Artikel verlinkt, in dem der Hersteller über RAID5 schreibt. Wenn du auf Beschreibungen der Software klickst und diese durch liest, hat die Software nichts speziell mit RAID5 zu tun.

In der Beschreibung, wie man ein beschädigtes RAID wieder herstellt, schreibt der Hersteller selbst:

"Das Programm funktioniert mit allen gängigen Datenspeichern (Synology, QNAP, ASUSTOR, Western Digital, Thecus, TerraMaster, Buffalo usw.) und NAS-Geräten (Network Attached Storage). Die begrenzten Systemressourcen und Benutzeroberflächen vieler fertiger NAS-Lösungen können jedoch dazu führen, dass Daten selbst für RAID-Arrays nicht mehr zugänglich sind, wenn eine der Festplatten in Volumes mit mehreren Laufwerken ausfällt."

Wenn ich es richtig gelesen habe, sind bei dir 2 ausgefallen.

Ich würde eine Nacht drüber schlafen und morgen anfangen zu Planen, wie am besten alles neu aufgebaut wird - diesmal mit Backups in der Planung.

 

[latiose88]

nun weis ich auch warum einige schrieben das es egal ist ob man da Raid 5 oder Raid 1 nimmt,weil man gegen sowas nicht gesichert ist.Ich finde es unglaublich das es sogar 3 Festplaten zur selben Zeit waren.Habe das Protokoll gesehen.Die eine zeigt beim Nas rote Lampchen an,aber wird nicht mer erkann weil ausgegraut.Da wurde defekter Sektor gemeldet.Es passierte also um 7 Uhr das es gemeldet ist.
Es sind einfach auf einen schlag die Festplatten gestoren.Wie ein Sack einfach so umgefallen ist,aus dem nix.
Sowas habe ich bisher echt noch nicht erlebt.Die restlichen werden zwar noch als gut angezeigt,aber ist die Frage ob man diesen noch trauen kann.Schließlich sind alle 5 gleich alt.Was will ich mit 2x10 Tb machen,das ist voll doof.
Zum glück habe ich das meiste auf Externe platten.Es dürften für die selbe Menge wohl 2x20 TB PPlatten ausreichen,als Lineale Speicher.Zumindest wenn ich auf Raid 5 Sicherheit 0 gebe.
Ich sehe ja wie sicher Raid 5 ist.Da ist nix sicher.Es spielt keine Rolle ob ich Raid 1 oder Raid 5 nehme.
Daten Sichern muss ich ja dennoch.Das sollte für mich die Lektion dabei sein.