Software Raid6 mit 3 defekten Platten

Hallo Zusammen,

ich habe ein Problem mit meinem Software Raid6. Das Array ist platt, da drei Festplatten außerordentlich sind.

System:
Debian Lenny mit Kernel 2.6.29.2 mit mdadm erstelltes Raid6.
Das Array besteht aus 9 HDDs. Zwei HDDs sind durch Busfehler ausgestiegen und hatten den Status faulty spare. Da die Platten, getestet gut waren, wurden diese mit mdadm --remove / --add dem Array wieder hinzugefügt.
1. HDD ging in rebuilding und die Zweite in Spare. Beim Rebuild kamen Lesesektorfehler bei einer dritten Platte vor, so daß das Rebuild abgebrochen wurde und alle drei HDDs nun in Spare sitzen.
Das Array hat den Status active, degraded, not started. Kann auch nicht gestartet werden, da eine HDD mit Daten fehlt.

Kann man das Array noch retten?

Eine Idee hab ich noch, weiß aber nicht, ob diese umsetzbar ist. Die zweite HDD, welche nur Busfehler hatte und anschließend nur in Spare war, sollte ohne Probleme sein. Hat aber das spare flag und kann nicht in active sync gesetzt werden, da ein Rebuild, was nicht geht, notwendig wäre. Wenn es möglich wäre, den spare Status zu überschreiben, so daß die HDD in active sync ist ohne ein Rebuild vorzunehmen, könnte man zu mindest weitere Schritte einleiten, um die Struktur und Datenintegrität zu prüfen.

Für Vorschläge wäre ich sehr dankbar.

Danke & Gruß
monthy

p.s.: Logs kann ich heute Abend liefern, wenn notwendig.

Ich weiß nicht ob es ratsam ist, wenn du kein Rebuild über Parity durchführen kannst das Array komplett aufzulösen und identisch neu ohne partitionieren, formatieren etc. aufzubauen um eine Diagnose zu machen?
Wenn keine Änderungen oder Schreibzugriffe an Daten vorgenommen wurden, kann Testdisk oder normale Datenrettungssoftware eine Diagnose machen.

Teile auchmal dein Dateisystem mit.

Was hältst du von Datenrettungssoftware?
R-Studio hat ein Linux-Iso bei der du ein RAID nachbilden kannst.
Weiß gegenwärtig nicht, ob es RAID6 unterstützt.

Ansonsten gibt es den kostengünstigen Restorer Ultimate als Windows-Anwendung.
Ist zwar günstig, hat aber dennoch gute Ergebnisse.
Unterstützt RAID6 in der Software, in der du dein RAID virtuell nachbilden kannst.
Unterstützte Dateisysteme sind FAT, NTFS, Ext2/3, UFS und HFS/HFS+.
Zusätzlich zu der voreingestellten Remote-Engine gibt es auch in der NET-Version ein Iso, von dem aus ein nicht bootender Computer als Netzwerk gestartet werden kann.
Infos zu RAID,
http://www.restorer-ultimate.com/help/index.html?data_recovery_from_raids.htm

Teile es insoweit mal mit.

Viele Grüße

Fiona

Hi Fiona,

Danke für deine Tipps. Im I-net habe ich was gefunden, was evtl. funktionieren könnte.
how-to-recover-a-raid-array-after-having-zero-ized-superblocks

Werd das erstmal in einer VM testen, besser ist das.

Zum Dateisystem. Sehr kryptisch. Ist ein dm_crypt verschlüsseltes EXT3. Da werden wohl handelsübliche Tools versagen.

Kann mir auch nicht vorstellen, selbst wenn die Verschlüsselung nicht wäre, daß DRTs aus einem defekten Raid noch Daten retten können.
Die Chunksize ist 64KB und bei Raid& also komplett über alle Platten verteilt. Da in meinem Fall eine Platte fehlt für Rebuild, dürfte es auch schwer sein, was regular mit Tools zu finden.
Aber, werd mir mal deine genannten DRTs anschauen. Wer weiß, vielleicht ist da doch was bei.

Gruß
monthy

The solution was to recreate the RAID array. This sound counter-intuitive: if we recreate a raid array over an existing one, it will be erased ! Right ? Wrong ! As it is said on debian-user-french, mdadm is smart enough to “see” that HDD of the new array were elements of a previous one. Knowing that, mdadm will try to do its best (i.e. if parameters match the previous array configuration) and rebuild the new array upon the previous one in a non-destructive way, by keeping HDD content.

Zum Vergrößern anklicken....

Vielleicht möglich?
Wenn Partition verschlüsselt ist, wird Datenrettungssoftware das Dateisystem wahrscheinlich nicht erkennen.
Wenn die Verschlüsselung aufgehoben werden kann und immer noch Probleme sind. kann Testdisk an de vorigen Superblock kommen.
Infos;
http://www.cgsecurity.org/wiki/Sicherungskopie_des_erweiterten_ext2-/ext3-SuperBlocks_finden

Viele Grüße

Fiona

Hallo Fiona,

nachdem ich ausgibig in einer VM ein Raid6 zerboxt und wieder zusammengefuegt habe und alles sehr gut lief. Erst mit Datenverlust aber anschliessend ohne, War ich mutig genug, das Original anzufassen.

1. Raid6 ist im Rebuild
2. Das Dateisystem ext3 ist platt.

Jetzt sollte ich wohl mit Testdisk umfangreich schauen, ob ich dass Dateisystem retten kann. Ein Auslagern der Daten wird sich naemlich als schwierig erweisen.

Moin,

jetzt geht es ins eingemachte. Testdisk brachte eine Fehlermeldung, daß das Dateisystem größer als das Medium sei.

Mit debugfs kam der Fehler raus:
debugfs: open /dev/mapper/raid
/dev/mapper/raid: Can't read an inode bitmap while reading inode bitmap

syslog:
May 6 10:30:32 fileserver kernel: [136739.289452] EXT3-fs error (device dm-2): ext3_check_descriptors: Block bitmap for group 5888 not in group (block 3707152363)!
May 6 10:30:32 fileserver kernel: [136739.300177] EXT3-fs: group descriptors corrupted!
May 6 10:31:17 fileserver kernel: [136791.851778] VFS: Can't find ext3 filesystem on dev dm-2.

Wenn ich fsck.ext3 durchführe, kommen massive Fehlermeldungen und man könne den Zustand ändern, was aber großen Datenverlust führen kann.

Hier im Forum gab es einen ähnlichen Fall von auto.1234. Leider hat er nicht geschrieben wie er das Problem gelöst hat.

Soweit wie mir das berichtet wurde, ist das Bolschen gelutscht.

Ein Bitkipper in der Verschlüsselung wird wohl die Ursache des Übels sein.

Damit kann man wohl den Thread schließen.

Danke für die Beteidigung und Hilfestellungen, Fiona.

Gruß
monthy

Es ist schwierig an die Daten einer Partition zu kommen, wenn diese verschlüsselt ist!
Freut mich das es soweit geklappt hat! n
Auch für dein Feedback.

Viele Grüße

Fiona

Du hast da wohl was falsch verstanden.

Ich komme nicht mehr an die Daten ran. Das hat geklappt.

Grüsse
monthy

Problem ist, nach Verchlüsselung, wird normal kein Dateisystem wie ext3 mehr erkannt und ist somit nicht Standard.
Wenn du das Array neu aufgebaut hast, teile mal mit, ob es unallocated oder nicht zugeordnet oder unformatiert erscheint?
Gibt es eine Sicherungsdiskette.
Normal sollte auf einer verschlüsselten Partition kein fsck ausgeführt werden.
Auch wenn ein Speicherfehler darauf existiert, ist immer zuerst wichtig ob es entschlüsselt werden kann.
Erst dann kann im Fall wenn die Daten nicht angezeigt werden Datenrettungssoftware (sichere Alternative) oder fsck ausgeführt werden!
Bist du in der Lage über eine Sicherungsdiskette, Backup vom Volume Header wie bei TrueCrypt die Verchlüsselung wiederherzustellen und das Laufwerk zu mounten?
Auch würde Testdisk ein gemountetes Laufwerk als Drive anzeigen und könnte eine Diagnose machen.

Teile es mal insoweit mit?

Viele Grüße

Fiona

Hallo Fiona,

Nachdem das array defekt war, hatte ich es mit mdadm --create /dev/md0 bla bla bla.. initialisiert.

Später stellte sich heraus, daß man dieses nicht machen sollte, sofern es sich um Cryptodevice handelt.
Gut zu wissen für das nächste Mal. In der damaligen Situation hätte man sich einen kernel basteln sollen, wo drin steht, das das Raid nicht automatisch den resync durchführen soll, sofern neue Platten hinzugefügt werden. Anschließend mit dem neuen kernel booten, das raid mit mdadm zwingen zu starten. Soll so ein fault flag geben, womit man trotz Fehler das Raid starten kann.

Zum Vergrößern anklicken....

Also nach der Initialisierung des Raids, konnte ich es per cryptsetup entschlüsseln aber das Dateisystem ist korrupt.

- korrupte superblocks
- korrupte Inode Table
- korrupte Block group discriptor

Normalerweise sollte man jetzt mit dd oder besser dd_rescue das entschlüsselte Array auslesen und auf neue Festplatten schreiben. Anschließend die Kopie mit e2fsck bearbeiten und reparieren lassen. Anschließend mit foremost die korrigierte Kopie auslesen und schauen, was foremost alles dumpen konnte.

Zum Vergrößern anklicken....

Dummerweise steht mir die Option mit dem dd oder dd_rescue auslesen nicht zur Verfügung. Grund, Nicht genügend Zielkapazität.

Ich habe paar Tools gefunden, welche unter Linux, Linuxdateisysteme recovern können. Leider laufen diese unter RedHat und nicht Debian, so wie ich es nutze. Fedora Live CD konnte leider das Raid nicht starten, so daß ein Recovery Test nicht möglich war.

Noch bin ich am Grübeln, ob ich wirklich das Dateisystem reparieren sollte. Vielleicht gibt es ja noch ein Recovery tool, was auch unter Debian läuft.

PhoptoRec in Testdisk verliert Dateinamen und Struktur.
Reagiert empfindlich auf fragemtierte Dateien.
Testdisk kann im Menü Advanced / Undelete gelöschte Dateien anzeigen und kopieren?
Kommerzielle Datenrettungssoftware arbeitet von Windows aus.
R-Studio oder billiger Restorer Ultimate (unterstützt RAID6 und kostet in der Netzversion nur 70 $) können über ein Netzwerk oder ein Iso für nicht bootende CD's eine Netzwerk-CD erstellen, über die du auf den Computer Zugriff bekommst und alle Daten sichern könntest.

Würde auch erstmal den Status deiner Dateien anzeigen.
Generell mach Datenrettungssoftware ein Image zuweilen überflüssig, da diese nur lesend auf den Datenträger zugreift und du die Daten auf einen intakten kopieren mußt!
Ein Image ist nur sinnvoll wenn defekte Sektoren vorliegen und ein scan mit Datenrettungssoftware hängt.

Wichtig war nur entschlüsseln, um an die Daten zu kommen!

Viele Grüße

Fiona

Deine Worte in Gottes Gehörgang.

Ich bin der Meinung, mag mich gerne irren, wenn das Dateisystem korrupt ist, daß man da vorsichtiger rangehen sollte. Wenn ich ein e2fsck durchführe, greife ich in das Dateisystem ein, und kann es zerstören. Also mehr, als jetzt schon ist.

Werd mal deine Tooltipps berücksichtigen und schauen, was funktioniert.

Danke und schönes we.

Gruß
monthy

e2fsck ist zum überprüfen und reparieren vom Dateisystem.
Sollte somit nicht zum Datenretten eingesetzt werden.
Indem Fall wenn du es möchtest, ist klonen zum experimentieren sinnvoll!

Viele Grüße

Fiona

Sodele,

restorer ultimate und r-studio sind zwar fähige Programme, finden das Raid aber kommen mit der Verschlüsselung nicht klar.

Kennst du ein Programm was auch luksformat unterstützt?

Ich kenne nur das dm_crypt von linux.