Debian: RAID10 nachträglich aufsetzen

[shawly]

Moin,

habe auf meinem Root eine VM eingerichtet, jetzt ist mir erst im nachhinein eingefallen dass ich doch noch einen RAID erstellen wollte, jedoch sind schon Daten auf der VM und sie ist auch eingrichtet und ich habe mich gefragt ob ich auch ohne Neuinstallation einen RAID10 nachträglich einrichten kann, finde nur keine Referenzen im Internet wie ich das nachträglich anstelle.

Der Grund warum ich Software RAIDs innerhalb meiner VMs habe ist, dass ich 25€ Monatlich draufzahlen müsste für einen HW-RAID und das seh ich nicht ein. Bin bei Hetzner und will den Anbieter nicht wechseln weil das so ziemlich der beste und schnellste Support ist den ich bis jetzt hatte.

Habe zwei Festplatten im Root und verteile die virtuellen Festplatten auf beiden HDDs, somit bekomme ich im RAID10 redundanz und gleichzeitig mehr Geschwindigkeit, nur für die die jetzt glauben es sei Schwachsinn. Und für alle Fälle hab ich immernoch cronjobs die die wirklich wichtigen Sachen auf den BackupFTP laden.

Also wie löse ich das jetzt mit dem RAID10 nachträglich?

Danke für die Antworten!

 

[Cool Master]

RAID in der VM würde ich von abraten.

Bei mir läuft das ganze so:

HW Raid auf dem Host --> VM bekommt X GB

Mein Tipp ist wirklich zahl die 25 € im Monat mehr ist es aufjedenfall wert. Ein guter HW Controller kostet nun mal eben 500+ € da sind 25 € im Monat schon sehr gut.

Btw. bin auch bei Hetzner.

 

[Twostone]

Raid 10 mit zwei HDDs? Wohl kaum. Datenerhalt kannst Du im Grunde vergessen, wenn Du eine einzelne Platte in einen RAID-Verband online umwandeln willst. Wird Dir imho nur der Umweg über dd bleiben.

Für RAID10 brauchst Du mindestens vier Platten: zwei im RAID0 mit je einem Spiegel. Da kannst Du aber auch genauso gut ein RAID6 bauen.

Wenn Du mir jetzt weismachen willst, daß Du das ganze auch mit je zwei Partitionen auf nur zwei Platten machen kannst: wtf?

 

[Daaron]

Habe zwei Festplatten im Root und verteile die virtuellen Festplatten auf beiden HDDs, somit bekomme ich im RAID10 redundanz und gleichzeitig mehr Geschwindigkeit,

Es IST Schwachsinn, denn du hast hier eben keine Redundanz. Entweder, du hast keinen Leistungszuwachs oder aber du verlierst alles, sobald eine Platte einen physischen Defekt hat.

Wenn du das Geld für einen HW Raid Controller scheust (kann ich verstehen), warum läuft dein Hostsystem nicht in einem Soft-RAID (Stichwort mdadm) für die notwendige Redundanz für ALLE VMs? So und nicht anders wird ein Schuh draus. RAIDs löst der Host, nicht die VM.

 

[shawly]

Mein Tipp ist wirklich zahl die 25 € im Monat mehr ist es aufjedenfall wert. Ein guter HW Controller kostet nun mal eben 500+ € da sind 25 € im Monat schon sehr gut.

Es reizt mich schon aber ich finde, dass das Flexipack einfach für 15€ mtl. so teuer ist..

@Twostone:

So kann eine physikalische HDD ausfallen und ich kann die Daten trotzdem wieder herstellen. Ich weiß dass es eigentlich falsch ist aber das ist das einzige was ich machen kann wenn ich die 25€ im Monat mehr nicht zahlen will..

@Daaron:
Man kann bei ESXi leider keinen Software RAID erstellen.

 

[KillerCow]

Ein Raid10 mit zwei Platten ist zwar möglich, aber irgendwie sinnlos. Die gewünschte Redundanz bekommst du mit einem Raid1 hin. Den Performancegewinn bei parallelen Zugriffen auf ein Raid10 wirst du dir aber abschminken müssen. Der ergibt sich nämlich aus dem parallelen Lesen/Schreiben der zwei unabhängigen Raid1 Legs des Raid0... und das fehlt dir halt bei nur zwei Platten.

Aber zu deiner Frage, eine Schritt für Schritt Anleitung habe ich auch nicht. Der sicherste und unkomplizierteste Weg ist natürlich, Daten sichern -> Raid einrichten -> Daten zurückspielen. In dem Zusammenhang könntest du gleich deine disasterrecovery Strategie testen

Über das Für und Wider von Hardware und Softwarraid solltest du dich auf jeden Fall informieren, bevor du deinen Plan in die Tat umsetzt. Bei einem Raid10 (aus 4+ Platten) ist ein Raid HBA aber relativ unnütz. Interessant wird das erst für Raidlevel mit Paritätsberechnungen (also 5 und 6 z.B.).

 

[Twostone]

RAIDs löst der Host, nicht die VM.

Amen.

Er wird allerdings keinen Zugriff auf den Dom0 haben. Wenn er Glück hat, werden die blockdevs durchgegeben an die VMs, wer weiß. Aber selbst dann...

@APFELshawly: Ich weiß, wie ein RAID10 aussieht. Vorteil eines RAID6: es kann auch einen weiteren Ausfall ab. RAID10 kann das zwar auch, aber nur in Grenzen: Fällt im rebuild ein Teil des RAID0 weg, war's das mit Deinem Daten. In Deinem Falle aber mit nur zwei Platten ein RAID10 bauen zu wollen, ist Unsinn. Punkt. Entweder RAID0 oder RAID1. Für alles andere brauchst Du mehr physische Geräte.

 

[shawly]

Ein Raid10 mit zwei Platten ist zwar möglich, aber irgendwie sinnlos. Die gewünschte Redundanz bekommst du mit einem Raid1 hin. Den Performancegewinn bei parallelen Zugriffen auf ein Raid10 wirst du dir aber abschminken müssen. Der ergibt sich nämlich aus dem parallelen Lesen/Schreiben der zwei unabhängigen Raid1 Legs des Raid0... und das fehlt dir halt bei nur zwei Platten.

Ich habe aber bei meiner anderen VM mehr Performance durch den RAID10 dort...

--

Zudem hat bis jetzt KillerCow als einziger wenigstens meine Frage beantwortet.

@Twostone:
Ich wollte dir mit dem Bild nicht zeigen wie ein RAID10 aussieht sondern wie ich das gelöst habe, aber nach der Aussage hast du es dir nichtmal angeschaut.

 

[Daaron]

Das ist wohl eher Wunschdenken... ESXi löst die ganze Geschichte sowieso grundlegend anders hinsichtlich der virtuellen Dateisysteme.

Gerade wenn du hier mit ESXi herumspielst MUSST du wohl die Kohle locker machen und einen Hardwar RAID Controller kaufen, außer das Board bietet BIOS-seitig Soft-RAID an (dann brauchst du kein mdadm).
Aus eigener schmerzhafter Erfahrung kann ich dir sagen, dass ESXi ohne RAID sich mit ausfallenden Festplatten gar nicht gut verträgt. Du verlierst im Zweifel..
1.) deine ESXi-Installation (die liegt ja schließlich nur auf einer Platte) und bist nicht bootfähig
2.) Teile der Container-Dateien... und eine Wiederherstellung ist hier, besonders wenn Checkpoints gesetzt wurden, quasi nicht mehr möglich. ESXi verteilt den Kram ziemlich wüst.

Bevor dir etwas wirklich bitteres passiert, reiß das ganze Konstrukt ab und sieh zu, dass du einen Soft-RAID auf BIOS-Basis einrichten kannst. Das ist deutlich besser als das, was du jetzt wohl aufgebaut hast.

 

[Twostone]

Solange es sich bei den Platten nicht um SSDs handelt, wird sich kein performance-Gewinn bemerkbar machen können. Im Gegenteil: Dadurch, daß der Kopf der Platte sich laufend neu positionieren muß, um einzelne stripes zu schreiben, wirst Du deswegen sogar einen geringeren Durchsatz erreichen.

 

[shawly]

Bevor dir etwas wirklich bitteres passiert, reiß das ganze Konstrukt ab und sieh zu, dass du einen Soft-RAID auf BIOS-Basis einrichten kannst. Das ist deutlich besser als das, was du jetzt wohl aufgebaut hast.

Es befindet sich halt bereits ein TS auf einer VM und bis ich dann alles Wiederhergestellt hab werden die ziemlich mad sein. Wenn Hetzner mir überhaupt Zugriff auf das BIOS überlässt.

 

[KillerCow]

Ich habe aber bei meiner anderen VM mehr Performance durch den RAID10 dort...

Im Verhältnis zu keinem Raid sicherlich. Aber mit ziemlicher Sicherheit nicht die Performance eines echten Raid10.

Nochmal zum Thema. Ein laufendes System von "keinRaid" auf Raid10 umzustellen (inklusive des Systemlaufwerks), ohne Downtime und Zugriff per rescue System halte ich für recht aussichtslos. Richte doch einfach eine weitere VM ein und installier da das OS gleich auf ein eingerichtetes Raid (wie du es ja bei einer anderen VM schon gemacht zu haben scheinst). Dann die Konfiguration von der aktuellen auf die neue VM übertragen und prüfen, das alles funzt. Anschließend alte VM offline nehmen und auf der neuen VM die IP Konfiguration anpassen und fertig. Das sollte dir eine möglichst kurze Downtime der Dienste ermöglichen und du kannst im Notfall relativ schnell zum alten System zurück.

Falls du nicht aus irgendwelchen Gründen an ESXi gekettet bist, könntest du dir auch alternative Lösungen anschauen. Ich benutze hier auf Arbeit z.B. einen kleinen Proxmox Cluster. Kostenlos und baut komplett auf Linux (Debian) auf. Wäre natürlich eine massive Umstellung...

 

[Cool Master]

Setz halt eine neue VM auf stell alles ein was du haben willst, danach bindest du die erste VM-HDD in die zweite paralel ein und machst ein cp -r xyz zyx. Danach fähst die erste VM runter und machst ein network neustart auf der zweiten fertig.

 

[shawly]

Solange es sich bei den Platten nicht um SSDs handelt, wird sich kein performance-Gewinn bemerkbar machen können. Im Gegenteil: Dadurch, daß der Kopf der Platte sich laufend neu positionieren muß, um einzelne stripes zu schreiben, wirst Du deswegen sogar einen geringeren Durchsatz erreichen.

Achso, deswegen ist die andere Debian VM mit RAID10 sowohl im Lesen als auch im Schreiben 20-30 MB/s schneller als die ohne. Ich kann verstehen dass mein sogenannter RAID10 vielleicht keinen Sinn macht, jedoch hilfst du mir hier am wenigsten, es scheint sogar so als bist du nur hier um dein prächtiges Wissen den Leuten von oben auf den Kopf zu schwatzen.

Im Verhältnis zu keinem Raid sicherlich. Aber mit ziemlicher Sicherheit nicht die Performance eines echten Raid10.

Natürlich nicht das habe ich auch nie behauptet.

--

Ich würd den Thread hier mal als Erledigt ansehen, bleibe beim RAID1 und gut.

 

[Daaron]

Es befindet sich halt bereits ein TS auf einer VM und bis ich dann alles Wiederhergestellt hab werden die ziemlich mad sein. Wenn Hetzner mir überhaupt Zugriff auf das BIOS überlässt.

Wenn die Platte, auf der das ESXi liegt, abschmatzt, dann wirst du erkennen von was ich rede. Viel Spaß dabei. Kleiner Tip: Manchmal sollte man nicht nur aus eigenen sondern auch aus fremden Fehlern lernen.
Und Hetzner lässt dich bei nem Root so oder so alles machen. Du musst nur eine LARA-Konsole beantragen, damit du den Soft-RAID einrichten kannst. Zur Not fragst du einfach mal den Support, die Jungs sind unglaublich hilfsbereit und geduldig.

Achso, deswegen ist die andere Debian VM mit RAID10 sowohl im Lesen als auch im Schreiben 20-30 MB/s schneller als die ohne.

Das kann auch ganz andere Ursachen haben, z.B. eine günstigere Position der Daten innerhalb der Plattern. Lineargeschwindigkeit vs. Winkelgeschwindigkeit... Kann man bei einer CD wunderbar im Makroformat beobachten: außen ist die Schreib/Leserate signifikant höher als innen (wenn das Laufwerk auf CAV steht).

Oder es war einfach eine Messungenauigkeit.... oder ein Nebeneffekt von ESXi.

Tatsache ist: Bei deinem Konstrukt werden die Köpfe häufiger bewegt, da sie natürlich synchron "tanzen". Wenn ein Bit von Platte A gelesen wird, wird es simultan auch von Platte B gelesen. Dadurch kriegt das System ja erst RAID0-Ausfälle mit. Da du eigentlich kontinuierliche Daten über 2 unterschiedliche Gebiete der Platte verbreitest wirst du eben langsamer. Beide Köpfe springen simultan vor und zurück.

 

[shawly]

Wenn die Platte, auf der das ESXi liegt, abschmatzt, dann wirst du erkennen von was ich rede. Viel Spaß dabei. Kleiner Tip: Manchmal sollte man nicht nur aus eigenen sondern auch aus fremden Fehlern lernen.
Und Hetzner lässt dich bei nem Root so oder so alles machen. Du musst nur eine LARA-Konsole beantragen, damit du den Soft-RAID einrichten kannst. Zur Not fragst du einfach mal den Support, die Jungs sind unglaublich hilfsbereit und geduldig.

Habs zur Kenntnis genommen danke.
Könnte den TS auf meinen Heimrechner verlegen für die Zeit in der es nicht erreichbar ist das ganze. LARA-Konsole kostet halt einmalig auch nochmal 25 Euro, aber naja besser als monatlich.

 

[Daaron]

Oder geh anders an die Sache heran: wozu ESXi? Ganz ehrlich, mir erschließt sich rückblickend der Sinn nicht. Es gibt flexiblere Arten zu virtualisieren. Eine der coolsten ist OpenVZ. Dabei bleibt dir der Host als wirklich vollwertiges System erhalten, inklusive mdadm und Co.

Ich wunder mich nur grad über die 25€ bei der LARA. Hm, evtl. is mir da einfach was entgangen. Bin mir nicht bewusst, dass wir bei den wenigen GElegenheiten, wo wir sie brauchten, was bezahlt hätten.

 

[shawly]

Oder geh anders an die Sache heran: wozu ESXi? Ganz ehrlich, mir erschließt sich rückblickend der Sinn nicht. Es gibt flexiblere Arten zu virtualisieren. Eine der coolsten ist OpenVZ. Dabei bleibt dir der Host als wirklich vollwertiges System erhalten, inklusive mdadm und Co.

Naja was spricht dagegen? Ich benutz es schon lange und hatte keine Probleme, mir ist Stabilität wichtiger und da ich OpenVZ noch nicht ausprobiert habe bin ich etwas ängstlich, denn wenns mir nicht passt muss ich die ganze Prozedur mit neu aufsetzen usw nochmal durchleben und die im TS gehn einem ja schon auf die Nerven wenn es eine Minute nicht erreichbar ist nur weil ich Updates installen muss...

Weiß ja nichtmal wie ich die Umstellung vom TS so bewerkstellige dass es die die drauf sind nicht merken..
Muss die Domain auf meine DynDNS umleiten und wenn das nur 10 min geht dann drehen die schon am Rad "warum geht ts nicht warum warum"

 

[KillerCow]

Weiß ja nichtmal wie ich die Umstellung vom TS so bewerkstellige dass es die die drauf sind nicht merken..

Komplett ohne Downtime wird das nicht klappen, es sei denn, TS unterstützt sowas wie failover selbst.

Wie schon gesagt, ich würde ein zweites System parallel aufsetzen und da alles vorbereiten und testen. Dann den Leuten bescheid sagen, dass es ne kurze "Maintenance" gibt und dann wird umgeschaltet (möglichst zu ner Zeit, wo eh kaum wer auf dem TS ist). Dabei dem alten System eine andere IP verpassen und dem neuen System dann die IP des alten Systems, TS ggf. neustarten, fertig.

 

[shawly]

Komplett ohne Downtime wird das nicht klappen, es sei denn, TS unterstützt sowas wie failover selbst.

Habs hinbekommen, hab die Domain mit nem CNAME auf meine DynDNS umgeleitet und den TSDNS auch umgebogen für die Zeit bis der CNAME greift und hab dann den TS ausgeschaltet sodass alle rausgeworfen wurden und auf den bei mir umgeleitet wurden beim reconnect
Leider ging schon bei dem kurzen Ausfall die Meckerei los.. naja.

Hier kam ne Antwort vom Hetznersupport

da ESXi kein Software-RAID unterstützt brauchten Sie dafür eine RAID-Controller:
http://www.hetzner.de/de/hosting/produkte_rootserver/raid-controller/

Kann das sein? Ich mein mir ist klar dass ESXi nicht die Mittel hat nen RAID zu erzeugen, aber wenn ich im BIOS bei AHCI auf RAID umstelle ein Array dann erzeuge und ESXi auf das RAID1 Array installiere müsste das doch gehen oder? o.O Oder ist das n Treiberproblem?

Im Hetzner Wiki steht ich kann mit OpenVZ nur Linux verwenden, so fällt schon meine Windows VM und meine pfSense VM raus, klarer Nachteil und da Proxmox auch auf OpenVZ basiert fällt das auch weg.
Da bleib ich dann bei ESXi lieber, da hab ich nicht derartige Nachteile. Oder gibt es BESSERE Alternativen die Windows Virtualisieren können?