HomeLab Migration: von TrueNAS Scale zu unRAID

[derchris]

Nachdem ich letztens noch fragte, ob TrueNAS, unRAID, NAS & mini PC, kommt nun die Auflösung:

Kurz zur Erinnerung, aktuelles Hardware Setup (leicht verändert zum dem alten Thread)​

• Intel(R) Core(TM) i3-8300 CPU @ 3.70GHz (iGPU für Transcoding)
• 64 GB ECC Ram (von 32 GB erweitert)
• Gigabyte C246-WU4 Board, 2x Intel NIC 1GBit/s, 10x SATA Ports (die meisten davon am Intel Chip), 2x M2
• Disks
  • 2x 3TB WD-Red
  • 1x 8TB WD
  • 1x 12TB WD (fliegt bald raus, kommt in ein Synology was weiter weg steht für Backups)
  • 1x 512GB, m2 flash
  • 1x 256GB, m2 flash
  • 2x 2TB, m2 flash (Kingston Fury Renegade mit 2PB TBW via PCIe Card angebunden) - NEU
  • 2x 20TB HDDs in den nächsten Wochen (dann fliegt die 12 TB raus) - noch nicht bestellt: Exos X oder Toshiba MG10?
• USB attached APC Back UPS BX – BX950MI-GR
• Intel 4 Port GBe NIC (die schmeiss ich raus)

Ich migriere das System vom aktuellen TrueNAS Scale zu unRAID, dazu wollte ich euch mitnehmen und nehme gerne auch Feedback an, wenn ich irgendwo was vergessen habe oder einen Denkfehler habe.

Pre-Checkliste​

1. Daten von Voulmes sichern - done
2. PCIe Steckplätze für die 2 x 2 TV m2 planen - done
3. Daten von VMs sichern - done
4. AppData von Docker sichern - done
5. Integrität verifizieren - done
6. unRAID auf USB Stick ziehen - done
   Lesson learned: SanDisk gehen nicht immer
7. HomeAssistant Supervisor vmdk runterladen - done
8. HomeAssistant Supervisor auf hyper-v installieren und Backup einspielen und temporär laufen lassen, bis es auf unraid läuft. - done
9. aktuellstes Windows ISO runterladen

Hardware Änderungen:​

1. SATA SSD mit TrueNAS OS abklemmen (sicher ist sicher) - done
2. SATA HDDs abklemmen (brauche ich noch nicht sofort) - angeklemmt gelassen, die 8 TB ins Array gepackt - done
3. 2x 2TB Kingston Fury Renegade auf PCIe Karten schrauben und einsetzen - done
4. alle Netzwerkkabel außer das fürs die erste NIC abstöpseln, VLAN Management - done
5. USB Stick mit unRAID einstöpseln - done
6. Monitor & Tastatur anschließen - done
7. Ins BIOS booten, Bootsequenz auf USB ändern ... - done

unRAID Setup & Konfiguration:​

Und hier kommen wir an einen Punk, wo ich mir noch nicht so zu 100% sicher bin ...

1. von USB booten - done
2. unRAID installieren & feste IP im management VLAN geben und die an das management Interface binden - done
3. Pools konfigurieren:
   1. 512GB m2 -> download temp (Filesystem: zfs) Name: m2-temp - done
   2. 256GB m2 -> ISO store (Filesystem: zfs) Name: m2-iso - done
   3. 1x 2TB m2 -> VM Data Store (Filesystem: zfs) Name: m2-VMs - done
   4. 1x 2TB m2 -> wird mal Cache für das Array, Name: m2-cache - done
4. User für Freigaben einrichten - done
5. Freigabe auf m2-iso einrichten - done
6. HomeAssistant Supervisor vmdk & Windows ISO auf unRAID kopieren - done
7. vmdk in passendes Verzeichnis für die VM auf VM DataStore kopieren - done
8. weitere Netzwerk Ports konfigurieren
   1. ein Port für die HomeAssistant VM (durchgereich?)
   2. ein Port für alles andere auf unRAID außer Management Webinterface
9. HomeAssistant Supervisor VM einrichten, Ressourcen zuweisen - done
   1. starten - done
   2. backup vom alten HomeAssistant Supervisor einspielen und hoffen, dass alles läuft - done
   3. reboot der VM um zu sehen ob alles persistent ist - done
   4. autostart einrichten - done
10. Windows VM einrichten
11. Community App Repositorien einbinden(?) - done
12. Apps installieren - done
    1. Plex (plex pass early access, iGPU HW transcode support) - done
    2. Paperless-NGX - done
    3. Nextcloud
    4. cloudflared - done
    5. ... - done
13. sonstige unRAID basics & konfigurationen(?) - done
14. reboot - done
15. sehen ob VMs richtig laufen, ob irgendwas nicht mehr wieder hoch kommt - done

Die Pools​

Bei den Pools mit den 2TB m2s bin ich mir unsicher, ob ich nicht ein Mirror machen soll (geht das auch mit zfs)? Vor/Nachteile zur gesplitteten Variante?

Das Array​

Das geplante Array Setup füge ich später hier ein, wenn ich weiter bin.

Backup​

• VMs/AppData Backups -> Array
• Daten Backups kommen auf ein anderes NAS (40 km weit weg) - das wird dann mit dem Array aufgesetzt.
• Einige Daten zusätzlich noch in OneDrive gesichert
• unraid config wird via unraid connect(?) gesichert, zweiter Stick als Backup vorhanden

Nach dem Hinweis von chillking hinzugefügt.

Habe mir derweil ein paar Videos angeschaut und glaube ich bin halbwegs gut vorbereitet ... (proof me wrong)

Habe ich derweil was (wichtiges) vergessen?

Update: Mitternacht, die erste Grundlegende Konfiguration ist erledigt.

 

[chillking]

Backup? Oder kommt das erst mit dem Array?

 

[derchris]

Guter Punkt (habe es oben hinzugefügt) @chillking

• VMs/AppData Backups -> Array
• Daten Backups kommen auf ein anderes NAS (40 km weit weg) - das wird dann mit dem Array aufgesetzt.
• Einige Daten zusätzlich noch in OneDrive gesichert

 

[chillking]

Den USB Stick bzw die Konfiguration kann man auch sichern, falls unRaid oder der Stick mal stirbt.

Bzgl Backup wird oft auf das Skript von mgutt verwiesen https://forums.unraid.net/topic/97958-rsync-incremental-backup/

 

[derchris]

Den USB Stick bzw die Konfiguration kann man auch sichern, falls unRaid oder der Stick mal stirbt.

Habe verstanden, dass man das direkt bei unraid (mit einem Account) sichern kann und im Fall der Fälle dort runterladen kann - habe auch einen zweiten USB stick als "spare" hier rum liegen.

 

[chillking]

ah okay, soviel ich weiß kann man auch die Dateien sichern und hinterher einspielen. Aber dann hast du daran ja bereits gedacht.

 

[DerKoernel]

VMs unter Unraid läufen je nach Grundhardware und zugewiesenen RAM /CPU schneller oder langsam.
Es gibt ein Plugin zur Sicherung von VMs was auch gut funktioniert.
Das Zurückholen ist jedoch etwas tricky...
Wenn´s also eben geht, würde ich alles was nach SmartHome riecht und 24/7 laufen soll, als Docker nutzen.
Zieht auch weniger Strom und nutzt trotzdem volle CPU/RAM Leistung ;-)

 

[derchris]

Wenn´s also eben geht, würde ich alles was nach SmartHome riecht und 24/7 laufen soll, als Docker nutzen.
Zieht auch weniger Strom und nutzt trotzdem volle CPU/RAM Leistung ;-)

Keine Option beim Home Assistant Supervisor, nur die abgespeckte Version läuft im Docker. Die Erfahrung habe ich schon in TrueNAS machen dürfen.

 

[derchris]

Erst mal schauen, welche PCIe sich wie ausbremsen, so dass ich die richtigen Slots für die 2 PCIe Karten mit der 2TB m2 wählen kann, das Board unterstützt leider keine bifurcation.

 

[alturismo]

Keine Option beim Home Assistant Supervisor, nur die abgespeckte Version läuft im Docker. Die Erfahrung habe ich schon in TrueNAS machen dürfen.

das stimmt, ist nur die Frage wozu du den Supervisor brauchst, wenn ja, dann VM (kann auch LXC sein), wenn Nein wie hier (und bei den meisten user) dann reicht der Docker bequem aus ...

Bei den Pools mit den 2TB m2s bin ich mir unsicher, ob ich nicht ein Mirror machen soll (geht das auch mit zfs)? Vor/Nachteile zur gesplitteten Variante?

nur um es zu beantworten was eigentlich offensichtlich wäre

ohne Mirror keine Ausfallsicherung ... sprich, dann solltest du "auf jeden Fall" mit deiner Backup Strategie arbeiten sofern dir das was da liegt wichtig ist ... im Falle das eine nvme abraucht ...

und natürlich geht das auch mit ZFS ...

1. unRAID installieren & feste IP im management VLAN geben und die an das management Interface binden - done

hierzu nur angemerkt, du installierst nichts ... Unraid bootet vom USB Stick und läuft kpl. im RAM, Configs werden vom USB beim boot gelesen und plugins, extra packages beim Neustart immer wieder frisch installiert, nur als Info zum Verständnis

Und es läuft ja bereits viel Freude weiterhin damit

 

[derchris]

das stimmt, ist nur die Frage wozu du den Supervisor brauchst, ...

Für Addons & Plugins, HACS, Node-RED, KNX, ... irgendwas davon brauchte den Supervisor zwingend.

 

[alturismo]

Node Red wird es wohl sein, HACS und KNX gehen auch im Docker beispielsweise, aber ja, es gibt ein paar Addons die scheinen nur supervised zu gehen ... dann muss man den kleinen overhead in Anspruch nehmen.

 

[derchris]

Netzwerkkonfiguration​

Ich blicken bei Unraid nicht durch die Netzwerkkonfiguration, und außerdem bekomme ich alle Nase lang Meldungen vom robocopy (zurück kopieren von der USB Platte, die am Windows hängt) dass das Netzlaufwerk nicht zur Verfügung steht und erst nach einem retry kommt es dann wieder ... eventually. Das lag wohl an der sch... 8 TB SMR Platte, fliegt nun raus.

eth0 hängt nun an meinem Unifi 24er Switch und ist im trusted VLAN, das wird momentan von allem genutzt.
Wenn ich eth1 nun auch in das Netz hänge, hat er ein Bond gemacht, das wollte ich nicht, also Bond raus genommen - eigentlich wollte ich eth1 dann für unraid "unkonfiguriert" lassen und einfach an HomeAssistant VM weiterleiten. Finde in der VM Einstellungen aber dafür keine Settings?

Wenn ich nun eth1 mit dem Switch verbinde, geht das Netzwerk runter, weil ein Loop oder so entdeckt wurde.

 

[derchris]

Okay, die Nummer mit der 8 TB SMR Disk hat mich einen halben Tag gekostet, noch nun sind die 2 TB von der auf der 12 TB CMR gelandet und die restlichen 8 TB nudeln nun von der am Windows PC angeschlossenen externen Platte rüber auf die 12 TB im unRAID. Dienstag sollen die 20 TB Platten kommen, dann wird davon eine die Parity und die andere kommt mit ins Array.

 

[Paddy0293]

Rein aus Interesse, warum der ganze Aufwand ? Was kann Unraid besser als TrueNas Scale ?

 

[derchris]

@Paddy0293
Flexibleres Festplatten rein und raus zum Array. Beim zraid von TrueNAS ist das eingeschränkter ...

 

[derchris]

Ein paar Lessons learned:

• checked, ob eure Platten SMR sind, wenn sie SMR sind, dann raus aus dem Array - oder erst gar nicht rein
• unnötige Dienste deaktivieren, wenn ihr 12 TB Daten über Netzwerk drauf schiebt (Backup zurück spielen), geht einfach schneller
• Netzwerkkonfiguration ist ein wenig undurchsichtig für mich, mag an mir liegen, oder auch nicht

Insgesamt bin ich soweit zufrieden. Das Windows muss noch drauf auf eine VM und das mit dem Netzwerk ordentlich gemacht werden, aber dann sollte es gut sein und wenn die anderen Platten da sind auch erst mal für ein paar Monate reichen, bis die sich gefüllt haben.

Btw: habe noch 2x Western Digital Ultrastar DC HC530 14TB gebraucht (2 Jahre Dauerbetrieb in einem NAS, gute Smart Werte) angeboten bekommen - jemand eine Idee welcher Preis da realisitisch ist?

 

[chillking]

Netzwerkkonfiguration ist ein wenig undurchsichtig für mich, mag an mir liegen, oder auch nicht

Das kann ich für mich so unterschreiben. Ich blick das nicht.

 

[derchris]

Danke, dann fühle ich mich jetzt nicht mehr "doof".

 

[alturismo]

• Netzwerkkonfiguration ist ein wenig undurchsichtig für mich, mag an mir liegen, oder auch nicht

wenn ich das oben richtig gelesen habe willst du eine deiner NIC's exklusiv für deine HA VM nutzen, wenn du das wirklich so machen willst ...

• prüf ob die Karte in einer eigenen iommu ist, wenn ja
• vfio bind die Karte dann (dass diese dann nicht mehr dem Host Unraid zur Verfügung steht)
• reiche diese dann per passthrough an die HA VM

fertig ...

ob das Sinn macht oder nicht sei dahin gestellt, du leitest dann den kompletten HA Traffic separat durch den Router ... beispielsweise wenn du HA hinter einem Reverse Proxy laufen hast (welcher dann auf dem Host läuft) oder den anderen Traffic davon, ich kenne jetzt dein setup nicht ...

oder du konfigurierst eth0 auf dem host ohne bonding, bridge yes, feste ip, eth1 ebenso nur ohne ip, in der VM weißt du dann br1 zu, das sollte es auch sein ... habe ich zwar so noch nicht genutzt, sollte aber keine Raketenwissenschaft sein