ein oder zwei (Home)Server

[rowein]

Hallo Zusammen,

derzeit habe ich einen Homeserver mit ESXI 6.7U3 am Laufen.
AMD 3700X
Asrock X570 Riptide
64 GB Ram
1TB WD SA500
4x 14TB HDDs
ASUS Hyper M2 mit 4x 1TB 970 Evo Plus
Mellanox Connectx-3

Darauf laufen folgende Systeme:
Datastor SA500:
2x Windows 10 VM (allgemein und Veeam)
Unraid mit NFS-Datastore für ESXI für die restlichen VMs:
2x IOBroker (verschieden Vlans)
Raspberrymatic
Emby
UnifiController
Video-Server (derzeit nur Bild, keine Aufnahme)
+ drei kleine Docker-Container in Unraid

Da ESXI 6.7 mittlerweile veraltet ist, wollte ich das ganze System aktualisieren. Dadurch ergeben sich mehrere Probleme.
Zum einen die USB-Problematik mit höheren ESXI-Versionen und zum anderen die Inkompatibilitäten bei ESXI 8.
Ich könnte zunächst auf ESXI 7 gehen, da hier der Support noch etwas gegeben ist, jedoch ist es ja nur eine Frage der Zeit, bis das hinfällig ist.
Ich habe mich dann nach Alternativen umgeschaut und überlegt auf Proxmox zu wechseln.
Hier habe ich vermutlich das Problem, dass mein aktuelles System durch den Unraid-Datastore ungünstig verschachtelt ist und ich eigentlich zwei Systeme bräuchte (auch für den Migrationsweg). Ist natürlich auch sinnvoller Storage und Server zu trennen.
Hier stehe ich aktuell an dem Punkt, ob das dann auch wirklich sinnvoll ist und ob ich beide Server in diesem Zug auch bzgl. Stromverbrauch optimieren könnte oder ob jmd noch eine Idee hat, wie ich den einen Server zukünftig sinnvoll betreiben kann.
Im aktuellen Server ist kein 5600G verbaut (liegt aber zu Hause rum), da dieser kein 4x4x4x4x Bifurcation kann und ich das in der aktuellen Konstellation für die Hyper M2 benötige.
Wenn ich allerdings mind. eine der NVMEs entferne (8x4x4x müsste gehen) könnte ich hier den sparsameren Prozessor einbauen. Das würde ich ebenso im zweiten Server so handhaben. Bin aber auch beim zweiten Server unschlüssig, ob hier nicht Proxmox am sinnvollsten ist (wegen Kompatibilität zu Consumer-HW). Nur weiß ich nicht so ganz, was die Anforderungen sind. Im Internet findet man alles mögliche zu Raid-Konstellationen für Boot und Data. Sinnvoll ist vermutlich den VM-Datastore vom aktuellen Unraid-Datastore auf den zweiten Server auszulagern, dann könnte der Unraid des Öfteren in Standby gehen, da nicht 24/7 benötigt, dann müsste hier aber in Proxmox eine geeignete Raid-Möglichkeit bestehen. In Unraid habe ich für die NVMEs btrfs genutzt gehabt.
Das ist so wohl nicht möglich? Wollte für den neuen Server eigentlich unter 500 € bleiben. Das wird aber vermutlich eher knapp, zumal ich überlege beim Unraid -Server dann gleich ECC zu verbauen und die aktuellen Riegel in den anderen Host packe (benötige dann eine Pro-APU noch zusätzlich) und überlege daher, ob ich das Thema nicht doch erstmal aussitze, bis ESXI 7 nicht mehr aktualisiert wird. Hier scheint zumindest meine aktuelle Hardware und der USB-Stick-Boot noch zu funktionieren?

 

[DFFVB]

Ist zumindest für mich nen bisschen schwer zu verstehen, was genau warum wie wo was. Ist Unraid zwingend nötig? Das zweite System würde ich nach Möglichkeit vermeiden, weil eher potent und damit auch stromintensiv, da kannst Du mit ca 100 EU Rpro Jahr rechnen. Und wenn Du auf den Noctua verzichtest, kannst Du auch nochmal sparen ;-) - abgesehen davon: Bei Terramaster kannst Du afaik auch per USB TrueNAS / OMV installieren, ggf auch Unraid. Das ist stromsparend und hat four bays HDD plus NVMe...

 

[KillerCow]

Klingt alles irgendwie super kompliziert.

Zu Proxmox, da gibt es nahezu keine Anforderungen, die mir spontan einfallen. Die Anforderungen definierst du durch die geplante Nutzung. Ansonsten kann Proxmox alles, was du unter Linux zum Laufen bekommst. Aus dem Stand heraus und nativ intergriert in Sachen Storage können die das hier: https://pve.proxmox.com/wiki/Storage

Stellt der unraid nur Speicher für den Hypervisor bereit? Falls ja, warum so kompliziert? Warum den Speicher nicht direkt auf dem Host bereitstellen und fertig (bei der aktuellen Lösung mag ESX das "Problem" sein, da stecke ich nicht drin). Alles andere ist nur sinnlose Abstraktion und erzeugt ungünstige Abhängigkeiten.

 

[rowein]

@DFFVB
der Noctua war noch alt. Habe ich bereits aus der Liste entfernt

Bin damals von OMV auf Unraid gewechselt um flexibler zu sein.
Aktuell nutze ich durch den NVME-Pool über NFS ja auch die VM-Ablage, welche durch BTRFS nochmal etwas verfügbarer ist bei Problemen als nur eine SSD im Server.

@KillerCow
Unraid stellt nicht nur Speicher für den Host bereit, sondern zusätzlich, weil es eben die Möglichkeit durch BTRFS bietet eine gewisse Ausfallsicherheit zu haben. Das bietet ESX so leider nicht an.
Das ist ja gerade der Gedanke von mir, ob es nicht sinnvoll ist das ganze wieder zu entwirren und Unraid auf einem und der Hypervisor auf einem separaten Server laufen lasse.
In dem verlinkten Beitrag steht bei BTRFS "technology preview". Heißt vermutlich, dass zumindest dies für einen VM-Pool noch nicht 100% integriert/stable ist?

 

[DFFVB]

Hm, also Proxmox hat ja auch ZFS Unterstützung. Gemeinhin gilt das als stabiler als BTFRS. Das kann Proxmox im Standard. Du könntest auch TrueNAS machen, und die Disks direkt durchreichen... oder theoretisch könnte TrueNAS auch alles machen... also der einzige Grund den ich sehe, warum auf Unraid bleiben: Disks verschiedener Größe zu einem Pool machen... Und die größte Disk macht Parity. Aber da deien beiden Pools gleich große sind, kannst Du auch normales Raid / ZRAID benutzen.... ich glaub Du gehst mit der Kirche ums Kreuz ;-)

 

[nkler]

Ich habe es aktuell ähnlich kompliziert gelöst (Proxmox statt ESXI, TrueNAS statt Unraid, Linux VM statt Windows ...). Es ist halt durch Bastelwillen gewachsen und läuft auch; aber eigentlich muss es umzustrukturieren werden.

Meine Idee ist es aktuell als Unterbau auf TrueNAS SCALE zu setzten, dieses die Daten verwalten zu lassen und ebenso die verschiedenen VM.
In der Datenverwaltung ist TrueNAS wirklich stark, vor allem was den Bereich der Backuperstellung angeht. Dies ist durch ZFS und den verschiedenen Sync Optionen ziemlich komfortabel.
Bei den VM Optionen bin ich allerdings bisher nicht zum Testen gekommen.

Über zwei Geräte habe ich auch schon nachgedacht, allerdings ist das wohl noch übertriebener als mein aktuelles Setup. Ich würde es dir daher wohl auch nicht empfehlen.

Vielleicht hilft es dir.

 

[rowein]

hm, eine Umstellung von Unraid auf Truenas müsste ich aber die Daten Zwischenparken.
Eigentlich bin ich hier bis dato mit Unraid auch sehr zufrieden. Meine gewachsene Struktur macht das nur etwas umständlich (Unraid als VM in ESXi und Datastore von Unraid in ESXi verfügbar).
Zumal laut meiner Recherchen der VM-Support sowohl von Unraid als auch von Truenas stark ESXI und Proxmox hinterher hinkt (klar, sind ja auch nicht deren Primäraufgaben).
Liebäugle glaube immer mehr mit dem Gedanken an zwei Server. Unraid und Proxmox.
Unraid würde ich in dem Zug auf ECC umbauen und in Proxmox einen BTRFS-Pool mit 2x 1TB 970 Evo Plus machen für Boot und Data oder sollte man das in Proxmox zwingend trennen?
Habe viele Threads gelesen, die hier für die Boot-Partition ein Raid1 mit Datacenter-SSDs bevorzugen. Doch ist das wirklich notwendig und wird das Softwareseitig in Proxmox umgesetzt oder müsste das in Hardware geregelt werden?

 

[KillerCow]

und in Proxmox einen BTRFS-Pool mit 2x 1TB 970 Evo Plus machen für Boot und Data oder sollte man das in Proxmox zwingend trennen?

Nö, da zwingt dich keiner zu irgendwas. Allerdings weiß ich gerade nicht, ob Proxmox während der Installation auch schon btrfs anbietet. "Notfalls" halt auf ZFS gehen, das wird ab Installer vollumfänglich unterstützt.

Habe viele Threads gelesen, die hier für die Boot-Partition ein Raid1 mit Datacenter-SSDs bevorzugen. Doch ist das wirklich notwendig und wird das Softwareseitig in Proxmox umgesetzt oder müsste das in Hardware geregelt werden?

Das ist halt die "professionellere" Variante. Ob es dabei unbedingt Datacenter-SSDs sein müssen, sei dahingestellt. Abseits von Logs passiert da nicht viel, wenn nur das OS drauf landet.
Zum Thema Raid: Proxmox kann alles, was Linux kann. Im zweifel erst nen Debian installieren, dort alles einrichten und dann PVE nachschieben.
Ich nutze an der Stelle eigentlich immer ZFS und der Installert von PVE erlaubt an der Stelle gute Kontrolle über die ZFS-Struktur. Nen ZFS-Mirror lässt sich bequem einrichten.
Inwieweit das an der Stelle auch via mdraid für andere Dateisysteme klappt, weiß ich leider nicht.

Ergänzung (1. November 2023)

In dem verlinkten Beitrag steht bei BTRFS "technology preview". Heißt vermutlich, dass zumindest dies für einen VM-Pool noch nicht 100% integriert/stable ist?

Wird so stabil sein, wie btrfs in der gelieferten Kernelversion ist. Nur die Integration in PVE wird noch nicht 100%ig sein. Hier und da muss man dann ggf. manuell eingreifen oder kann einzelne Features nicht nutzen.