Proxmox vs TrueNAS

[Krie9er]

Hallo Liebe Community, ich stehe davor diverse Anwendungen auf einem Server zu konsolidieren.

Als host System soll ein ryzen 2700 mit 48gb RAM auf einem X470 Board dienen.

Für meine virtualisierung stehen u.a. eine 2tb Nvme, 256gb m2 ssd 3 256gb sata ssds zur Verfügung Außerdem habe ich eine Intel 4xgbit ethernet netzwerkkarte und eine Intel dual 10gbit Karte, die in dem PC kommt. Außerdem findet noch ein SAS3 Controller für 8 Festplatten Platz im System.

Nun zur Herausforderung ich möchte folgende Anwendungen/Systeme in einem Server konsolidieren:

• Chia node/farm mit 180tb Plots. Windows 10
• Pfsense mit 10gbit wan und lan
• development Server für webprojekte debian
• unify controller
• Container mit diversen bots/automatisierungsscripten
• ggf kleinere Linux Applikationen

Nun läuft aktuell noch eine Synology ds918+ mit 72 tb als Nas. Ich überlege dieses auch in dem Server zusammenzuführen und das ds918 zu deaktivieren. Aus diesem Grund kommt nun für mich die Frage ob TrueNas oder Proxmox zustande.

Was würdet ihr wählen, in besonderen mit dem Hintergrund, dass ihr Hardware direkt an eine vm durchschleifen wollt? In meinen Fall wären das:
Zum Windows 10(Chia Node):
Raidcontroller und 14 externe Festplatten
Im Fall von PfSense die 10gbit Netzwerkkarte

Ich könnte das synology ablösen indem ich 4 Festplatten intern in den RAID packen würde und mittels truenas es ablöse.

Was würdet ihr mir empfehlen, mit Proxmox und dedizierten NAS oder mit TrueNAS und das Synology entfernen und somit den Strom für die ds sparen?

Vielen Dank für eure Hilfe!

 

[madmax2010]

Spricht für dich was dagegen true as auch in eine vm auf proxmox zu packen?
Welche Platten willst du warum auf welchem raid Level laufen lassen?

 

[Krie9er]

Spricht für dich was dagegen true as auch in eine vm auf proxmox zu packen?
Welche Platten willst du warum auf welchem raid Level laufen lassen?

Wollte RAID 5, das wäre auch eine Möglichkeit. Ich dachte nur da TrueNAS auch vm kann, das das doppelt gemoppelt wäre 😅

Ergänzung (2. April 2022)

Im trueNas würden 18tb hdds in RAID 5 sein. Wegen Ausfallschutz für 1 Festplatte.

 

[madmax2010]

Warum raid5? was soll da drauf? es geht um HDDs oder?

Anders -
was redundanz angeht : Brauchst du hochverfuegbarkeit?
Die Redundanz erlaubt dir halt, dass alles ohne jede unterbeechung weiter laeuft - aber hast du auf den HDDs daten, die darauf wirklich angewiesen sind? sonst ist ein gescheites abckup fast immer sinnvoller.
Oder anders: kostet dich eine Downtime mehr als eine Festplatte?
RAID zfs wuerde ich unter proxmox / truenas in jedem Fall nur mit ECC RAM machen

was Performance vorteile angeht: du gewinnst ein klein wenig bandbreite, verdoppelst in dem setup aber vermutlich die IOPS, was aber bei HDDs heutzutage im heimsetup eher Schmarn ist. Eine MX500 schafft so 50.000-100.000IOPS, die HDDs dann alle zusammen so um die 200 IOPS. Sprich: um die Performance einer einzelnen SSD zu matchenbrauchst du eher ein paar tausend HDDs im RAID0

 

[Rickmer]

Nun läuft aktuell noch eine Synology ds918+ mit 72 tb als Nas. Ich überlege dieses auch in dem Server zusammenzuführen und das ds918 zu deaktivieren. Aus diesem Grund kommt nun für mich die Frage ob TrueNas oder Proxmox zustande.

Wofür nutzt du das NAS?

Falls das pur Backups sind würde ich die Geräte separat lassen. Redundanz, getrennte Systeme, usw.
Wenn das 'produktiver' Netzwerkspeicher ist kann man die auch kombinieren.

 

[Krie9er]

Auf dem nas liegen die homeshares Dokumente, shared Ordner, videoinhalte in 4k und Bilder von Fotoprojekten. Außerdem die exportieren Video rohdaten/fertigversionen die ich für meinen Job gemacht habe. Backup läuft aktuell auf eine externe 20tb HDD. Das reicht soweit für die Dinge die ich sichern möchte/muss.

In erster Linie möchte ich eigentlich die Anzahl der aktiven Geräte reduzieren. Da sich in meinem Fall die Geräte bei gerade mal 5 Usern wovon einer 80% der Nutzung ausmacht meist im Leerlauf befinden.

Ergänzung (2. April 2022)

Warum raid5? was soll da drauf? es geht um HDDs oder?

Anders -
was redundanz angeht : Brauchst du hochverfuegbarkeit?
Die Redundanz erlaubt dir halt, dass alles ohne jede unterbeechung weiter laeuft - aber hast du auf den HDDs daten, die darauf wirklich angewiesen sind? sonst ist ein gescheites abckup fast immer sinnvoller.
Oder anders: kostet dich eine Downtime mehr als eine Festplatte?
RAID zfs wuerde ich unter proxmox / truenas in jedem Fall nur mit ECC RAM machen

was Performance vorteile angeht: du gewinnst ein klein wenig bandbreite, verdoppelst in dem setup aber vermutlich die IOPS, was aber bei HDDs heutzutage im heimsetup eher Schmarn ist. Eine MX500 schafft so 50.000-100.000IOPS, die HDDs dann alle zusammen so um die 200 IOPS. Sprich: um die Performance einer einzelnen SSD zu matchenbrauchst du eher ein paar tausend HDDs im RAID0

In erster Linie möchte ich sicherstellen, dass wenn ich nicht da bin und eine Festplatte aussteigt, ich von unterwegs noch Zugriff habe und weiter arbeiten kann. Aber dein Gedanke gefällt mir. Ist das denn eventuell auch anders möglich?

Ich merke gerade, dass 6 Jahre mit meiner Synology und SHR mich etwas haben in meinem Wissen zurückfallen lassen. SSDs habe ich wegen den Kosten nicht in betracht gezogen, da ich u.A. nicht zu viel noch kaufen möchte. Aber deine Anmerkung mit ECC finde ich wichtig. Deshalb werde ich wahrscheinlich auf 2666mhz 64gb ECC umsteigen.

 

[Rickmer]

Bei ECC genau gucken, ob du RDIMM nutzen kannst oder teuren UDIMM kaufen musst.

 

[Krie9er]

Eine Downtime kostet mich, z.T. Nerfen, da meine Family u.a. auf die Bilder zugreift und Videos/Filme. Zum anderen weil ich von unterwegs auf Dateien zugreife.

Ich nutze die HDD's aber nur für den NAS Betrieb und für die Chia Plots. Für die Server, PfSense etc kommen SSDs zum Einsatz.

Ergänzung (2. April 2022)

Bei ECC genau gucken, ob du RDIMM nutzen kannst oder teuren UDIMM kaufen musst.

Das entnehme ich dem Handbuch oder?

 

[Rickmer]

Ja, oder der RAM-Kompatibilitätsliste

Angenommen auf der RAM-Liste ist überhaupt ECC Speicher erwähnt... bei meinem Gaming-Board ist keiner, nur das Asrock Rack Board hat offiziell kompatiblen ECC RAM.

 

[Krie9er]

Ja leider steht bei meinem Asus x470 Prime Pro auch keiner drauf :-/

Ergänzung (2. April 2022)

Aber zurück zum Thema jetzt Lieber via TrueNAS die Synology ersetzen und alles auf TrueNAS virtualisieren? D.h. kann ich dann Hardware auch direkt an die VM's durchreichen?

Oder Proxmox und Synology, also NAS, getrennt?

:-)

 

[Rickmer]

Ja leider steht bei meinem Asus x470 Prime Pro auch keiner drauf :-/

Jo, aber eindeutig nur UDIMM und anscheinend nur 64GB maximal?...

Du könntest dir für ECC also was von der Liste aussuchen:
https://geizhals.de/?cat=ramddr3&xf=15903_DDR4~15903_keinSO~15903_mitECC~15903_ohnepuff

Ich hab am Heimserver den Kingston Server Premier DIMM 16GB, DDR4-3200, CL22-22-22, ECC (KSM32ES8/16ME) verbaut. Ist zwar etwas teurer als der von Mushin z.B. aber dafür auf der QVL und mit dem RAM für den Heimserver hatte ich keine Lust auf mögliche Probleme.

Aber zurück zum Thema jetzt Lieber via TrueNAS die Synology ersetzen und alles auf TrueNAS virtualisieren? D.h. kann ich dann Hardware auch direkt an die VM's durchreichen?

Nur kann ich dir dabei leider nicht wirklich helfen...
TrueNAS habe ich noch nie selber genutzt und Proxmox habe ich auf einem Raspberry Pi laufen, da ist nicht viel mit durchreichen.