Wie viel RAM für Proxmox ZFS RAID

[Don-DCH]

Guten Morgen zusammen,

gerne würde ich mein RAID in Proxmox anlegen da ich so am flexibelsten bin hatte ich mir überlegt.
Nun gibt es ja über die GUI nur die Möglichkeit ein ZFS RAID zu machen.

Generell finde ich das auch nicht schlimm habe nur angst wegen dem RAM.

Wenn ich jetzt sagen wir mal 32GB ECC RAM verbaue, davon 16GB fest den VMs zuweise hätte ich noch 16GB über.

Wenn ich Beispielsweise 3-4 18TB HDDs verbaue als RAID 5 bzw RaidZ1 ist ja das Äqvivalent reicht das dann?
Nach Recherche kann Proxmox wohl nur 16GB maximal reservieren für ZFS.

Würden die 16GB ausreichen doer würde das Sytsem sehr langsam oder gar Instabil werden?
Und was ist wenn ich die nächsten Jahre noch erweitern möchte geht das überhaupt habt ihr da Erfahrungswerte für mich bezüglich ZFS und tatsächlichem RAM Verbrauch?

Viele Grüße und einen guten Start in die neue Woche!

 

[axl foli]

Da sollte alles drin stehen was du wissen musst:
https://forum.proxmox.com/threads/proxmox-ve-mit-zfs-ram-hungrig.78667/

An die Faustregel 1GB RAM pro TB ZFS würde ich mich schon halten.

 

[qiller]

Jup, du kannst notfalls den ZFS ARC Cache beschränken:
https://pve.proxmox.com/wiki/ZFS_on_Linux#sysadmin_zfs_limit_memory_usage

Ich hatte bei einer Installation von Proxmox 8.4 irgendwie immer noch die alte Einstellung, wo der ZFS ARC bis zur Hälfte des RAMs klaut. Bei 96GB RAM war das natürlich bisschen viel für nen simplen 2TB ZFS Mirror. Daher hab ich das dann eingegrenzt. Zumal der RAM ja auch für die VMs da sein soll, und nicht nur für ZFS. Außerdem fing Proxmox an, auszulagern. Das wollte ich dann doch nicht.

 

[Don-DCH]

An die Faustregel 1GB RAM pro TB ZFS würde ich mich schon halten.

Puh da müsste man direkt auf 64GB gehen dann und wenn man erweitert 32GB Module einsetzen um insgesamt 128GB zu haben das wäre ja schon extrem viel.

Vielleicht müsste ich dann doch eine andere Lösung für ein RAID unter Proxmox finden.

Jup, du kannst notfalls den ZFS ARC Cache beschränken:
https://pve.proxmox.com/wiki/ZFS_on_Linux#sysadmin_zfs_limit_memory_usage

Hmm wie verhält es sich dann insgesamt nicht das es total langsam wird oder gar abstürzt das wäre auch nicht gut hmm..

Ich hatte gehofft, dass man irgendwie viel weniger RAM verwenden kann wenn keine große Last oder so da ist oder man noch was optimieren kann.

Aber dann muss ich mich wohl lieber nach einem anderen RAID umschauen.

Leider sind Hardware RAID COntroller auch sehr teuer und eigentlich wollte ich kein Hardware RAID.

MDADM müsste man ja nachinstallieren und über die Shell konfigurieren ist die Frage wie gut das über Proxmox läuft.
Schade das es keine anderen RAID Optionen über die GUI gibt oder übersehe ich etwas?

 

[Azghul0815]

Ich kann mir nicht vorstellen, dass deine 16 GB nicht privat ausreichen.

 

[qiller]

Ich hatte gehofft, dass man irgendwie viel weniger RAM verwenden kann wenn keine große Last oder so da ist oder man noch was optimieren kann.

Also wir haben in der Firma nen alten Xeon-Server, der nur 16GB ECC Ram hat und wo TrueNAS Scale drauf läuft. Da ist ein RAIDZ1 aus 4x 18TB eingerichtet und das funktioniert wunderbar als NAS mit iSCSI und SMB-Shares. Wenn ich allerdings da noch VMs o. Container drauf laufen lassen würde, würde ich auch zusehen, mehr RAM zu verbauen.

 

[Azghul0815]

Je nach Proxmox Services und Containern reichen auch 16 GB für den Rest locker. Ich komme bei meinen Services kaum auf mehr als 8 GB. Hab ja nur 1 VM aktuell mit HomeAssistantOS, die 4GB belegt von den 16GB

 

[KillerCow]

Die 1TB Ram pro TB Platte gelten eher für Deduplication, nicht für den normalen Raidbetrieb. Richte es ein und schau dir an, wie es läuft und dann passe die Einstellungen an. Dazu finden sich auch gute Infos im Netz. Dabei lernst du gleich ein bisschen was über ZFS.

Du kannst dir auch manuell nen Raid via mdadm einrichten, falls dir ZFS zuviel Voodoo ist

 

[mr_andersson]

Die Deduplication lässt sich auch einfach deaktivieren. Mmn sind Festplatten im Gegensatz zu Arbeitsspeicher inzwischen wieder so günstig, dass sich das sowieso nicht lohnt.

 

[JumpingCat]

Hast du an zlog/zil gedacht?

Du brauchst, wie hier erwähnt, den RAM primär für dedup. Ansonsten ist das dein File System Cache.

ZFS läuft auch auf Systemen mit 2GB oder weniger RAM.

 

[Don-DCH]

Danke euch für die zahlreichen Rückmeldungen!

Ich komme bei meinen Services kaum auf mehr als 8 GB. Hab ja nur 1 VM aktuell mit HomeAssistantOS, die 4GB belegt von den 16GB

Darf ich fragen wie viele HDDs zu im ZFS Pool hast mit welcher größe?

Die 1TB Ram pro TB Platte gelten eher für Deduplication, nicht für den normalen Raidbetrieb.

Das klingt gut, ich hatte teilweise gelesen, dass für Deduplication 5GB RAM pro TB gilt das wäre ja wahnsinn.

Du kannst dir auch manuell nen Raid via mdadm einrichten

Habe gerade in den Dokumentationen von Proxmox gelesen das MDADM wohl nicht unterstützt wird.

Hast du an zlog/zil gedacht?

Hmm nein, was ist das?
Ich hätte über den Proxmox Assistenten einfach die Festplatten ausgewählt und das RAID erstellt.

Dort wird ja nur ashift und das RAID Level abgefragt und ob ich compression an oder ausstellen möchte.

ZFS läuft auch auf Systemen mit 2GB oder weniger RAM.

Das beruhigt.

Ich wollte ungern alles einrichten um dann Festzustellen das alles sehr schlecht oder Instabil läuft.
Ich habe aktuell 2 16GB Riegen RAM. 2 weitere könnte ich ohne Probleme ja noch dazustecken

 

[Azghul0815]

Darf ich fragen wie viele HDDs zu im ZFS Pool hast mit welcher größe?

Gar keine. Ich nutz Proxmox als reinen Service Server.
Mir gings drum, dass bei 32GB deine restlichen 16GB dicke reichen werden, wenn du nicht unzählige VMs nutzt

 

[Banned]

Also die Aussage eines Entwicklers von TrueNAS (in Bezug auf ZFS) - habe leider gerade die Quelle nicht, ist, dass man bis etwa 96TB Gesamtkapazität (also inklusive der Parität) mit 16GB ohne Deduplication gut auskommt.
Ich könnte mir vorstellen, dass ein sehr aufwändiges Komprimierungsverfahren hier auch eine Rolle spielen würde.

Würde Proxmox nur maximal 16GB für ZFS reservieren können, fände ich das aber seltsam.
Aber mit den 16GB dafür kommst du im Normalfall (ohne die oben genannten Einschränkungen) gut aus.

 

[KillerCow]

Würde Proxmox nur maximal 16GB für ZFS reservieren können

Ist alles anpassbar. Und auch ZFS gibt Speicher wieder frei, wenn andere Prozesse den Speicher brauchen. Genauso, wie das der "normale" Diskcache unter Linux macht. Treu nach dem Motto: "free RAM is wasted RAM" schnappt sich ZFS aber gerne recht aggressiv erstmal viel.
Bei bestimmten Anwendungsszenarien kann es passieren, dass ZFS den Speicher zu langsam zurückgibt (liegt ein bisschen daran, dass ZFS seinen Cache selbst verwaltet und das nicht über den Kernel erledigt, wie andere FS). An der Stelle sollte man dann via tuning eingreifen.

 

[qiller]

An der Stelle sollte man dann via tuning eingreifen.

Jup, ohne Anpassung hatte sich ZFS unter Proxmox einfach die Hälfte des RAMs geschnappt, was bei mir zu Auslagerungsvorgängen führte. Ich weiß nicht mehr wo ich es gelesen hatte, aber eigentlich sollte dieses Verhalten unter Proxmox geändert worden sein. War bei mir mit Proxmox 8.4 aber nicht der Fall und hab dann den ZFS ARC Cache in der zfs.conf angepasst.