Proxmox - Encryption, ZFS und SSD Wearout

[x.treme]

Hallo zusammen,

ich nutze Proxmox nun schon seit einem halben Jahr und bin eigentlich ziemlich happy.

Bzgl. des Storage habe ich mich für einen ZFS-Pool auf meiner SSD entschieden, da dies wohl die einzige Lösung ist, um den Speicher auf dem die virtuellen Disks gehosted sind zu verschlüsseln.

Problem: Meine SSD hat nun einen Wearout von 94% (sie war neu gekauft).
Ich könnte die SSD natürlich nun ersetzen, aber das wäre auf Dauer ein wenig zu teuer ...

Habt ihr ähnliche Probleme bzgl. Wearout bzw. wie geht ihr hiermit um? Gibt es eine Alternative zu ZFS wenn man seinen Disk Image Storage verschlüsseln will?

 

[kartoffelpü]

Hast du denn TRIM aktiviert?
https://www.kernel-error.de/2021/02/24/trim-fuer-ssds-im-zfs-pool-unter-linux-aktivieren/

 

[DFFVB]

Also 1. bei dem Wearout genau hinschauen, der wird auch teilweise rückwärts gerechnet. Also 100% am Anfang, und zählt dann runter. 2. Verschlüsselung, da gibts noch einiges mehr an Möglichkeiten - das hat mit ZFS erstmal weniger zu tun. Mach doch entweder aus der VM selber, oder Proxmox müsste auch LUKS kennen...

 

[0x8100]

Also 1. bei dem Wearout genau hinschauen, der wird auch teilweise rückwärts gerechnet. Also 100% am Anfang, und zählt dann runter.

in dem fall ist ein hoher "wearout" wert schlechter als ein niedriger. kann der te auch gerne nochmal im cli überprüfen.

 

[0x7c9aa894]

Das ist normal bei Consumer SSDs dashalb wird im Proxmox Forum auch immer wieder gepredigt, Enterprise/Datacenter SSD zu verwenden, wie z.B Samsung PM983 oder PM9A3 die kosten nur etwas mehr als die 970/980

Edit: Vielleicht zu Veranschaulichung.

• Proxmox schreibt pro Tag ca. 20GB+ log
• Jede VM ist ein OS, jede VM schreibt auf deine SSD

Ergänzung (12. April 2022)

Gibt es eine Alternative zu ZFS wenn man seinen Disk Image Storage verschlüsseln will?

Du hast hoffentlich nicht die zfs Verschlüsslung verwendet?
Also bei der aktuellen Version habe ich es noch nicht getestet, aber ich fand das verdammt langsam, da war auch die Sache mit dem geänderten Kernel Interface, deshalb.

• LVM mit LUKS
• ZFS mit LUKS, aber nicht als boot disk
• Unterstützt deine SSD OPAL? Ist sie selbstverschlüsselnd? Dann nimm das doch!

 

[x.treme]

Danke! Hier die SMART-Werte. Die SSD auf der das OS / die Logs schreiben hat übrigens "nur" einen Wearout von 32%. Die mit 96% Wearout wird nur für eine einzige VM genutzt (Ubuntu mit Docker).

Ich schaue aber mal, dass ich trotzdem ein paar der Logs deaktiviere - in die 20GB pro Tag schaue ich eh nicht rein

Du hast hoffentlich nicht die zfs Verschlüsslung verwendet?
Also bei der aktuellen Version habe ich es noch nicht getestet, aber ich fand das verdammt langsam, da war auch die Sache mit dem geänderten Kernel Interface, deshalb.

Ich hatte es entsprechend der Wiki eingerichtet gehabt:
https://pve.proxmox.com/wiki/ZFS_on_Linux#zfs_encryption

Ich schaue mal ob ich auf LVM mit LUKS umstelle..

 

[0x8100]

@x.treme es scheint, als ob proxmox das bei deiner ssd doch falsch interpretiert. der "Media_Wearout_Indicator" hat den wert 0x063b055a063b. laut https://listi.jpberlin.de/pipermail/smartmontools-support/2021-March/000652.html ist damit der wearout-wert bezogen auf die tbw (bzw. der schlechtere von den beiden tbw und p/e cycles) 6.59% (0x06, 0x3b). das passt auch zu deinen "NAND_GB_WRITTEN" werten. also kein grund zu sorge und in der proxmox-gui "100 - wert" rechnen. vielleicht kannst du ja im proxmox-forum einen bug-report dazu machen.

 

[x.treme]

Ah super, das klingt schon sinniger.

Ich schaue mal dass ich mit log2ram und Deaktivierung der Cluster-Dienste (pve-ha-crm pve-ha-lrm) mal auch die NVME mit 36% Wearout ein bisschen schone. Dann passt es hoffentlich für das Jahr ^^