VM migrieren vei SRIOV GPU nutzung

[Skysnake]

Hi Leute,

Ich hätte mal folgende Frage zu VMs die doch etwas spezieller ist. Vielleicht hat jemand ja Erfahrung.

Ich bin aktuell dabei mir über Beteiebakonzepte Gedanken zu machen und bin zu dem Schluss gekommen, das man mit VMs, die man innerhalb eines Clusters migrieren kann sowohl für die User als auch die Admins das Leben deutlich erleichtern würde.

Jetzt geht es hier um eine Remote Visualisierung. Man braucht also GPU support. In VMs würde ich da jetzt an SRIOV und der Vergabe von GPU slices denken. Die Frage ist jetzt, funktioniert damit noch immer die VM Migration?

Für das Netz, also IB würde sich die Frage an sich auch stellen, damit man Lustre/GPFS/XY anbinden kann. Ich würde aber lieber auf dem Host das Filesystem mounten, damit ich in der VM quasi frei in der Auswahl des Kernels bin. Wäre wegen 3rd Party Software Support auch ganz nett.

Vielleicht weiß ja jemand von euch was dazu.

Wenn es mit Proxmoxx gehen würde wäre ich wohl auch nicht traurig.

 

[foofoobar]

Du brauchst eine GPU die den kompletten internen State sichern und wieder herstellen kann plus die notwendige Software.
Oder einen Proxy der den State auf einer GPU in einem beliebigen State wiederherstellen kann.

Beides habe ich noch nicht gesehen.

 

[madmax2010]

Geht mit proxmox.
Bau die hosts mit ansible und halte Hard und Software im cluster identisch. Dann bekommt man das gebaut.
Live migration wird jedoch nichts.
Ich habe proxmox mit einer gpu als machine learning server.

https://pve.proxmox.com/wiki/Pci_passthrough

 

[snaxilian]

VMware Vsphere mit vGPUs bestehend aus passenden Nvidia GPUs funktioniert mit live migration (vMotion) sofern Quell- und Zielhost natürlich entsprechende GPUs verbaut haben.

Laut Doku (https://pve.proxmox.com/wiki/Pci_passthrough) klappt dann keine Migration mehr, aber kA ob sich das explizit nur darauf bezieht und nicht auch auf SR-IOV.
Ansonsten bin ich bei @madmax2010: Du musst halt zusehen, dass die IDs der Hardwarekomponenten bei allen Hardwarekisten identisch ist, ansonsten müsstest bei jeder VM-Migration die Configs der VMs anpassen...

 

[lukas12342]

Alles ist dabei leider Hardware Hersteller spezifisch und zusätzlich abhändig vom eingesetzten Hypervisor. [1]

AMD vGPU Treiber sind nach meinen Wissenstand allgemein von Bugs geplagt und Intel war lange Zeit von der Performance nicht kompetitive unterstütze GVT-g aber auch auf Consumer Prozessoren.
Mittlerweile ist vGPU bei Intel auch zum Enterprise Only Feature verdammt wurden. Erfahrungsberichte zu den Enterprise ARC GPU's sind mir nicht bekannt.

Bleibt also nur noch Nvidia realistisch betrachtet übrig. Da darf man sich dann mit Proprietären Treiber und vGPU Lizenz rumschlagen. Soll wohl funktionieren und auch Migration soll mit einer aktuellen qemu Version und einer rekompilierten nvidia-vgpu-vfio klappen (Stichwort: "x-enable-migration").
Wollte das vGPU Zeug eigentlich mal mit einer 2080 und vgpu_unlock + trial license testen habe es aber bisher immer aufgeschoben.

Der einzige no Brainer bei sowas ist mMn SR-IOV Netzwerk Karten mit Fallback virtio-net (net_failover).

 

[Skysnake]

Funktioniert denn das GPUs Zeug von NVIDIA zuverlässig?

Und vor allem wie sieht es mit der Leistung aus?

Aber echt traurig, dass das so nen Gehampel ist. An sich gibt es keinen Grund dafür, dass das nicht zuverlässig funktioniert.

Ergänzung (17. Februar 2023)

Btw, was braucht man denn um das z.b. mit zwei Systemen mal zu testen? Wir sollten eh Quadros haben.