Virtuelle GPU bei GPU-Passthrough deaktivieren

[eehm]

Hallo,
ich würde gerne Linux-Mint 20.3 Una in einer virtuellen Maschine mit GPU-Passthrough betreiben.
Aktuell ist Linux Mint auf einem EXSi-Server als VM installiert und eine Nvidia Quadro K2000 ist per Passthrough durchgereicht.
Der Monitor hängt an der Nvidia Quadro am DVI-Port.
Was in der Windows-Welt ein paar Klicks sind, ist für mich als Linux-Einsteiger leider schon der erste Punkt an dem ich bisher klaglos gescheitert bin. Ich bekomme einfach die virtuelle Grafikkarte nicht deaktiviert.
Was habe ich bisher gemacht:

1. In der Treiberverwaltung den empfohlenen Nvidia-Treiber installiert und einen Neustart durchgeführt.
   
   
   
   
   
2. Starten des NVIDA X Server Settings
   
   
   
   Hier wird aktuell leider nichts angezeigt.
   
   
3. Check über 'lspci', ob die Grafikkarte wirklich durchgereicht wurde.
   
   
   
   Man sieht hier die beiden Grafikkarten mit ihren PCI-IDs:
   1. 00:0f.0 = VGA compatible controller: VMware SVGA II Adapter
   2. 0b:00.0 = VGA compatible controller: NVIDIA Corporation GK107GL [Quadro K2000] (rev a1)

Den virtuellen Grafikkartenadapter VMware SVGA II Adapter kann man leider nicht deaktivieren, der ist immer an und eine Bios-Option besteht bei der VM nicht.
Die Frage ist nun nur, wie ich die Grafikkarte 'VMware SVGA II Adapter' mit der ID 00:0f.0 deaktivieren kann, dass ich das Bild per DVI auf den Monitor ausgegeben bekomme?

 

[KWMM]

Kann deine Frage zwar nicht beantworten, aber mit
Proxmox gibt es eine aus meiner Sicht bessere Alternative zu EXSi.

Lass dich nicht durch Hinz & Kunz verunsichern

 

[foo_1337]

Proxmox gibt es eine aus meiner Sicht bessere Alternative zu EXSi.

Ja, gerade wenn man auf PCI PT angewiesen ist, ist Proxmox (KVM) ganz sicher die bessere Alternative. Nicht. Es funktioniert zwar, aber es ist Gefrickel. Und wenn der TE schon sagt, dass er Linux Einsteiger ist, dann sollte er nicht unbedingt damit beginnen.

@TE: zeig uns doch mal das Xorg log.

 

[eehm]

Ja, gerade wenn man auf PCI PT angewiesen ist, ist Proxmox (KVM) ganz sicher die bessere Alternative. Nicht. Es funktioniert zwar, aber es ist Gefrickel

Ich habe sogar etliche Wochen Proxmox getestet. Es lief sogar am Ende eine Trunas-VM mit durchgereichten HBA, aber es gab dann Fehler beim HBA. Ggf. hätte man hier das Bios vom HBA cleanen müssen .... also EXSi ist aus meiner Sicht hier schon noch einfacher zu handhaben, wenn es um Passthrough geht. Proxmox sagt ja auch nicht, dass es stable ist, sondern man muss es "reinpatchen". Gut, das war jetzt nur meine Erfahrung und Offtopic.

@TE: zeig uns doch mal das Xorg log.

Wo finde ich die Datei genau?

 

[foo_1337]

Sollte hier zu finden sein: /var/log/Xorg.0.log

 

[eehm]

/var/log/Xorg.0.log

Danke, genau da ist die Datei. Ich hänge sie hier jetzt einfach mal an. Ich hoffe, dass das auch funktioniert, weil es eine .log-Datei ist und ich sie in .txt umbenannt habe. Sonst kann ich sie nicht hochladen!
Falls man darin den Fehler erkennen kann, dann wäre es super nett, wenn man mir ggf. die Zeile sagen könnte in der man das sieht. Ich kann mit der Datei leider mit meinem Kenntnissstand aktuell nichts anfangen!

 

[foo_1337]

Auszug aus dem Log:

[    29.082] (EE) NVIDIA(GPU-0): The NVIDIA kernel module does not appear to be receiving
[    29.082] (EE) NVIDIA(GPU-0):     interrupts generated by the NVIDIA GPU at PCI:11:0:0.
[    29.082] (EE) NVIDIA(GPU-0):     Please see Chapter 8: Common Problems in the README for
[    29.082] (EE) NVIDIA(GPU-0):     additional information.
[    29.082] (EE) NVIDIA(GPU-0): Failed to initialize the NVIDIA graphics device!
[    29.082] (EE) NVIDIA(G0): Failing initialization of X screen
[    29.082] (II) UnloadModule: "nvidia"

Zeig mal bitte noch den Output von "dmesg"

 

[eehm]

"dmesg"

Das ist leider ein riesiger Output.

 

[foo_1337]

[   22.562853] NVRM: GPU 0000:0b:00.0: RmInitAdapter failed! (0x11:0x45:2309)
[   22.562980] NVRM: GPU 0000:0b:00.0: rm_init_adapter failed, device minor number 0
[   28.598956] NVRM: GPU 0000:0b:00.0: RmInitAdapter failed! (0x11:0x45:2309)
[   28.599051] NVRM: GPU 0000:0b:00.0: rm_init_adapter failed, device minor number 0
[   52.046592] ISO 9660 Extensions: Microsoft Joliet Level 3
[   52.046701] ISO 9660 Extensions: RRIP_1991A
[   57.406930] NVRM: GPU 0000:0b:00.0: RmInitAdapter failed! (0x11:0x45:2309)
[   57.407064] NVRM: GPU 0000:0b:00.0: rm_init_adapter failed, device minor number 0
[   63.466697] NVRM: GPU 0000:0b:00.0: RmInitAdapter failed! (0x11:0x45:2309)
[   63.466788] NVRM: GPU 0000:0b:00.0: rm_init_adapter failed, device minor number 0
[   79.141137] NVRM: GPU 0000:0b:00.0: RmInitAdapter failed! (0x11:0x45:2309)
[   79.141256] NVRM: GPU 0000:0b:00.0: rm_init_adapter failed, device minor number 0
[   85.175015] NVRM: GPU 0000:0b:00.0: RmInitAdapter failed! (0x11:0x45:2309)
[   85.175110] NVRM: GPU 0000:0b:00.0: rm_init_adapter failed, device minor number 0
[   91.213565] NVRM: GPU 0000:0b:00.0: RmInitAdapter failed! (0x11:0x45:2309)
[   91.213664] NVRM: GPU 0000:0b:00.0: rm_init_adapter failed, device minor number 0
[   97.248737] NVRM: GPU 0000:0b:00.0: RmInitAdapter failed! (0x11:0x45:2309)
[   97.248857] NVRM: GPU 0000:0b:00.0: rm_init_adapter failed, device minor number 0

Hier auch Device 11, sprich die Nvidia GPU. Laut dem Xorg log ist auch nouveau (der freie nvidia Treiber) aktiv. Vermutlich kommen die sich ins Gehege. Blacklisten von nouveau (modprobe conf) sollte helfen. Ob es dazu hooks etc bei Mint gibt, kann ich dir nicht sagen, aber das lässt sich sicher googlen

 

[eehm]

Blacklisten von nouveau (modprobe conf) sollte helfen.

Danke für den Tipp.
Ich habe jetzt folgendes gemacht:
sudo bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf"
sudo bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf"
sudo update-initramfs -u
sudo reboot

Leider keine Besserung.
War es ein Fehler nach dem Start den Nvidia-Treiber (laut Betriebssystem empfohlen) zu installieren?
Hätte ich besser auf den Nouveau-Treiber setzten sollen?

 

[foo_1337]

Zeig jetzt nochmal bitte das Xorg log und den dmesg output.

Bei nouveau hast du halt eine vergleichsweise bescheidene 3d Leistung

 

[eehm]

Zeig jetzt nochmal bitte das Xorg log und den dmesg output.

Das wären die beiden Logs nach der Blacklist-Aktion.

 

[foo_1337]

Ok, dann versuch mal bitte das hier:

• Open your VM's .vmx file with a text editor.
• At the bottom of the file, add the following line: hypervisor.cpuid.v0 = FALSE
• Save the file.

https://ianmcdowell.net/blog/esxi-nvidia/

Eigentlich dachte ich, dass das bei einer Quadro NICHT notwendig ist, sondern nur bei den Consumer Geforce.

 

[eehm]

Eigentlich dachte ich, dass das bei einer Quadro NICHT notwendig ist, sondern nur bei den Consumer Geforce.

Dachte ich eigentlich auch.
In Windows war das bei der K2000 bisher auch nie nötig. Mit einer Quadro P400 habe ich den Parameter 'hypervisor.cpuid.v0 = FALSE' mal benötigt.

Leider hat das ergänzen des Parameters in der Linux-VM keinen Erfolg gebracht.
Ist für VM und Passthrough ggf. Mint nicht die ideale Distribution oder ist dieses Szenario unter Linux einfach eine diffizile Geschichte?

 

[eehm]

Ich habe jetzt noch weiter recherchiert. Wahrscheinlich ist es vielleicht nur die "vmware svga" die das Problem macht.
Kann ich diese auch irgendwie über die Blacklist im Verzeichnis '/etc/modprobe.d/' deaktivieren oder geht das nur mit dem Nouveau-Treiber?

 

[eehm]

At the bottom of the file, add the following line: hypervisor.cpuid.v0 = FALSE

Um ggf. die Möglichkeit am ESXi-Server Anzupassen ggf. nochmals die Frage an die Runde.
Weiß vielleicht jemand, wie man in ESXi die SVGA-Grafik komplett deaktivieren kann, dann wäre wahrscheinlich das Problem mit den zwei Grafikkarten im Keim erstickt.
'svga.present = false' funktioniert leider nicht!

 

[eehm]

Jetzt hätte ich noch einen anderen Ansatz, weil ich vermute, dass das die PCIE-GPU nicht komplett freigegeben ist und zum Teil noch mit der letzten VM verbunden ist.

Gibt es in Linux die Möglichkeit im OS die PCIE-GPU zu reseten, also einen Reboot der GPU auszulösen?
Am besten wäre es wenn es geht beim Booten des OS.