PCI Passthrough in Proxmox 8.0 auf TrueNas Scale funktioniert nicht

[Sandolo]

Leider komme ich einfach nicht weiter. Entweder gibt es nur halbe Erklärungen oder sie sind auf Englisch (was ich nun nicht so beherrsche). Vermutlich basieren viele Guides auch nur auf HörenSagen.

System:
Asus Prime X370-Pro (aktuelles UEFI)

• SVM aktiviert
• IOMMU aktiviert

Ryzen 7 5750G
512GB NVME als Systemplatte für OS und VM
Software:
Proxmox 8 als OS (aktuelles Update)
TrueNas Scale als VM (aktuelles Update)

Einstellungen in Proxmox:

"nano /etc/kernel/cmdline"
root=ZFS=rpool/ROOT/pve-1 boot=zfs amd_iommu=on iommu=pt


"nano /etc/ moduls"
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd


"nano /etc/default/grub"
wahlweise
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
oder
GRUB_CMDLINE_LINUX_DEFAULT="quiet"


Bis hierher auch alles normal / ok.

Abschließend noch folgende Eingaben gemacht:

"proxmox-boot-tool refresh"
und
"update-initramfs -u -k all"

und hier kommen die ersten Fehlermeldungen. Bei beiden Eingaben kommt:

"No /etc/kernel/proxmox_uuids found, scipping ESP sync."


Bis hier lässt sich TrueNas auch noch starten.
Aber sobald ich den SATA-Controler in Proxmox an TrueNas durchreiche, hängt sich alles auf.

Ich weiß jetzt nicht mehr weiter und hoffe, dass es hier noch jemanden gibt, der was von der Materie versteht.
Ansonsten werde ich wohl statt zu Linux komplett zu wechseln, komplett auf kommerzielle Lösungen von MS setzen müssen.

 

[0x8100]

die pcie-geräte sind in iommu-gruppen. jede gruppe kann aber mehrere geräte haben, besonders bei consumerboards. wenn man dann ein gerät aus einer gruppe durchreichen will, verliert der host auch zugriff auf alle anderen geräte aus der gruppe und das system kann sich aufhängen. bei mir z.b.:

IOMMU Group 1:
        ...
        03:00.1 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset SATA Controller [1022:43c8] (rev 01)
        ...
        09:00.0 Network controller [0280]: Intel Corporation Wi-Fi 6 AX200 [8086:2723] (rev 1a)
        0a:00.0 Ethernet controller [0200]: Intel Corporation I211 Gigabit Network Connection [8086:1539] (rev 03)
        0b:00.0 Non-Volatile memory controller [0108]: Micron/Crucial Technology P2 NVMe PCIe SSD [c0a9:540a] (rev 01)
        0c:00.0 Non-Volatile memory controller [0108]: Micron/Crucial Technology P2 NVMe PCIe SSD [c0a9:540a] (rev 01)
IOMMU Group 2:
        ...
        0d:00.0 VGA compatible controller [0300]: Advanced Micro Devices, Inc. [AMD/ATI] Cezanne [Radeon Vega Series / Radeon Vega Mobile Series] [1002:1638] (rev c9)
        ...
        0e:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 81)
        0e:00.1 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 81)

wenn ich also den onboard sata-controller durchreichen will, geht das schief.

siehe https://wiki.archlinux.org/title/PCI_passthrough_via_OVMF#Ensuring_that_the_groups_are_valid


du kannst dennoch die einzelnen disks an die vm durchreichen -> https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM)

du wirst nur keine smartdaten in truenas sehen, das musst du in proxmox überprüfen.

 

[Nordwind2000]

Das gleiche Problem habe ich bei meinem UnRaid-Server... Möchte ich die GT1030 durchreichen, keine Chance auf einen stabilen Betrieb, weil sie in einer Gruppe hängt die man nicht splitten kann.

 

[KurzGedacht]

Asus Prime X370-Pro (aktuelles UEFI)

Du musst ins Handbuch bzw ins Bios schauen und gucken, ob du die IOMMU Gruppen anders konfigurieren kannst. Zumindest bei meinem Asus Prime X570-Pro geht das problemlos (Hab ne Grafikkarte an ne Windows VM durchgereicht). Eventuell musst du einen anderen PCIe Slot nehmen.

 

[DaysShadow]

Falls du nichts findest oder es unpassend bleibt musst du ggf. einen ACS Override durchführen, siehe https://pve.proxmox.com/wiki/PCI_Passthrough#Verify_IOMMU_isolation:~:text=Should that not work, you can try using Alex Williamson's ACS override patch

Musste ich anno 2017/18 bei meinen VFIO Passthrough Experimenten auch machen, trotz gutem Board und guten IOMMU Gruppen, weil noch ein anderes Gerät mit in der Gruppe der durchzureichenden GPU war was ich im Host benötigte.

 

[Sandolo]

die pcie-geräte sind in iommu-gruppen. jede gruppe kann aber mehrere geräte haben, besonders bei consumerboards. wenn man dann ein gerät aus einer gruppe durchreichen will, verliert der host auch zugriff auf alle anderen geräte aus der gruppe und das system kann sich aufhängen. ...

Genau das wars. Es liegt an der IOMMU-Gruppierung. Der Controller sitzt mit mehreren Geräten in einer Gruppe.
Allerdings sitzt dort auch mein HBA, so dass auch ein separater Controller wohl keine Abhilfe schafft.

Du musst ins Handbuch bzw ins Bios schauen und gucken, ob du die IOMMU Gruppen anders konfigurieren kannst. Zumindest bei meinem Asus Prime X570-Pro geht das problemlos (Hab ne Grafikkarte an ne Windows VM durchgereicht). Eventuell musst du einen anderen PCIe Slot nehmen.

Leider gibt das mein Board nicht her. Habe auch mit SR-IOV experimentiert, brachte aber nichts. Trotzdem Danke. Hat mich ein wenig weiter gebracht.

Falls du nichts findest oder es unpassend bleibt musst du ggf. einen ACS Override durchführen, siehe https://pve.proxmox.com/wiki/PCI_Passthrough#Verify_IOMMU_isolation:~:text=Should that not work, you can try using Alex Williamson's ACS override patch

Musste ich anno 2017/18 bei meinen VFIO Passthrough Experimenten auch machen, trotz gutem Board und guten IOMMU Gruppen, weil noch ein anderes Gerät mit in der Gruppe der durchzureichenden GPU war was ich im Host benötigte.

Bin jetzt nicht mehr bereit weiter zu experimentieren. Zumal ich mich hier auch erstmal einlesen muss.

Daher werde ich mir eine separate SSD nehmen und TrueNas aufs Blech setzen.

Ich möchte mich trotzdem bei euch bedanken, da ihr hier mir am Besten weitergeholfen habt.