unRaid - Windows VM Blackscreen nach einiger Zeit

[JerryCurwen]

Hallo zusammen,

ich habe vor einigen Wochen bereits ein Thema in der unRaid Community gestartet, aber leider erhalte ich absolut keine Reaktion auf mein Problem. Ich weiss nicht ob ich das Problem auf englisch vielleicht scheisse beschrieben oder sonst was falsch gemacht habe. 💥 Hier mal der Link zum Thema: Windows VM - Blackscreen after irregular intervals

Nun versuche ich mein Glück hier einmal:

Zur Zeit speichere ich meine Daten "noch" auf einer Synology DS 716+II welche ich später gegen einen unRaid Server (vielleicht) ersetzen möchte. Mein Plan ist eigentlich unRaid und die DS parallel eine Zeit einzusetzen, bis für mich unRaid Produktiv läuft. Nun zu meinem Problem:

In unRaid habe ich eine Windows VM erstellt. Diese läuft eigentlich auch ganz gut. Meine 8GB Sapphire Radeon RX 580 Pulse habe ich als pass through für Windows eingerichtet. Einen Dumb des VBIOS der Karte habe ich selbst erstellt. Nachdem ich in der unRaid Community gelesen habe das die AMD Karten kein VBIOS benötigen habe ich dies zwischenzeitlich aus den Einstellungen der Windows VM entfernt. Was aber keine Veränderung brachte. Angeschlossen ist der ganze Rechner mit unRaid direkt an meinen beiden Monitoren. In den Bios Einstellungen ist die interne Intel Grafikkarte als primär aktiviert und unRaid zugewiesen. Die RX ist also ausschließlich für Windows gedacht.

Nun ist es so das nach einiger Zeit die beiden Bildschirme einfach schwarz werden. Ich kann dann zwar den Ton noch hören und einige Services wie Musikserver, Emby usw. sind noch erreichbar, die VM ist aber nicht mehr nutzbar und auch per Remoteverbindung nicht steuerbar. Es hilft dann nur noch ein "force stop" und danach ein Neustart. Wenn ich die VM Headless starte ist es so das nach einiger Zeit auch eine Remote Verbindung nicht mehr möglich ist. Erst nach einem "force stop" und darauf folgenden Neustart ist die VM per Remoteapp steuerbar. Meine aktuelle Vermutung ist erst mal die Grafikkarte...

unRaid soll erst mal auf meinem "Gaming PC" laufen bis ich das ganze in ein eigenes System umziehe. Dazu soll aber natürlich alles laufen. Ich hänge mal Diagnosedaten an die ich jeweils unmittelbar nach dem Blackscreen erstellt habe.

Zur Info noch die aktuelle Hardware:
Intel Core i5 8400
MSI Z370M Gaming PRO AC
8GB Sapphire Radeon RX 580 Pulse
16GB G.Skill RipJaws
400 Watt be quie! Pure Power 10 CM Modular 80+ Silver

Ich hoffe auf eure Hilfe.

 

[suRe]

Wenn ich die VM Headless starte ist es so das nach einiger Zeit auch eine Remote Verbindung nicht mehr möglich ist

Das finde ich merkwürdig. Legt sich da irgendwas schlafen?
Kannst du mal deine VM Settings von unRAID nennen? (Oder XML posten)
Edit: Nevermind, sind ja bei den diagnostics dabei

 

[JerryCurwen]

Legt sich da irgendwas schlafen?

Das kann ja dann nur einer der Services sein?! Was aber die Blackscreens während der Nutzung der VMs nicht erklären würde. Ich hatte noch vergessen zu erwähnen das ich alle Stromspareinstellungen-/Mechanismen in den Energieeinstellungen deaktiviert habe. Die Blackscreens treten sowohl bei der Nutzung von Windows bzw. auch beim Zocken auf.

Gibt es in Windows selbst noch Logs die uns dabei weiterhelfen können?

 

[suRe]

Also was nicht so ganz passen will, ist die Tatsache, das deine VM auch headless einfriert. Ich hoffe du meinst mit "headless" auch laufende VM ohne GPU-Passthrough.

Nebenbei: hast du unRAID mal mit der Kerneloption video=efifbff gestartet?

 

[JerryCurwen]

Hey, danke schon mal für deine Antworten und die Zeit die du dir genommen hast! Also mit headless meine ich das einfach kein Monitor angeschlossen sind. Die Grafikkarte habe ich dabei der VM trotzdem zugewiesen gehabt, da ich die Leistung der Karte für die Games brauche. Mit Microsoft-Remotedesktop habe ich dann die VM bedient. Ursprünglich wollte ich den unRaid Server im Keller aufbauen und per Parsec da drauf zugreifen. Dafür sollte dann ein HDMI Dongle her der in die Grafikkarte eingesteckt wird. Aktuell sind aber wieder die Monitore angeschlossen und der PC steht auf dem Schreibtisch. Da mein Vorhaben bislang so nicht funktionierte.

Nebenbei: hast du unRAID mal mit der Kerneloption video=efifbff gestartet?

Nein das habe ich noch nicht versucht. Muss das in der XML Datei der VM eingestellt sein?

 

[suRe]

Also an deiner Stelle würde ich aktuell mal drei Dinge testen:
1) Unraid mit dem o.g. Kernelparamter starten. Dazu gehst du bei unRAID auf Main -> und klickst auf "Flash" unter Boot Device. Unter Syslinux Configuration trägst du bei Unraid OS GUI Mode oder Unraid OS (je nachdem was du bootest) hinter append folgendes ein: video=efifbff
Das ganze könnte dann so aussehen:

kernel /bzimage
append vfio_iommu_type1.allow_unsafe_interrupts=1 video=efifb:off isolcpus=0-1 initrd=/bzroot kvm_amd.nested=1

2) Ich hab in deiner VM xml gesehen, dass die VBIOS Zeile immer noch aktiv zu sein scheint. Lösch die mal raus. Das kannst du machen wenn du beim editieren der VM oben rechts auf "XML View" gehst.
3) Starte die VM mal ohne GPU Passthrough. Dann via VNC oder RDP mit der VM verbinden und schauen ob die VM auch so einfriert (was ich aber nicht glaube)
Danach meldest du dich noch mal ;-)

 

[JerryCurwen]

Hey, vielen Danke für deine Antwort und Hilfe. Ich werde mich morgen mal dran setzen und die einzelnen Schritte durch gehen und das Ganze testen. Ich denke das ich dafür ein paar Tage brauchen werde.

Ich werde mich auf jeden Fall dazu wieder melden!

Vielen Dank.

 

[JerryCurwen]

Hey, also ich hab es jetzt mal wie oben beschrieben getestet. Tatsächlich hatte ich nach dem Erstellen der Diagnosedaten das VBIOS entfernt. Das hab ich direkt nach dem erstellen der Daten gemacht. Das hatte ich noch vergessen zu erwähnen. Aus dem Grund waren die Settings noch in der XML Datei enthalten.

Folgendes konnte ich beobachten:

Gestern habe ich mit der RX und GPU Passthrough zwei drei Runden Fortnite gespielt. Die Einstellungen hatte ich zu dem Zeitpunkt noch nicht geändert. Außer das ich es ohne VBIOS getestet habe. Beim zocken (ca. 45 Minuten) hatte ich keine Probleme. Erst als ich fertig war und das Spiel verlassen wollte und ich noch kurz auf dem Windows Desktop unterwegs war ist die VM mit einem Blackscreen wieder unbenutzbar gewesen. Ich kann auch nicht sagen ob die jetzt freezed oder nicht. Auf jeden Fall kann ich sie nicht mehr bedienen und auch nicht per RMD verbinden.

Heute habe ich dann mal die Einstellungen wie von @suRe beschrieben vorgenommen. Den Parameter habe ich in den Boot-Optionen von unRaid hinzugefügt. Da ich keine Zeit hatte zu spielen habe ich Fortnite einfach mal gestartet und den Rechner einige Zeit im Menu des Spiels belassen. Nach ca. 20 Minuten wollte ich dann mal nach sehen. Als ich meinen Monitor dann auf den unRaid Rechner gewechselt habe hatte ich wieder einen Blackscreen. Auch per RMD konnte ich keine Verbindung herstellen.

Als nächstes habe ich dann die RX580 aus den Einstellungen der VM entfernt. Aktuell läuft die VM noch und ich kann jeder Zeit auf die VM zugreifen.

Es müsste demnach wohl ein Problem mit der Grafikkarte und der VM vorliegen oder? Mit dem Spiel Fortnite sollte es nicht zusammen liegen denn die Probleme treten auch bei Anno 1800 auf oder im normalen Desktop Betrieb.

 

[suRe]

Hast du zufällig mal unterschiedliche AMD Treiber probiert? Auch wenn ich selber nie davon betroffen war, so liest man ja dann doch schon mal gerne von "instabilen AMD Treibern". Welche Treiberversion hast du denn installiert?

Aber Stand jetzt würde ich definitiv von einem Problem mit oder durch die RX580 sprechen. Kann natürlich jetzt verschiedene Ursachen haben, die man per Ausschlussverfahren abarbeiten müsste.
Schon mal eine Linux VM probiert mit durchgereichter GPU?

 

[JerryCurwen]

Hey, also unterschiedliche AMD Treiber habe ich in sofern ausprobiert da ich diese immer aktuell gehalten habe. Die VM habe ich jetzt schon was länger und in der Zwischenzeit sind bestimmt 2 Updates für die Treiber verfügbar gewesen.

Ich habe gestern jetzt mal ein Ubuntu 20 installiert und laufen lassen. Dabei konnte ich erst mal keine Probleme feststellen. Die Blackscreens kommen aber auch manchmal recht schnell und manchmal dauert es etwas. Gerade wollte ich dann noch mal die Windows VM mit GPU Passtrhough starten was aber leider nicht mehr funktioniert. Hier erhalte ich jetzt immer, egal mit welchen Einstellungen, folgenden Fehler:

Execution error
internal error: Unknown PCI header type '127' for device '0000:01:00.0'

Ich werde gleich die Ubuntu VM einfach mal laufen lassen auch wenn sie dann die ganze Zeit im IDL sein wird.

 

[suRe]

Die Fehlermeldung gehört zum klassischen "AMD Reset Bug". Also entweder den kompletten Server neustarten oder kurz in den Stand-by. VM stoppen/starten alleine hilft leider nicht. Ist leider seit langem ein bekanntes und sehr altes Problem. Gibt wohl ein paar Kernel Patches mit denen das Problem nicht mehr auftritt aber hier muss AMD einfach nachbessern.

Kannst du mal eine Windows VM mit Seabios probieren statt mit OVMF?

 

[JerryCurwen]

Hey, vielen Dank für deine Antwort. Okay, das mit dem"AMD Reset Bug" hatte ich meine ich irgendwo mal gelesen. Spaceinvader One hatte dazu meine ich ein Video gemacht wo man einen Script anlegen konnte damit das Problem nicht mehr auftritt. Allmählich hab ich das Gefühl das unRaid mir vielleicht doch was zu viel Frickelei werden könnte. Wobei das System als Speicherserver ja läuft. Vielleicht ist es auch einfach gerade die Situation mit der WindowsVM die etwas deprimiert.

Ich werde das mit dem OVMF testen.

 

[suRe]

Wahrscheinlich ist es gar nicht viel Frickelei - wenn man denn die Lösung kennt :-). Ich kann dir leider nur meine eigenen Lösungsansätze anbieten und die gehen fast immer über Try/Error bzw. das Problem stückweise isolieren. Aber wir kommen der Geschichte ja näher!
Und wenn es dann am Ende läuft ist man mit dem System definitiv zufrieden. So ne VM hat halt einfach sehr viele Vorteile mMn.