Ich habe es eben hingekriegt. Ist jedoch ganz schön nervig, dass ich USB-Kabel anschließen und mit ADB Konnect verbinden muss, bevor ich loslegen kann.
Irgendwie gefällt mir die Lösung nicht so richtig. Schade eigentlich.
Normalerweise reicht es, ADB Konnect zu aktivieren und dann am PC mit adb connect 192.168.x.y mit dem Handy zu verbinden.
Was wichtig ist: Mach ADB Konnect wieder aus, wenn du außer Haus bist, weil sonst kann sich jeder auf dein Handy einwählen (sofern er im gleichen WLAN hockt).