Hetzner vSwitch und ProxMox

[HayKer]

Hallo zusammen,

vor kurzem hat Hetzner ja die vSwitches eingeführt. Jetzt möchte ich diese in meiner ProxMox Umgebung auf 2 verschiedenen Servern anwenden.
Ich möchte die Server gerne über das vSwitch über ein Internes Netz erreichbar machen.
Ich bin dafür folgendermaßen vorgegangen.

Zunächst habe ich das Netz wie in der von Hetzner beschriebenen Anleitung eingerichtet.
daraus wurde mein 221er Netz.

Spoiler: Network Config

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

auto enp0s31f6
iface enp0s31f6 inet static
        up route add -net 178.xx.xx.0 netmask 255.255.255.192 gw 178.xx.xx.1 dev enp0s31f6

auto vmbr0
iface vmbr0 inet static
        address  178.xx.xx.xx
        netmask  255.255.255.192
        gateway  178.xx.xx.1
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0
#Internet

auto vmbr1
iface vmbr1 inet static
        address  192.168.221.1
        netmask  255.255.255.0
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN

Soweit so gut,
das klappte soweit.
Danach habe ich wie in der vSwitch Anleitung ein VLAN mit der VLAN ID 4000 erstellt und als raw device die Netzwerkkarte eingerichtet und eine weitere vmbr mit bridge auf die Netzwerkkarte mit VLAN um meine Firewall (Sophos) damit zu verbinden.

Spoiler: Network Config

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

uto enp0s31f6
iface enp0s31f6 inet static
        up route add -net 178.xx.xx.0 netmask 255.255.255.192 gw 178.xx.xx.1 dev enp0s31f6

auto enp0s31f6.4000
iface enp0s31f6.4000 inet static
        address 192.168.100.2  # Server 2 hat hier die .4 bekommen.
        netmask 255.255.255.0
        vlan-raw-device enp0s31f6
        mtu 1400

auto vmbr0
iface vmbr0 inet static
        address  178.xx.xx.xx
        netmask  255.255.255.192
        gateway  178.xx.xx.1
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0
#Internet

auto vmbr1
iface vmbr1 inet static
        address  192.168.221.1
        netmask  255.255.255.0
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN

auto vmbr3
iface vmbr3 inet static
        address 192.168.100.1  # Server 2 hat hier die .3 bekommen.
        netmask 255.255.255.0
        bridge-ports enp0s31f6.4000
        bridge-stp off
        bridge-fd 0
#VLAN

auf dem 2. Server habe ich das selbe durchgeführt nur mit einem 222er Netz.
Das VLAN ist wie in der Anleitung ein 100er Netz. Mittels Routing auf den Firewalls habe ich die beiden Netzte erreichbar gemacht.

Nun zu meinen Problemen:

• Die Firewalls sind zu Testzwecken mit any to any Regeln ausgestattet.
• Die Firewalls erreichen alle VM's in jedem Netz 100er, 221er und 222er.
• Die Firewalls haben jeweils eine IP im eigenen Netz und eine im 100er Netz fürs Routing.
  • Firewall 1 auf Server 1: 192.168.221.254 | 192.168.100.254
  • Firewall 2 auf Server 2: 192.168.222.254 | 192.168.100.253

Problem 1:
Die Hosts erreichen sich über das 100er Netz nicht nur ihre eigenen Adressen.
Die VM's erreichen jedoch alle Geräte ohne Probleme aber auch hier nur den Host auf dem sie liegen.

Spoiler: Ping von Host 1 auf Host 2 über 100er Netz

root@verwaltung ~ # ping 192.168.100.3
PING 192.168.100.3 (192.168.100.3) 56(84) bytes of data.
From 192.168.100.2 icmp_seq=1 Destination Host Unreachable
From 192.168.100.2 icmp_seq=2 Destination Host Unreachable
From 192.168.100.2 icmp_seq=3 Destination Host Unreachable

^C

--- 192.168.100.3 ping statistics ---
4 packets transmitted, 0 received, +3 errors, 100% packet loss, time 3059ms
pipe 4


root@verwaltung ~ # ping 192.168.100.4
PING 192.168.100.4 (192.168.100.4) 56(84) bytes of data.
From 192.168.100.2 icmp_seq=1 Destination Host Unreachable
From 192.168.100.2 icmp_seq=2 Destination Host Unreachable
From 192.168.100.2 icmp_seq=3 Destination Host Unreachable
From 192.168.100.2 icmp_seq=4 Destination Host Unreachable

^C

--- 192.168.100.4 ping statistics ---
4 packets transmitted, 0 received, +4 errors, 100% packet loss, time 3041ms
pipe 4

Problem 2:
Wenn ich von einer VM aus dem 221er Netz z.B. über SSH auf eine im 222er Netz zugreife, bekomme ich nach nicht all zu langer Zeit einen Timeout. Beide Firewalls lassen den Traffic durch.

Problem 3:
Wenn ich auf den Firewalls über das 100er Netz jeweils die andere als Gateway für den WAN Zugriff auswähle, komme ich nicht mehr ins Internet, nur bestimmte Webseiten funktionierten wie, seltsamerweise, google.ru aber z.B. kein wieistmeineip.de.

Ich hatte auch schon versucht alles nur über das 100er Netz laufen zu lassen also ohne die beiden anderen Netze. Selbes Phänomen.
Pingen und DNS etc. funktioniert aber ohne Probleme.

Bei diesem Test ist mir aufgefallen das bei einem tcpdump die Anfragen von
Anfrage: (Maschine -> Firewall -> andere Firewall über 100er Netz -> WAN)
gegangen sind,
die Antworten von
Antwort: (WAN -> Firewall -> direkt auf die Maschine im anderen Netz)
, was an sich eigentlich kein Problem darstellen sollte da die Firewall ja alle Geräte erreichen kann.
Die Maschine scheint aber mit der Antwort nichts anfangen zu können.


Vielleicht ist das alles nur ein Fehler meinerseits aber ich komme aktuell nicht mehr weiter und ein Kollege weiß auch nicht mehr weiter.
Hetzner selber sagt dazu, des es mein Problem ist und die mir da leider nicht weiterhelfen können.

Ich hoffe mir kann hier jemand weiterhelfen, wie so oft zuvor schon

Danke schon mal im Voraus.

 

[supastar]

Warum nicht Hetzner kontaktieren?

 

[HayKer]

Hetzner selber sagt dazu, des es mein Problem ist und die mir da leider nicht weiterhelfen können.

...

 

[HayKer]

So,
ich habe jetzt mal einiges getestet.

Einen Fehler in meiner Konfiguration der Hosts kann ich fast schon ausschließen.
Es wird ein Fehler im vSwitch oder an meinen Firewalls sein.

Am wahrscheinlichsten scheint mir ein Fehler in den Firewalls, denn wenn ich mir die Logs ansehe, wenn ich per SSH auf eine VM im anderem Netz connecte, sehe ich dass die Verbindung zugelassen wird.
Ab diesem Moment kann ich mich frei auf der VM bewegen.
Sobald ich jedoch htop oder vim starte, geht nichts mehr. In den Firewall Logs ist dann zu sehen:
"Could not associate packet to any connection."
Was in meinen Augen so viel bedeutet wie "Keine Ahnung was das für ein Paket ist, ich schmeiße es mal weg."

Die Preisfrage dabei ist jetzt, wie das bei einer ANY to ANY Regel sein kann?!
Ich befürchte das es eventuell am Routing liegen könnte. Aber das funktioniert an sich.

Hat dahingehend vielleicht noch jemand eine Ahnung und / oder Erfahrung mit Sophos XG?