Webserver - Daten kommen über IP A rein und gehen über IP B raus - Probleme?

[=DarkEagle=]

Hallo,
ich kämpfe gerade mit pfSense und mehreren Debian-Systemen auf einem XenServer. Die Debian-Systeme stellen Server-Dienste im Internet bereit und sollen durch pfSense als Firewall geschützt werden.
pfSense hat nun als Internetinterface WAN1, WAN2 und WAN3. Jedes Interface leitet nun sämtliche Anfragen von Außen auf den entsprechenden Server um. Sprich Anfragen an WAN1 kommen bei Server1 an, Anfragen von WAN2 kommen immer bei Server2 an, Anfragen von WAN3 kommen bei Server3 an. Nun besteht aber das Problem, dass sämtliche Anfragen von Innen (von Server1, Server2, Server3) über WAN1 nach draußen gehen. Als Absender-IP ist dementsprechend immer die IP von Server1 zu sehen?
Also Anwender ruft über Webbrowser Server3 auf und die Antwortpackete schickt Server3 mit der IP von Server1 zurück. Was hat dies für Folgen? Gibt es Anwendungen auf Clientseite, wo genau geprüft wird, ob die IP-Adresse der Packete, die zu einem Server hingeschickt werden und wieder zurückkommen, genau die gleiche ist?
8 Stunden kämpfe ich nun schon mit diesem blöden Setup...diese Art des Setups war die einzige Variante, wo Dienste erreichbar waren.

EDIT//
Die WAN-Interfaces haben jeweils eine IP aus dem gleichen Subnetz und haben alle das gleiche Gateway. Es handelt sich um einen Rootserver bei Hetzner. 3 WAN-Interfaces heißt nur, 3 unterschiedlicher IP-Adressen, wo jede Adresse auf einer virtuellen netzwerkkarte aufliegt.

 

[xxxx]

Wenn du nen Webserver schützen willst nimm besser die Sophos Utm (ehemals Astaro) die ist für so was besser geeignet weil besitzt eine Web Applications Firewall.
Und ja das hat Folgen eine Stateful Firewall auf Nutzerseite würde die Antwort Pakete aussortieren weil die Ip Adresse die antwortet ja nicht die Adresse ist zu der die Anfrage Pakete gesendet werden.

 

[=DarkEagle=]

An Diensten wird vieles laufen. Apache, FTP-Server, OpenVPN, etc.
Ich hatte Sophos privat zu Hause schon einmal und das war da einfach Overkill.
Ich werde morgen Abend mal 2 Stunden in Sophos investieren und testen.

Eine Antwort auf die andere Frage bräuchte ich tortzdem noch von jemandem ;-)

 

[marcol1979]

Nun besteht aber das Problem, dass sämtliche Anfragen von Innen (von Server1, Server2, Server3) über WAN1 nach draußen gehen.

Was ich an der Frage nicht verstehe, warum geht eine Anfrage von drinnen nach außen ?
Poste ggf. mal ein kleine Netzwerkübersicht zum besseren Verständnis!

 

[=DarkEagle=]

Anhang anzeigen 366527

Hier das Netzwerk grob skizziert. Ich kann in PfSense nicht sagen: Leite den Netzwerkverkehr von Server3 nur nach Interface3. Normalerweise ist es auch so, dass es nur ein WAN-Interface mit mehreren IPs gibt. Sowas gibt es bei Hetzner nur für die Haupt IP (IP0 vom XenServer). Einzige Möglichkeit sonst wäre, dass ich die MAC-Adresse von IP0 mit IP1 tausche, da ich die Möglichkeit habe die anderen IPs auf die MAC0 zu routen. Dafür müsste ich allerdings über ein externes System auf den Server rauf, Notfall-Linux starten, MAC richtig ändern und hoffen, dass alles klappt...
Ich mache das nur ungerne, da dann die Haupt-IP grundsätzlich nicht mehr automatisch zum Server geroutet wird, sondern nur wenn bei einer VM die entsprechende MAC hinterlegt wird..

 

[xxxx]

@Storm88 ich habe deine Frage schon beantwortet ja eine Statefull Firewall filtert die Pakete weil nicht die selbe Ip und die hat so gut wie jeder Router abgesehen davon bin ich mir nicht sicher ob es überhaupt geht vielleicht bei UDP aber bei Tcp definitiv nicht weil da werden ja die Header geprüft und wenn dort im Antwortpaket ne andere Ip drin steht ist es aus die einzige Möglichkeit wäre es die Pakete direkt zum Server durch zu leiten das er mit seiner eigenen Ip antworten kann aber da kannste die Firewall auch gleich weg lassen. Hast du schon mal dran gedacht das Load Balancing zu verwenden um die Last auf die 3 Wans zu verteilen?

 

[=DarkEagle=]

Der Sinn war in der Tat, die IPs direkt zum Server durchzuleiten. Die Firewall war dann mehr dafür gedacht zentral entsprechende Ports zu blocken und mit Snort zusätzlich den Traffic zu analysieren. Load Balancing macht hier keinen Sinn, da das ganze ein Rootserver bei Hetzner ist. Der hat eine NIC. Und auf dieser liegt eine IP auf der normalen Netzwerkkarte, die der SenServer verwendet und dann 3 IPs auf der VM von PFSense auf 3 virtuellen WAN Interfaces. Jede IP hat hier eine eigene MAC. Daher brauche ich soviele virtuelle WANs für PFSense. Entweder die zusätzlichen IPs( IP1-3) haben ne eigene MAC oder sie werden auf die Hapt IP vom XenServer geroutet. Da ich auf dem XenServer es aber nicht hinbekomme (vom Wissen her) alle IPs (die an der Haupt-MAC/IP anliegen) an eine VM durchzurouten, muss ich den Umweg über mehrere virtuelle WAN Interfaces in einer FW-VM gehen.

Hinzukommt noch, dass das Ganze noch die Geschichte für IPv4 ist. Auf dem PFSense liegt noch ein IPv6-Subnetz an, welches bereits verwendet wird und weiter geroutet wird. Andere VMs (keine von oben genannten Debian VMs) arbeiten mit dem IPv6. Das ganze Setup ist recht kompliziert.

"bei Tcp definitiv nicht weil da werden ja die Header geprüft und wenn dort im Antwortpaket ne andere Ip drin steht ist es aus die einzige Möglichkeit wäre es die Pakete direkt zum Server durch zu leiten das er mit seiner eigenen Ip antworten"
Danke. Dann ist klar, dass das Setup so wohl nicht gehen würde.

 

[xxxx]

Also für mich sieht die ganze Sache ziemlich konfus aus was ich nicht verstehe warum der eingehende Traffic nicht auf dem selben Wan Port beantwortet wird ich denke mal dort liegt ein Konfigurationsfehler vor aber Load Balancing könnte dir eventuell trotzdem helfen bei der Sophos kann ich dort Multipath Regeln festlegen ich denke das geht bei der Pfsense auch eventuell kannst du so den ausgehenden Traffic an das jeweilige Interface binden damit wäre das Problem gelöst.

 

[marcol1979]

Normalerweise ist es auch so, dass es nur ein WAN-Interface mit mehreren IPs gibt.

Richtig, das mit den mehreren WANs verwirrt irgendwie.

da das ganze ein Rootserver bei Hetzner ist.

Den du über eine separate Internet IP erreichst und/bzw. DynDNS ?

An Diensten wird vieles laufen. Apache, FTP-Server, OpenVPN, etc.

Wäre es nicht sinnvoller dem pfsense nur eine WAN Schnittstelle zuzuweisen und die entsprechenden Ports über die virtuellen LANs und damit an die jeweiligen Server weiterzuleiten ?

 

[xxxx]

@marcol1979 das würde aber nur gehen wenn jeder Server nen unterschiedlichen Dienst an bietet wenn jeder Server die gleichen Dienste anbietet geht das nicht.

 

[marcol1979]

Richtig, dann braucht er 3 Adressen die jedem WAN zugewiesen werden müssten.

 

[=DarkEagle=]

Also für mich sieht die ganze Sache ziemlich konfus aus was ich nicht verstehe warum der eingehende Traffic nicht auf dem selben Wan Port beantwortet wird ich denke mal dort liegt ein Konfigurationsfehler vor aber Load Balancing könnte dir eventuell trotzdem helfen bei der Sophos kann ich dort Multipath Regeln festlegen ich denke das geht bei der Pfsense auch eventuell kannst du so den ausgehenden Traffic an das jeweilige Interface binden damit wäre das Problem gelöst.

PfSense unterstützt auch ein MultiWAN Setup. Nur ist das Problem dabei, dass jedes WAN ein anderes Gateway haben muss (Ist ja auch klar). Nur die WAN-IPs sind alle aus dem gleichen Netz und haben das gleiche Subnetz. Daher ist ein Load Balacning oder Ähnliches gar nicht möglich :-/
Den ausgehenden Traffic will ich auch an das jeweilige Interface binden. Aber der verweigert sich. Ein Konfigurationsfehler kann durchaus vorliegen. PFSense-erfahren bin ich in der Art und Weise auch nicht und wühle mich schon durch Dokus und Google ziemlich viel.

Richtig, das mit den mehreren WANs verwirrt irgendwie.

Ich habe aus einem Subnetz 3 IP-Adressen. Diese sind an unterschiedliche MACs gebunden. Entsprechend kann ich einem WAN-Interface nur eine IP zuordnen, da ein Interface nur eine MAC hat.

Den du über eine separate Internet IP erreichst und/bzw. DynDNS ?

Das ganze ist ein dedizierter Server von Hetzner. Also ein normaler Server im Internet, der eine GigaBit-Anbindung hat, ein Ipv6-Subnetz und auf welchen 4 Ipv4-Adressen geroutet werden. Die Zuweisung der Ips und Subnetze erfolgt über MAC-Adressen, die von Hetzner festgelegt sind und nicht manuell nachbearbeitet werden können.

Wäre es nicht sinnvoller dem pfsense nur eine WAN Schnittstelle zuzuweisen und die entsprechenden Ports über die virtuellen LANs und damit an die jeweiligen Server weiterzuleiten ?

Wäre durchaus sinnvoll. Ich hatte das auch schon überlegt. Allerdings laufen auf jedem Server auf jeden Fall Webserver auf Port 80. Hierfür hatte ich schon überlegt auf dem Pfsense Apache laufen zulassen und als Proxy fungieren zulassen, der je nach Domainanfrage die Anfrage an den richtigen Webserver weiterleitet. Das ist aber für mich sehr viel arbeitet. Sauberer erscheint es mir, wenn einfach jede IP an einen Server weitergeleitet wird und ich entsprechende Ports zentral blocken kann als ersten Schutzwall und dann auf jedem Webserver noch entsprechende Schutzmaßnahmen treffe.

@marcol1979 das würde aber nur gehen wenn jeder Server nen unterschiedlichen Dienst an bietet wenn jeder Server die gleichen Dienste anbietet geht das nicht.

Auch wenn alle den gleichen Dienst anbieten: Bei Webserver-Sachen auf Port 80 kann man Apache als Proxy fungieren lassen und bei anderen Sachen ist das kein Problem, diese auf andere Ports umleiten zulassen.

Richtig, dann braucht er 3 Adressen die jedem WAN zugewiesen werden müssten.

Genau das hatte ich bisher gemacht und funktioniert auch irgendwie. Heute Abend setze ich mich wieder ran und setze alles nochmal neu auf. Ich probiere dann auch nochmal aus, den WAN-Interfaces ein jeweilig einzelnes internes Interface gegenüber zustellen und das zu bridgen. Gestern funktionierte das nicht, weil das interne Interface ein normales Interface war und kein privates Interface, welches nur innerhalb der VMs verfügbar ist.

Mit VLAN habe ich mich nocht gar nicht auseinandergesetzt. Ich lese mich da mal durch und schaue ob das vllt eine Option ist.

Das Setup ist echt total schräg. Das liegt aber auch echt nur daran, dass Hetzner die Ips via MAC-Adresse zuweist und ich da manuell nichts ändern kann.

Ergänzung (25. September 2013)

Problem gelöst: ich habe nun die Haupt-MAC dem XenServer weggenommen und dem PfSense zugewiesen. Nun wird die Haupt IP + IP1 + IP2 an PFSense weitergeleitet auf ein WAN-Interfce. IP1 wird dann durch 1:1-Nat an eine interne IP von einem Debian-Server gebunden.
Funktioniert einwandfrei. Ich weiß nicht, ob das mit dem 1:1-Nat auch mit mehreren WANs geht. Ich hatte es probiert,a ber es ging nicht, was natürlich auch an einem Konfigfehler liegen kann. Zumindest kann ich alle externen IPs über PFSense auf die internen mappen.