Hardware für pfSense oder OPNsense

[Domi83]

Moin zusammen,

ich spiele immer gerne mal ein wenig rum, probiere was aus, schaue ob es mir gefällt und versuche dann damit weiter zu gehen.

Vor ein paar Tagen habe ich mir auf meinem Proxmox ein pfSense und auch mal OPNsense installiert und vorher mal das eine oder andere Video dazu angeschaut. Settings und Funktionen bieten sie ja beide ordentlich. Ich habe mal mit meinen VMs und den beiden Varianten herumexperimentiert, doch ich überlege ob ich mir so ein "Mini PC" zulege wo mehrere NICs verbaut sind.

Bei Amazon gibt es eine Micro Firewall Appliance sowie ein Protectli Vault, anhand diverser Videos gibt es bei AliExpress diesen R86S in diversen Varianten und dann gibt es ja noch ein paar Möglichkeiten.

Das ganze werde ich mir hier bei mir Zuhause neben mein Ubiquiti System hin hauen um mal ein paar Szenarien damit auszuprobieren und vielleicht binde ich es auch für die Zukunft fest hier ein.

• Frage wäre, was für Lösungen verwendet ihr (die, die pfSense oder OPNsense benutzen) als Hardware?
• Habt ihr eine der genannten Lösungen bei euch, am läuft?
• Läuft es stabil, welche Bandbreite habt ihr und wie viele Endpoints sind grob da dran?

Mein kleiner Server im Keller hätte Reserven, aber keine PCIe Ports mehr frei, da hängt eine 10 Gbit SFP+ Karte drin und versorgt mein Netz.

Und ich hätte schon gerne in so einem Teil mehr als nur zwei Netzwerk Ports, denn aktuell sind Telekom DSL sowie Deutsche Glasfaser an meiner UDM Pro angebunden und sollte aus einem "ich spiele mal rum" ein "das bleibt für die Zukunft so" werden, möchte ich weiterhin die Option haben, zwei Internetanschlüsse im Failover betreiben zu können.

Der Telekom DSL Anschluss kann aufgrund von Leitungslänge nur maximal 100 Mbit/s und der Glasfaser Anschluss könnte theoretisch 1 Gbit/s, aber aufgrund von Kosten- / Nutzen hab ich mich für einen kleineren Tarif entschieden, was auch ausreichend ist.

Über einen kleinen sowie charmanten Austausch würde ich mich freuen

Gruß, Domi

 

[Malaclypse17]

Meiner Meinung nach sind die Dinger aus der EU über Amazon/Ebay massiv überteuert, weswegen ich mir direkt so ein Teil über Aliexpress bestellt habe (ähnlich wie zu deinem erwähnten): https://de.aliexpress.com/item/1005004360072281.html

Das kam nach drei Wochen ohne Probleme an (keine weitere Kosten wegen Zoll) und jetzt läuft da seit einigen Monaten OPNsense drauf, auch wenn ich nur 1 Gbit von 2,5 nutzen kann

Vorher hatte ich die OPNsense virtualisiert über Proxmox, mit einer durchgereichten 4 Port NIC, hat auch gut funktioniert, aber für den 24/7 Betrieb hat es mir einfach zu viel Strom gezogen, das oben genannte Gerät zieht durchweg so 14W.

Nutze die OPNsense größtenteils für IPSec IKEv2 oder Wireguard VPN, ebenso für DNS, DHCP, Portweiterleitungen und für Traffic Analyse und manchmal noch andere Spielereien

 

[Domi83]

Moin, macht erst einmal einen guten Eindruck, schon mal vielen Dank für den Tipp.

Pauschal würde ich da eventuell sogar den N5105 mit 8 GB RAM sowie einer 128 GB SSD nehmen, denke ich

Das ganze auf meinem Server und Proxmox laufen zu lassen, wäre eine Idee, da das Teil bei mir sowieso 24/7 aktiv ist, aber aufgrund des bereits belegten PCIe Ports, hab ich das abgelehnt. Spaßeshalber schaute ich auch mal, ob es eventuell doch eine PCIe Karte mit SFP+ sowie RJ45 NICs gibt, aber gut... man kann eben nicht alles haben

 

[scooter010]

Bei Amazon gibt es eine Micro Firewall Appliance sowie ein Protectli Vault, anhand diverser Videos gibt es bei AliExpress diesen R86S in diversen Varianten und dann gibt es ja noch ein paar Möglichkeiten.

Das Gerät von Amazon habe ich auch als Heimrouter im Einsatz. Proxmox + opnsense.
Lieferzeit rund 3-4 Wochen.

Ich habe auch Ubiquiti WLAN-APs (nur WLAN APs, keine Dream-machine etc.) im Einsatz. Daher habe ich auf dem Proxmox einen Debian11 LXC Container erstellt, auf dem der Controller installiert ist und in das gewünschte Subnet gehängt.
Weiterhin habe ich noch eine piHole als DNS-Server als LXC auf der Hardware laufen.

Ich habe mir die Variante ohne Speicher/SSD geholt und noch 20 € gespart, in dem ich einen billgen 8GB RAM-Riegel und eine billige wd blue 500Gb NVME SSD selbst eingesetzt habe.

Als Switch verwende ich den Mikrotik 326 und zusätzlich noch einen TP-Link PoE-Switch zur Versprgung der WLAN-APs.

 

[maxik]

Alles sehr vielversprechend was ich hier so mitlese denn auch ich bin bereits am planen denn in Zukunft (hoffentliche nahe, sehr nahe) ist FTTH verfügbar

 

[bubu9]

Ich nutze eine gebrauchte Zotac Zbox c1323 nano mit ausgebauten WLAN-Modul für OPNsense. Für eine 1gbit Glasfaser Leitung reicht die Leistung auch mit aktiviertem IPS. Wenn man 2.5gbit Ports nicht unbedingt braucht gibt es zumindest vom Stromverbrauch einsparpotential. 2.5gbit NICs sind aber mit Sicherheit zukunftssicherer.

 

[derchris]

Als langjähriger UDM-Pro User der ersten Stunde lese ich hier gerne mal mit. Bekomme hoffentlich bald eine zweite FTTH Leitung, die wollte ich eigentlich auch an die UDM-Pro klemmen für Loadbalancing/Failover aber vielleicht spiele ich damit auch mal mit pfSense bzw OPNsense rum. Habe auf meinem "Server" noch 3x 1 Gbit/s frei - sonst wäre so ein mini-barebone auch eine gute Alternative.

 

[DonConto]

Hab mir das hier über Aliexpress bestellt. Kam nach 2 Wochen an (hab aber DHL ausgewählt und musste dann Versand und Zoll dazu zahlen).

https://de.aliexpress.com/item/1005...dc16761989017135514e13cd!12000030185016387!sh

RAM (64GB) und NVMe (2TB) hab ich hier in DE bestellt.

Nutze ich als Proxmox Server (hat meinen 10 Jahre alten abgelöst). Für OPNSense habe ich 2 NICs durchgereicht. Ist aber Geschmacksache ob man das so haben möchte. Gib Vor- und Nachteile. Ansonsten noch diverse andere VMs.

Verbrauch ca. 12 Watt.

 

[Domi83]

Als langjähriger UDM-Pro User der ersten Stunde

Ja, deinen Namen lese ich ja auch oft genug in dem UDM Pro Topic Ob ich jetzt seit der ersten Stunde dabei bin, weiß ich nicht... würde eher auf die zweite Stunde tippen, aber an sich ist das schon ein schickes Teil, doch auch das System stößt irgendwann an seine Grenzen.

Ist halt eine "AiO" Lösung und kein Security Gateway, wobei ich diese von Ubiquiti gar nicht kenne.

Drauf gekommen bin ich, weil ich auf der Arbeit mit den Fortinet Systemen herum hantiere und ich unter anderem eine "implicit deny" Regel interessiert. Die UDM Pro lässt aber von Haus aus nach außen erst einmal alles zu und man müsste ich eine Regel bauen.

Hier wäre es toll gewesen, wenn man der UDM sagen könnte dass sie per Default ein "allow" oder ein "deny" macht, ähnlich wie ich es einem 'iptables' sagen kann. Na klar, ein pfSense oder OPNsense macht halt per Default alles zu und man müsste umgedreht ein "allow all" machen, aber eine Firewall sollte ja eigentlich dazu da sein, erst einmal abzuschotten

Loadbalancing/Failover

An meiner UDM hängt aktuell DG + Telekom DSL... der Telekom Anschluss ist aktuell mein Failover und das klappt gut. Loadbalancing bekommt das Teil ja erst im neuen UnifiOS (wenn ich mich nicht irre) welches auf der UDM SE schon dabei ist und für die UDM Pro erst noch gebacken werden muss. Aber lassen wir uns überraschen.

Hab mir das hier über Aliexpress bestellt.

Alles klar, dass ist mal ne Ansage... da kann man natürlich gleich mehrere Dinge mit machen und da bietet sich ja dann wirklich ein Proxmox an

Weiterhin habe ich noch eine piHole als DNS-Server als LXC auf der Hardware laufen.

Einen piHole hab ich bei mir auch, aber der läuft nicht im Container sondern als vollwertige VM im Proxmox, da das Teil so etwas wie meine Eierlegende-Netzwerk-Sau ist. Da ist der piHole drauf, mein DHCP und mein OpenVPN!

Wobei hier zu erwähnen ist, mein OpenVPN funkt raus und nicht rein... falls sich jemand fragt wie ich VPN und Deutsche Glasfaser gelöst habe.

 

[scooter010]

RAM (64GB) und NVMe (2TB) hab ich hier in DE bestellt.

Dann also nicht nur als Router, sondern auch als Server für Dienste?
Das wollte ich absichtlich trennen, also Router (inkl. DNS und WLAN-Controller) und den Rest der Dienste. Deswegen hab eich nur wenig(er) RAM verbaut und den "schwächeren" Prozi genommen.
Dazu habe ich noch einen älteren Ihntel-NUC, der HTTP-Proxy und "Webdienste" etc. bereit stellt.

Ergänzung (18. März 2023)

DHCP und mein OpenVPN!

dhcp macht bei die opnsense, ebenso VPN.

 

[derchris]

An meiner UDM hängt aktuell DG + Telekom DSL... der Telekom Anschluss ist aktuell mein Failover und das klappt gut. Loadbalancing bekommt das Teil ja erst im neuen UnifiOS (wenn ich mich nicht irre) welches auf der UDM SE schon dabei ist und für die UDM Pro erst noch gebacken werden muss.

Im RC der 2.5.x ist es schon dabei, also bis deine neue Kiste kommt, kannst du es schon mal ausprobieren.

 

[Domi83]

dhcp macht bei die opnsense, ebenso VPN.

Muss ich mir (wenn ich gekauft und aufgebaut habe, oder im Proxmox) mal anschauen.

Ich bin in manchen Bereichen halt "Old School" unterwegs. DHCP und OpenVPN werden via 'vi' bei mir editiert / konfiguriert und nicht über eine GUI. Da weiß ich dann wenigstens was die Systeme machen und schreiben nicht noch etwas in ein Config File rein

@derchris, stimmt... hatte was in der offiziellen Facebook Ubiquiti Gruppe dazu gesehen. Hab bei mir aber nur "stable" Versionen drauf

 

[DonConto]

Dann also nicht nur als Router, sondern auch als Server für Dienste?
Das wollte ich absichtlich trennen, also Router (inkl. DNS und WLAN-Controller) und den Rest der Dienste. Deswegen hab eich nur wenig(er) RAM verbaut und den "schwächeren" Prozi genommen.
Dazu habe ich noch einen älteren Ihntel-NUC, der HTTP-Proxy und "Webdienste" etc. bereit stellt.

Ich hatte früher auch mehrere Kisten. Allerdings habe ich da auch viel ausprobiert. Mittlerweile habe ich eine stabile Blaupause und verändere an meinen Standardkomponenten so gut wie nie etwas. Für den Fall der Fälle steht hier noch ein kleiner Slim PC mit 2 Nics. Der kann dann zumindest wieder die Internetverbindung herstellen wenn ich die Glasfaser umstecke. Also ja, ich habe alles virtualisiert auf der Kiste. Firewall, Docker VM, Web- und SQL Server, PiHole etc pp. Daneben steht jetzt nur noch ein Synology NAS für die SMB Shares und Surveillance Station. Achja, und der Proxmox Backup Server läuft auf der Syno.

 

[Domi83]

So... kurz mal ein Feedback von mir... hab mir vor ein / zwei Wochen den hier ohne verbaute Teile von Amazon bestellt. 250 GB SSD hab ich rumliegen gehabt, genauso wie 16 GB RAM... und der Hobel läuft.

Als Unterbau hab ich ein Proxmox drauf gemacht, OPNsense ist auch drauf und nun muss ich mal gucken ob die Leistung für Anschlüsse bis zu 1 Gbit ausreicht.

Wobei ich 1x 400 Mbit/s (Deutsche Glasfaser) und 1x 100 Mbit/s (Deutsche Telekom) habe. Später läuft das alles wieder über die Telekom mit LTE als Failover...

ABER mal was anderes, OPNsense bietet ja Unbound als resolver mit und wird wohl ähnlich wie bei einigen Pi-Hole Setups seine eigene root-hints verwenden, denke ich mal. Wie habt ihr das gemacht, nutzt ihr den Unbound vom OPNsense oder den Unbound auf dem Pi-Hole System (wenn eins vorhanden ist)?

Frage wäre auch... was hat Vor- und / oder Nachteile?!

Gruß, Domi

 

[DonConto]

ABER mal was anderes, OPNsense bietet ja Unbound als resolver mit und wird wohl ähnlich wie bei einigen Pi-Hole Setups seine eigene root-hints verwenden, denke ich mal. Wie habt ihr das gemacht, nutzt ihr den Unbound vom OPNsense oder den Unbound auf dem Pi-Hole System (wenn eins vorhanden ist)?

Ich nutze als erste Instanz einen bzw zwei PiHole Server im lokalen Netz. Der hat als Upstream DNS aber die OPNSense weil dort der DHCP Service läuft und ich somit auch lokale Namen auflösen kann. Am OPNSense nutze ich den Unbound mit DNS over TLS Konfiguration. Als Nameserver die DoT vom Freifunk München (https://ffmuc.net/wiki/doku.php?id=knb:dohdot). Mit anderen, freien DoT Servern habe ich nicht so pralle Erfahrung gemacht was die Stabilität betrifft.

 

[DerGast]

Ich nutze eine Sophos XG. Alleine was die benötigte Performance angeht ne andere Hausnummer, speziell wenn man Webcontentfilter und IPS nutzt.
Folgende Hardware langweilt sich:

Fujitsu Futro S920 ThinClient GX-222GC 2,20GHz 4GB 8GB SSD
1x Risercard
Netzwerkkarte: Fujitsu D2745-A11 GS3 4x1GBit

Da lag ich bei allem bei eBay bei rund 100 Euro.

 

[Domi83]

Der hat als Upstream DNS aber die OPNSense weil dort der DHCP Service läuft

Das ist natürlich auch eine gute Idee :-)

Aktuelle Konstellation bei mir ist wie folgt,
1x Deutsche Glasfaser
1x Deutsche Telekom

Der Glasfaser ONT hängt an meiner UDM Pro und am DrayTek Vigor (DSL) hängen momentan die UDM Pro sowie mein OPNsense. So kann ich beides gleichzeitig betreiben und mich langsam herantasten

OPNsense macht aktuell DHCP und DNS via Unbound (ich denke mal als eigener resolver mit root-hints). Im PiHole ist unter "Use Conditional Forwarding" die IP Adresse vom OPNsense hinterlegt.

Ich hatte bis vor ein paar Tagen einen Linux Container (Proxmox) als DHCP Server, weil ich das hinterlegen mehrere statischer Hosts im DHCP via GUI nicht mag. ABER dann entdeckte ich, dass OPNsense mit .xml Dateien arbeiten kann, somit hab ich mir ein Backup gezogen, geschaut wie die Daten hinterlegt werden und meine statischen Leases in der .xml Datei eingetragen und einen "restore" gemacht, nun bin ich auch mit DHCP erst einmal zufrieden.

Es gibt das default Netz, drei VLANs, WAN1 und WAN2... wobei WAN2 noch ohne Dienst ist und die Kommunikation der Netze untereinander ist aktuell unterbunden. Hinzu kommt, dass auch nur das raus telefonieren darf, was ich erlaube (sehr schön, so wollte ich das auch).

Einziger wehmutstropfen, IPv6... das hab ich aktuell komplett deaktiviert. Auch im OPNsense Forum meinte der eine oder andere "ist schon knifflig" und selbst als IT'ler tu ich mich da immer noch schwer (andere aber auch, so wie ich das lese). Wenn ich schon Segmentierung der Netze mache, möchte ich diese nicht wieder durch IPv6 aufbrechen und wenn möglich gerne die IPv6 mit einer gewissen Logik vergeben.

Aber sonst tut es erst einmal all das was ich möchte

 

[DonConto]

Ich habe V6 auch immer wieder mal probiert. Wenn man aber mehr als nur die Standardlösung (Fritze mit 3 Clients dahinter) betreibt, stößt man immer wieder auf Ärgernisse. Hängt aber auch vom Provider und der eigenen Umgebung ab, soll also keine Pauschalaussage sein. Ist aber auch nicht schlimm, ich habe keine Nachteile ohne V6. Von daher....

 

[DerGast]

Ein Bild sagt mehr als tausend Worte... das war zumindest jetzt die Lösung vor dem Server.
Aber ich habe sie heute neu aufgesetzt auf einer SSD. Läuft so schnuckelig.. aber keine Verwendung mehr. Wenn jemand also Bedarf hat..?

 

[Domi83]

Also meine OPNsense läuft auch. Ich hab hier und da noch ein paar technische Fragezeichen über dem Kopf die ich noch klären müsste, würde mich aber auch gerne hier austauschen. Wenn niemand was dagegen hat.

Meine Basis ist halt dieser MiniPC, dazu 16 GB RAM und eine WD Blue mit 256 GB Speicher.

Das Grundgerüst basiert auf einem Proxmox (v7.4), eine VM macht OPNsens, die andere macht nen Pi-Hole.

Letzte Woche ist mir die Pi-Hole VM weg gebrochen (eingefroren) und zwei Tagen dann ein ähnliches Szenario mit der OPNsense.

Da ich auch eigene Server in Rechenzentren von Hetzner, Netcup und Co besitze, hab ich mich aufgrund einer Umstellung auf FTP Server 1 drauf geschaltet und alles runter gezogen was so drauf liegt. Einmal mit FlashFXP (den ich seit Jahren verwende), hatte dann aber überlegt mal WinSCP auszuprobieren... Download lief und anschließend lief die Verbindung mal in einen Timeout.

Wunderte mich, denn eigentlich laufen die Systeme seit Jahren stabil.

Download neu angestoßen und als der Timeout kam, mal in einem meiner Browser schnell alle Tabs durch geschossen und mit Strg + F5 komplett neu geladen. Zu der Zeit war auch die Ladezeit der Tabs echt lahm. Darunter Dinge wie FFN, Spotify, Youtube oder Nextcloud.

Kann also nun mehrere Ursachen haben... mein Provider (Deutsche Glasfaser) hat Probleme, für die OPNsense ist das zu viel aufgrund der vielen Dateien vom FTP mit Verbindungsanfragen oder irgendwo anders ist der Wurm drin.

Auch wenn es vom PC und über meine UDM Pro bisher immer ging, kann es ja auch ein PC Problem sein.

Pauschal würde ich aber erst einmal darauf tippen, dass Proxmox und OPNsense in einer VM hier ein Flaschenhals sein könnten, auch wenn die 1 Gbit vom Deutsche Glasfaser Anschluss erreicht werden können, meine ich mit Flaschenhals eher die Anzahl an Verbindungen in sehr kurzer Zeit.

Gibt es dazu Erfahrungen die Ihr schon mal gemacht habt?!