OPNsense-Server für Heimnetzwerk mit 10Gbit

[eqqtro]

Hallo,

ich möchte mal wieder ein wenig basteln und plane, einen dedizierten OPNsense-Server für mein Heimnetzwerk zu bauen. Wichtig sind mir 10Gbit interne Vernetzung, VLANs, WireGuard, DNS Overrides usw. Ein 19“-Serverrack ist bereits vorhanden.

Meine aktuell geplante Hardware sieht wie folgt aus:
Geizhals-Wunschliste

Im Detail:

• Motherboard mit CPU: ASRock N100DC-ITX
• RAM:Crucial SO-DIMM 16GB, DDR4-3200, CL22-22-22
• M.2 NVME SSD: 250GB WD Red SN700
• 19” Gehäuse: Inter-Tech 1U-K-126L
• 10G NIC: Chelsio T520-CR 10Gbit SFP+
• PCIe-Riser-Karte
• 2x Noctua NF-A4x20 PWM Lüfter
• externes 12V DC-Netzteil

In Summe sollte es so eine leise, stromsparende und flexible OPNsense-Lösung mit solidem Reserven-Puffer sein, die sich bei Bedarf einfach erweitern lässt. Der überwiegende Teil der Hardware sollte gebraucht erworben werden können.

Was meint ihr dazu?
Gerne eure Expertise.

Danke!

 

[d2boxSteve]

Das wird nicht funktionieren, du hast nur einen x4 Slot der nur im x2 Modus arbeitet, also nur 2 Lanes hat. Die Netzwerkkarte braucht aber 8 Lanes .....

 

[airwave]

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

von da stammt vermutlich auch die teile liste, warum das unterschlagen wird verstehe ich nicht.

 

[Muffknutscher]

Ich habe mir das Ding hier gekauft: https://www.amazon.de/Glovary-Firew...refix=glovary+firewall+fa,aps,138&sr=8-3&th=1

In der kleinsten Ausführung. Da läuft eine ganzer Proxmox drauf, mit einer Virtualisierten OPNSense. Die benötigten Netzwerkports habe ich einfach durchgeschleift. Funktioniert absolut Problemlos.

Die benötigte Hardware, also RAM und NVME habe ich mir anderswo bestellt.

 

[gaym0r]

Das wird nicht funktionieren, du hast nur einen x4 Slot der nur im x2 Modus arbeitet, also nur 2 Lanes hat. Die Netzwerkkarte braucht aber 8 Lanes .....

Wo siehst du das Problem, wenn sie nur über 2 PCIe3 Lanes betrieben wird?

 

[airwave]

Das wird nicht funktionieren, du hast nur einen x4 Slot der nur im x2 Modus arbeitet, also nur 2 Lanes hat. Die Netzwerkkarte braucht aber 8 Lanes .....

ChatGPT:

Kurz: PCIe-3.0 pro Lane = 7.8769230769 Gbit/s (effekt., 128b/130b).

Rechenweg und Ergebnisse:

• x4 (elektrisch): 7.8769230769 × 4 = 31.5076923077 Gbit/s ≈ 3.9384615385 GB/s (pro Richtung).
• x2 (elektrisch): 7.8769230769 × 2 = 15.7538461538 Gbit/s ≈ 1.9692307692 GB/s (pro Richtung).

Vergleich mit 2×10GbE:

• 2×10GbE = 20 Gbit/s = 2.5 GB/s (einfacher Durchsatz).
  
  • x4 (31.51 Gbit/s) kann 2×10GbE bei voller Line-Rate in einer Richtung problemlos tragen.
  • x2 (15.75 Gbit/s) reicht nicht; es würde bei ~78.8% der aggregierten Einwegrate limitieren.
• Voller Duplex (Senden+Empfangen simultan) für 2×10GbE = 40 Gbit/s = 5.0 GB/s.
  
  • x4 liefert 31.51 Gbit/s pro Richtung und kann 40 Gbit/s Full-Duplex nicht vollständig unterstützen. Für unbegrenztes Full-Duplex brauchen Sie mindestens PCIe3.0 x8 (63.02 Gbit/s pro Richtung).

Fazit: Für normale Lasten ist ein x4-Slot ausreichend. Für garantiertes volles, simultanes Duplex von zwei 10GbE-Ports brauchen Sie x8. If your x4 slot is actually running at x2, it will bottleneck the adap

Und wenn ich nur 1X10G möchte?

Ein einzelner 10 GbE-Port:

• 10 GbE Vollduplex = 10 Gbit/s Senden + 10 Gbit/s Empfangen = 20 Gbit/s Gesamt, aber verteilt auf beide Richtungen.
• PCIe-3.0 x2 = 15.75 Gbit/s pro Richtung.
• PCIe-3.0 x4 = 31.51 Gbit/s pro Richtung.

Vergleich:

• Bei x2: 10 Gbit/s pro Richtung passen rein, keine Engstelle.
• Bei x4: ebenfalls problemlos, noch deutlich Reserve.

Antwort: Schon ein Slot, der elektrisch nur x2 PCIe-3.0 läuft, reicht für 1×10 GbE Vollduplex ohne Limitierung.

Soll ich Ihnen die Rechnung auch für PCIe-2.0 durchrechnen, falls Ihr Mainboard das nur bietet?
Ja.
PCIe 2.0 nutzt 8b/10b-Kodierung → 5.0 GT/s brutto → 4.0 Gbit/s netto pro Lane, pro Richtung.


Rechnung:

• x2 (2 Lanes): 4.0 × 2 = 8.0 Gbit/s pro Richtung ≈ 1.0 GB/s
• x4 (4 Lanes): 4.0 × 4 = 16.0 Gbit/s pro Richtung ≈ 2.0 GB/s

Vergleich mit 1×10 GbE Vollduplex (10 Gb/s senden + 10 Gb/s empfangen):

• x2 PCIe 2.0: nur 8 Gb/s pro Richtung → zu knapp, es limitiert.
• x4 PCIe 2.0: 16 Gb/s pro Richtung → reicht für 10 GbE Vollduplex.

Also:

• 1×10 GbE braucht mindestens PCIe 2.0 x4 oder PCIe 3.0 x2.

Soll ich für 2×10 GbE auch die PCIe 2.0-Berechnung zeigen?

auf deutsch: bei 1x10G passt das.

 

[d2boxSteve]

Dass die dann gar nicht funktioniert? Nicht jede Karte kommt mit weniger Lanes aus.
Üblicherweise sind die ersten 4 Lanes für Port 1 und die anderen 4 Lanes für Port 2.

 

[eqqtro]

von da stammt vermutlich auch die teile liste, warum das unterschlagen wird verstehe ich nicht.

Ja genau, das habe ich mir auch angeschaut und diente, u.a., als Grundlage.

Ich habe mir das Ding hier gekauft: https://www.amazon.de/Glovary-Firewall-Appliance-Computer-OPNsense/dp/B0CXTMJCLP/ref=sr_1_3?__mk_de_DE=ÅMÅŽÕÑ&crid=UVBE2EL8Y3HY&dib=eyJ2IjoiMSJ9.nRGBZBgdos_4zTOaOfgRIUBSzpCh18_JmZLtro9GGGI.d5s2ITfSGHxGFqhrpOMQk7CZjevu0FrECnAi75Auuro&dib_tag=se&keywords=glovary+firewall+fan&qid=1755767731&sprefix=glovary+firewall+fa,aps,138&sr=8-3&th=1

In der kleinsten Ausführung. Da läuft eine ganzer Proxmox drauf, mit einer Virtualisierten OPNSense. Die benötigten Netzwerkports habe ich einfach durchgeschleift. Funktioniert absolut Problemlos.

Die benötigte Hardware, also RAM und NVME habe ich mir anderswo bestellt.

Danke. Ich möchte aber gerne komplett selbst bauen, damit ich erweitern kann und wieder etwas lernen kann.

 

[gaym0r]

Dass die dann gar nicht funktioniert?

Tut sie aber.

 

[KillerCow]

Ich hab für meine einen "HP EliteDesk 800 G5 SFF" refurbished gekauft. Hat mehrere PCIe Steckplätze für Erweiterungen und auch Platz für einige Platten. Ist zwar kein 19" Format, aber in nen 1HE Case bekommt man auch nicht wirklich was rein, wenn Erweiterungen angedacht sind... und dann die 40mm Lüfter...

 

[Renegade334]

Was ich aus eigener Erfahrung sagen kann:
Ich hatte ein OPNSense mit 2x10GBit/s Anbindung und Routing zwischen 3 VLANs auf einem i5-4670K, der von der Leistung erstaunlich nah an dem N100 liegt.
Netzwerkkarte war eine alte Dual 10G Karte von HP mit Broadcom Chip (PCIe 2.0 x8).

Sobald man ein paar mehr Regeln nutzt oder Packet Inspection testet, war bei mir die Leistung auf 6-7GBps begrenzt. Zugegeben, die OPNSense lief als VM, aber die Netzwerkkarte wurde per SR-IOV angebunden, sollte also alle Hardware Features unterstützt haben.

Limitierend war bei mir die Single Core Leistung. Parallele Verbindungen konnten dann auch die volle Leistung nutzen, aber Verbindungen zwischen Fileserver und Virtualisierungshost waren immer auf die besagten 6-7GBps begrenzt. Mit mehr Regeln waren es sogar nur 5-6GBps. Komplett ohne Filterung hatte ich dann nahezu volle 10GBps.

Bei 10G würde ich vermuten, dass die CPU oft ins Limit laufen wird. Wenn du nicht volle Leistung routen musst, wäre das aber kein Problem.

 

[qiller]

bei 1x10G passt das.

Warum will man bei einer Firewall nur 1x 10Gbit haben wollen? Entweder min. 2x oder gar nicht (spart Strom).

 

[Helge01]

Ich denke das ein Intel Atom Prozessor C3558 für dieses Vorhaben besser geeignet wäre.

 

[Zero_Official]

tut mir leid, der Verständnis das die Sense zwischen Vlans routen soll fehlt mir....

Das macht ein gescheiter Switch mit L2+ zum 0-tarif

Die Sense ist eine Firewall - Router Appliance und soll sich auch nur damit auseinander setzen, Zwischen Vlan Routing können Andere besser.

 

[qiller]

Wichtig sind mir 10Gbit interne Vernetzung

Wenn du die 10Gbit nur intern brauchst, brauchst du für deine Firewall keine 10G NIC.

 

[Renegade334]

tut mir leid, der Verständnis das die Sense zwischen Vlans routen soll fehlt mir....

Das macht ein gescheiter Switch mit L2+ zum 0-tarif

Die Sense ist eine Firewall - Router Appliance und soll sich auch nur damit auseinander setzen, Zwischen Vlan Routing können Andere besser.

Wenn es wirklich nur um Routing geht, wäre das wirklich unsinnig.
Ich gehe davon aus, dass auch ein paar Regeln gesetzt werden sollen, also z.B. Gästenetz, IoT Netz, Client Netz und Server Netz.
Gerade wenn man experimentieren und testen will, baut man häufig für ein "kleines" Heimnetz eine Overkill Lösung die quasi Enterprise Niveau hätte

 

[Mac_Leod]

Wie sieht denn dein Budget aus?
Das Board ist wirklich denkbar ungeeignet, der eine PCIe Slot begrenzt das ganze zu sehr und wie möchtest du mit nur 1x 10G und 1x 1G Port klar kommen?

Magst du dein Soll Zustand mal skizieren?

 

[airwave]

Warum will man bei einer Firewall nur 1x 10Gbit haben wollen?

wieso fragst du mich?
die aussage war vorher dass die NIC nicht geht, stimmt halt nicht.

 

[CoMo]

die sich bei Bedarf einfach erweitern lässt

Was möchtest du bei einer Firewall denn noch erweitern? Kauf doch einfach eine geeignete Appliance. Z.B. https://www.servethehome.com/everything-homelab-node-goes-1u-rackmount-qotom-intel-review/

 

[gaym0r]

Warum will man bei einer Firewall nur 1x 10Gbit haben wollen? Entweder min. 2x oder gar nicht (spart Strom).

Man kann mehrere VLANs über ein physisches Interface fahren.

tut mir leid, der Verständnis das die Sense zwischen Vlans routen soll fehlt mir....

Kein Ding, man kann sich ja weiterbilden: https://de.wikipedia.org/wiki/Firewall

Das macht ein gescheiter Switch mit L2+ zum 0-tarif

Und dann bastelt man mit ACLs rum, um eine Firewall-Funktionalität nachzubauen oder man hat alle Scheunentore offen? Na klar.

Die Sense ist eine Firewall - Router Appliance und soll sich auch nur damit auseinander setzen, Zwischen Vlan Routing können Andere besser.

Du weißt also doch wovon du redest...? Was machst du denn wenn du "Zwischen Vlan Routing" nur über bestimmte Ports zulassen möchtest?