PCIe Netzwerkkarte für 25 Gbit/s Glasfaser - Router im Eigenbau

[tackleberry]

Servus

Ich brauche eine Netzwerkkarte um einen PC (Threadripper, X570 etc.) via SFP28 mit meinem Glasfaseranschluss zu verwenden. Ich werde wohl einen eigenen Router in Form eines PCs basteln (OS: Mal gucken) und dort dann einen Switch hängen. Der PC mit der NIC wird auch als Firewall fungieren. Ob jetzt der Threadripper als Router / Server fungiert oder ein drittes PC-System is noch nicht klar. Werde ein bißle rumtesten müssen wie viel CPU Last + RAM das ganze frisst und ob eine Consumer Plattform mit dem IO klar kommt.

Gibt es irgenwelche brauchbaren Alternativen zu einer Nvidia Mellanox ConnectX-4 Lx? Hatte jetzt die MCX4111A-ACAT im Auge weil diese mit ca. 210 Euro am billigsten ist. Dual-Port (z.B. MCX4121A-ACAT) wäre praktisch aber kann man den zweiten SFP28 Port irgendwie mit dem SFP+ Port meines Mikrotik CRS309 (hat nur SFP+) verbinden? Geht das mit SPF28 Modul via Fiber cable auf SFP+ Modul und Auto Negotiation auf 10G oder auch via DAC?

Hat man Nachteile wenn man die OEM Versionen der NICs (z.B. Lenovo) kauft?

Bin für jeden Input dankbar.

update

Da die NVIDIA Mellanox MCX512A-ACAT ConnectX®-5 EN Netzwerkkarte bei FS.com auch nicht viel teurer ist, wäre die nun mein Favorit.

 

[KnolleJupp]

https://geizhals.de/intel-e810-xxvda2-25g-e810xxvda2blk-a2492498.html

 

[IBISXI]

(OS: Mal gucken)

OPN Sense würde sich hier anbieten

 

[Lawnmower]

Und bei so einem System ist der Stromverbrauch bei 24/7 sicher auch nicht zu verachten.
Je nachdem wenn die Netzwerkkarte einen Hauptteil der Last übernehmen kann, brauchst aber womöglich gar keine fette CPU (also für Routing, für Firewall siehts freilich anders aus). Anderseits wirst vermutlich aktuell eh nicht viele 25 Gbit/s fähige Gegenstellen finden - oder grundsätzlich Hardware die das bereitstellen kann.

 

[Rickmer]

Ich würde vorher mal checken, ob es von Seite der möglichen Betriebssysteme für die Netzwerkkarten schon Einschränkungen gibt, die zu beachten sind. Das ist ja doch ziemlich spezialisiert...

 

[conf_t]

wäre praktisch aber kann man den zweiten SFP28 Port irgendwie mit dem SFP+ Port meines Mikrotik CRS309 (hat nur SFP+) verbinden?

Solange die Wellenlänge und die Signalmodulation, SNR und Dämpfung passt ist doch der Gegenstelle die Bauform des SFPs egal, das ist doch das praktische daran! Und passende Kabel / Adapter gibt es auch für so ziemlich alle Kombinationen

Beispiel: A kann 1x 40GBASE-SR4 QSFP+ (mit 4-fach LC-Breackout Kabel) haben und B einen SFP+, wenn beide 10 Gbit bei SM oder MM können ist es dann egal, welche Bauform. B könnte sogar noch nen Uralt GBIC haben, sofern der 10 Gbit/s kann.

Sofern du Mulitmode fährst müsste in den zweiten SFP28 Port also sowas: https://www.fs.com/de/products/1222...gb8kC4-wN5-HwljPgiezcvMFgRAOSK3hoC6RQQAvD_BwE. Die NIC muss natürlich auch den 10 Gbit Mode des SFPs unterstützen.....

 

[tackleberry]

https://geizhals.de/intel-e810-xxvda2-25g-e810xxvda2blk-a2492498.html

Die Intel sollen wählerischer bei den Transceivern sein und die 700er Serie hat wohl lange Stress mit Esxi und Linuxs allgemein gemacht bevor ein Firmware Update gab. Über die Mellanox lese ich weniger von Kompatibilitätsproblemen etc. Da hatte man eher Angst vor der Übernahme durch Nvidia weil Mellanox für alles stand wofür Nvidia genau für das Gegenteil steht.

Je nachdem wenn die Netzwerkkarte einen Hauptteil der Last übernehmen kann, brauchst aber womöglich gar keine fette CPU (also für Routing, für Firewall siehts freilich anders aus). Anderseits wirst vermutlich aktuell eh nicht viele 25 Gbit/s fähige Gegenstellen finden - oder grundsätzlich Hardware die das bereitstellen kann.

25 Gbit/s ist ein privates Forschungsprojekt von mir aber 2 - 2,5 Uploads mit 10 Gbit/s sollen schon drin sein. Ich habe diverse Server auf die ich uploade, welche mit 10G angebunden sind. Wenn nicht diese potentiell massive Zeitersparnis nicht theoretisch drin wäre, würde mich gar nicht so intensiv mit dem ganzen Thema beschäftigen.

Und bei so einem System ist der Stromverbrauch bei 24/7 sicher auch nicht zu verachten.

Stromverbrauch ist nebensächlich. Ich habe aber in der Tat so langsam ein Hitzeproblem in der Wohnung seitdem der Threadripper auch noch da ist. Outdooraktivitäten werden wieder immer beliebter bei mir in letzter Zeit. Mein Vermieter ist auch irgendwie kein großer Fan davon eine Klimaanlage in die Wohnung einzubauen.

Ergänzung (30. Juni 2021)

OPN Sense würde sich hier anbieten

Könnte man da theoretisch auch ohne Performance Einbußen beim Routing in einer VM auf dem Threadripper laufen lassen? Das Thema ist ganz neu für mich aber ich lese in Zusammenhang mit dem Mellanox Karten immer wie toll die Karten Virtualisierung unterstützen.

Ergänzung (30. Juni 2021)

Da die NVIDIA Mellanox MCX512A-ACAT ConnectX®-5 EN Netzwerkkarte bei FS.com auch nicht viel teurer ist, wäre die nun mein Favorit.

Würden die neueren Generationen der Mellanox irgendwelche Vorteile in meinem Szenario bringen?

 

[IBISXI]

Könnte man da theoretisch auch ohne Performance Einbußen beim Routing in einer VM auf dem Threadripper laufen lassen? Das Thema ist ganz neu für mich aber ich lese in Zusammenhang mit dem Mellanox Karten immer wie toll die Karten Virtualisierung unterstützen.

Da kann ich konkret nichts dazu sagen. Wahrscheinlich schon.

Ich habe mich aber gegen solche Lösungen entschieden.

Läuft Threadripper oder VM oder whatever nicht, hast Du kein Internet in der ganzen Hütte.
Man kann vieles virtualisieren, den Router habe ich gerne auf Bare Metal.

Ich verwende hier eine uralte AM1 Plattform dafür.
Allerdings nur fürs Internet.

Die 10GBE Verbindungen sind direkt zwischen den Rechnern.

OpnSense ist BSD basiert, da sollten viele Karten laufen.

Falls Du irgendwo einen alten Rechner rumfliegen hast, kannst Du testen.

 

[M-X]

Virtualisierung mit ESXi oder ähnlichem macht nur Sinn wenn du auf der Kiste noch was anderes laufen lassen willst. Wenn du das nicht brauchst würde ich es auch direkt laufen lassen weil du schon mal eine Abstraktionsebene, und damit Fehlerquelle, ausschließen kannst.

 

[KnolleJupp]

Würde nicht so was als Router völlig ausreichen?
https://geizhals.de/mikrotik-routerboard-router-ccr2004-1g-12s-2xs-a2283266.html

 

[M-X]

@KnolleJupp leider nein wie du hier lesen kannst: https://www.computerbase.de/forum/t...gbit-s-glasfaser.2027408/page-8#post-25788369

 

[tackleberry]

Da in der Zwischenzeit die Karte bei FS.com ausverkauft ist (da waren letztens noch über 100 Stück en stock...): Hat es irgendeinen Einfluss auf die Leistung der NIC oder die restliche Hardware, wenn ich statt der PCI 3.0 x 16 die PCIe 4.0 x 8 Variante kaufe mit Dual-Slot SFP28?

 

[conf_t]

Wenn die Karte in einem PCIe Slot steckt, der mindestens x8 PCIe 4.0 kann nicht. Wenn der nur PCIe 3.0 kann dann schon, weil die Karte dann nur auf x8 PCIe 3.0 läuft was ja nur halb so schnell ist.

Wenn die Karte auf einem von x570 angebundenen Port sitzt limitiert ehe der Bus zwischen CPU und x570, da der nur mit PCIe x4 @ PCIe 4.0 läuft.

Beim TR sollte es aber von PCIe her passen, egal in welchem Slot.

https://en.wikipedia.org/wiki/PCI_Express#History_and_revisions

 

[killerkappi]

Wobei pcie 3.0 x8 ja eigentlich 64gbit packen sollte also eigentlich kein problem? Habe vor ca 2 monaten bezüglich diesem thema intel kontaktiert aber mehr als das die anfrage bearbeitet wird keine Antwort erhalten...

 

[conf_t]

Ja, aber eine Nummer kleiner (3.0 x4) ist für eine NIC, die theoretisch für 2x 25 Gbit (50 Gbit/s )vorgesehen wurde schon zu wenig. Also muss sie mindestens PCIe x8 3.0 haben.

Gute Herstelle nehmen dann noch mal lieber eine längeren Bart an PCIe Kontakten, um noch eine Generation älteres PCIe zu bedienen. So wäre selsbt die x16er Karte die der TE ursprünglich im Auge hatte auch für PCIe 2.0 System noch ohne Einschränkungen möglich. Jetzt wäre die x8 Karte mit 4.0 für ein PCIe 2.0 System zu "schmal" angebunden.

Grob verdoppelt sich ja der Durchsatz pro PCIe Generation und es halbiert sich somit die nötige Busbreite bei gleichem Datendurchsatz.

 

[tackleberry]

Weiß jemand ob die Mellanox und Intel Karten mit Dual Port asyncron laufen läufen? Also ein Port mit 25 Gbit/s und der andere mit 10 Gbit/s?

 

[conf_t]

Ich habe die konkreten NICs nicht aber, ich kenne kein Gerät, das einen oder mehrere Ports nicht unterschiedlich betreiben kann. Also 25 Gbit auf einem Port und 10 Gbit auf dem anderen Port sollten laufen.

 

[tackleberry]

2. Es tut mir sehr leid, diese Mellanox Netzwerkkarte sind sehr heiß verkauft. In der letzten Zeit hat ein Kunde bei uns 78 Stk. 25G Karte auf einmal bestellt.

Wie Sie bewusst, aufgrund der Verknappung von Chip ist Netzwerkkarte auf dem Markt auch sehr knapp. Deshalb wird diese 25G Karte bis Dezember wieder vorrätig sein.

Ok, wer von Euch war das?

 

[killerkappi]

Vlt hat init7 die aufgekauft und bietet bald ein bundle an ;D

 

[M-X]

Ok, wer von Euch war das?

Es tut mir leid, mein Keller RZ musste einfach vernünftig verkabelt werden