An ein 100 Gbit/s QSFP28 Port eines Servers vier Switches anschließen?

Spax_31

Cadet 1st Year
Registriert
Nov. 2022
Beiträge
10
Guten Tag,

ich habe einen Server mit einem 100 Gbit/s QSFP28 Port. Ist es möglich, dass ich von diesem einen Port über ein Kabel (siehe Abbildung) auf vier unterschiedliche Switches gehe?
1669473824873.png
 
ja

QSFP = Quad SFP

Allerdings müssen da auch Hardware, Firmware und Treiber mitspielen, das müsstest du mal prüfen.

Siehe hier:
Also, some multilane transceivers are incapable of breakout because of limitations of the implementation of the ASIC in the transceiver. For example, there could be only a single CDR (Clock Data Recovery) circuit for a single lane in a multilane transceiver, thus preventing channelized operation.
https://www.cisco.com/c/en/us/produ...aper-c11-744077.html#Isbreakoutalwayspossible
 
  • Gefällt mir
Reaktionen: Skysnake und xexex
Kannst du im Treiber deiner Netzwerkkarte aus den 100G vier einzelne (virtuelle) Karten mit je 25G machen?
Wenn nicht kannst du die auch nicht auf verschiedene Switche aufteilen. Mir wäre nicht bekannt das so etwas geht, ich hatte bisher aber auch noch keine 100G Karten in der Hand.
 
  • Gefällt mir
Reaktionen: Skysnake
Spax_31 schrieb:
Ich verwende diesen Server:
Den es meines Wissens mit 30 verschiedenen Netzwerkkonfigurationen von mindestens drei verschiedenen Herstellern gibt. Letztendlich für deine Frage aber irrelevant, es ist möglich je nachdem welchen Adapter man hat mit entsprechender Software vom Hersteller und dem passendem Kabel.

Was da verbaut wurde und ob es dafür die passende Software gibt, musst du schon selbst herausfinden oder den Support/Systemhaus fragen. Achte nur eben genau drauf auch das richtige Kabel zu kaufen und nicht einfach irgendwas bei Amazon. Ich einfachsten Fall wendest du dich direkt an Fujitsu, bzw. an den Partner der diesen Server verkauft hat.
 
  • Gefällt mir
Reaktionen: madmax2010
Spax_31 schrieb:
Mal kurz geschaut
Der FUJITSU PLAN EP MCX4-LX 25 GbE basiert auf der ConnectX®-4 Lx EN (Dual-Port) Netzwerkkarte von Mellanox.
Angenommen alle Versionen des Server nutzen die erste Karte, die weiter unten auf der Seite erwähnt wird - dann kannst du ja in der Dokumentation von der ConnectX-4 mal schauen, ob da Breakout als Feature unterstützt wird.

Vorher auch mal nachschauen, welcher NIC bei dir wirklich verbaut ist -_-

Diesem Thread nach kannst du das nicht als Selbstverständlichkeit ansehen.
 
Rickmer schrieb:
Angenommen alle Versionen des Server nutzen die erste Karte, die weiter unten auf der Seite erwähnt wird
Die "Annahme" kannst du eigentlich direkt verwerfen, da es ein zusätzlicher Adapter ist den man zu dem Server bestellen kann. Standardmäßig würde man den passenden OCP3 Adapter nehmen, der bei Fujitsu meist von Intel oder Broadcom kommt, allerdings zumindest bei Intel in einer OEM Version mit der die Intel Software nicht funktioniert.
1669475592372.png


Ich würde mich hier auf gar keine Beratung in diesem Thread verlassen. Den Zirkus mit passenden Transceivern zu bestimmten Fujitsu Server zu finden, habe ich lange genug mitgemacht. Den Lieferanten fragen, passendes Kabel bestellen und sich Funktion nach Möglichkeit zusichern lassen.

Grundsätzlich geht es, grundsätzlich ist es mit diversen Adaptern möglich, den Rest muss man prüfen und wenn man kein Geld aus dem Fenster werfen möchte, vorher mit dem Vertrieb/Technik/Lieferanten reden.
 
  • Gefällt mir
Reaktionen: Mac_Leod
xexex schrieb:
zusätzlicher Adapter ist den man zu dem Server bestellen kann
Mir geht es viel mehr darum, ob es mit diesem Server überhaupt möglich ist. Es ist egal, wenn ich noch einen Adapter dazu bestellen muss.
 
Spax_31 schrieb:
Mir geht es viel mehr darum, ob es mit diesem Server überhaupt möglich ist.
Es hat nichts mit dem Server zu tun, sondern mit der Netzwerkkarte. Also vorher prüfen welche man für das Gerät auswählen kann und ob es damit möglich ist.
1669476128630.png


Hab kein Zugriff auf den Konfigurator, das muss du schon selbst mit dem jeweiligen Partner anfragen. Ich bin mir aber ziemlich sicher, dass du im Konfigurator das Modul direkt mit dem passenden Kabel auswählen kannst.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Skysnake und madmax2010
Spax_31 schrieb:
Mir geht es viel mehr darum, ob es mit diesem Server überhaupt möglich ist.
Dann ist die Antwort erstmal 'ja, wenn du die richtige Netzwerkkarte bestellst'

(Und den richtigen Breakout-Adapter...)
 
Ich hab noch nie gesehen, das man NIC Ports splitten kann. Selbst bei Switchen ist das keine Selbstverständlichkeit.

Was ich bisher nur gesehen habe ist, das man eben mehrere Ports auf einer Karte hat, weil der Ports auf dem ASIC ausgesplittet wird. Aber eben noch nie das man einen Port per Breakout Kabel aufteilen kann.

Ich will aber nicht ausschließen, das es so was gibt, halte es aber für sehr unwahrscheinlich.
 
Skysnake schrieb:
Ich hab noch nie gesehen, das man NIC Ports splitten kann. Selbst bei Switchen ist das keine Selbstverständlichkeit.
Dann hast du nur "seltsame" Geräte in der Hand gehabt oder dich nie tiefer mit beschäftigt, siehe Beispiel mit der Intel Karte oder dies von Aruba.
1669492504853.png

https://www.arubanetworks.com/techd...vr_guide/Content/Chp_overview/dac-spl-cab.htm

Du kannst die Karte dann "virtuell" splitten, es erscheinen vier frei konfigurierbare Karten unter Windows oder beim Switch halt vier Ports, der Name QSFP kommt ja nicht von ungefähr.
https://www.arubanetworks.com/techd...ontent/Chp_SH_cab_sppt/SH_cab_cmds/spl-10.htm
 
Das verwendet man für TOR Szenarien.

Wir haben das z.b. verwendet bei 40G Core switchen an die teils auch Server direkt angeschlossen wurden.

Also 40G Spine Ports direkt an ein paar Server und an ein paar mehr 10G Miele 40->4x10G Breakout Kabel und 40G an die zweite Ebene Spine Switchein nem anderen Raum, die dann die Spine Switche angebunden haben.

Bei HDR verwendet man gerne Breakout Kabel um aus 1x200G 2x100G zu machen. Das spart Switche im Rack. So bekommt man mit Non blocking 100G 80 Server in 48U unter

40U Server
2U HDR Switche
5U 1G Switche für 80xBMC, 20xCMC und 80xNodes
Also 47U belegt

HDR hat 4xPorts je Switch da kommst also nur mit Port Split hin. Denn ohne bekommst du nur 20 Server an einen Switch. Wäre also 4 statt 2Switche für nonblocking. Und das wären 49U. Das geht also wenn nur mit 52U Racks, wobei das kein Spaß mehr ist mit nur 3U frei für die Kabel...

Soweit klar?
Ergänzung ()

@xexex die Dinger kenne ich durchaus. Haben ein paar Dutzend/hundert davon im Einsatz, aber alles nur Switch QSFP-> SFP+ Nic

Die andere Richtung ist mir wie gesagt unbekannt. Sehe darin auch nur wenig Sinn.

Und btw du hast dir deinen Link schon angeschaut oder? Da ist auch nur von Switchen die Rede die den Breaknout können. Das hat aber niemand in Frage gestellt. Hier ging es darum ob ein NIc von nem Server den Breakout von QSFP nach 4xSFP+ kann. Das ist was völlig anderes....

Den Kommentar von wegen nicht damit beschäftigt hättest du dir wirklich sparen können, weil nicht zutreffend. Das Thema gehört zwar nur am Rande zu den Themen mit denen ich mein Geld verdiene, aber hin und wieder liegt so was doch bei mir auf dem Tisch...
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Spax_31
Skysnake schrieb:
Die andere Richtung ist mir wie gesagt unbekannt. Sehe darin auch nur wenig Sinn.
Nur weil du darin wenig Sinn siehst, bedeutet es nicht viel. Da die Funktion angeboten wird, gibt es eindeutig einen Markt dafür, schon alleine deshalb weil häufig 1HE Server verbaut werden und man dort nur begrenzt Platz für mehrere Netzwerkkarten hat.

Skysnake schrieb:
Hier ging es darum ob ein NIc von nem Server den Breakout von QSFP nach 4xSFP+ kann. Das ist was völlig anderes....
Das ist nichts anderes, dieser Punkt war bereits im Post #4 geklärt. Was glaubst du wieso Intel verschiedene Möglichkeiten anbietet um die jeweiligen Ports zu splitten?
1670017654536.png


Intel ist da aber selbstverständlich nicht der einzige Hersteller, man muss nur vorher prüfen was verbaut wurde und was unterstützt wird.
 
Zuletzt bearbeitet:
Zurück
Oben