Ring in Spine Ebene statt stacked switch

[Skysnake]

Hi Leute,

Ich wollte mal fragen, ob jemand von euch viel Erfahrung mit dem Betrieb von Stacked Switchen bzw spine Leaf Topologien hat.

Es gibt ne größere Anzahl an Servern mit wenig Bandbreite die an die Leaf switche gehen und mit einer Hand voll Servern auf der Spine Ebene kommuniziere . Die Server auf spine kommunizieren noch stark untereinander. Daher haben diese auch einen höheren Speed als Anbindung

Es gibt im Prinzip drei Szenarien.

1. Drei Stackable Switche auf die die Spines redundant mit zwei Kabeln angebunden werden. Zudem werden eine Server auf dieser Ebene direkt an uplinks mit höherer Geschwindigkeit angebunden.

2. Wie zuvor nur nicht stackable. Man hat also einen Ring auf der Spine Ebene. Der Traffic geht sowohl horizontal als auch vertikal. Die Leaf server werden teils nur über einen Hop im Ring erreichbar.

3. Wie 2. Nur dass der Ring nicht vorhanden ist. Der Traffic zwischen den Spine Servern muss also über die Leaf switche. Im Prinzip hat man sehr sehr viel Bandbreite über die Leaf switche. Viel mehr als durch den Ring. Die Frage ist jetzt, ob man die multiplen Pfade nutzen kann oder nicht.

Ich denke da auch mal an Spanningtree was man ja sicherlich wird brauchen oder?

Habt ihr mit den Topologien eventuell eigene Erfahrungen?

Im Prinzip sollte 1. Und 2. Ja gleich funktionieren. Bei 1. Muss man halt nur eine. Switch verwalten und bei 2. halt 3+ einzelne Switche die man verwalten muss. Sonst sollte da doch aber kein Unterschied bestehen oder?

Die dritte Variante sehe ich als problematisch an. Denn wenn es da kein Lastabhängiges Switching gibt, dann ist die Bandbreite zwischen den Spine servern zu gering...

Ps: kann das jemand bitte in den richtigen Bereich Netzwerk verschieben? Habe das gerade verbockt...

 

[madmax2010]

Was heisst fuer dich stackable switch und was soll ueber den Stack an daten laufen?
Im prinzip ist jeder switch" stackable", nur manche verkaufen es als Feature. Als Ring kannst du sie halt auch anordnen.
Ob du spanning tree brauchst oder nicht kann ich mit den bisherigen Infos nicht beurteilen.

Ueber wie viel / Traffic reden wir zwischen Switchen / in der Spine

Wir haben gerade nochmal einen Stapel s4048-on von Dell gekauft, da die einem inzwischen ohne grosse verhandlungen dirt-cheap ueberlassen werden. 48 10G ports, 6 40G ports. Billig und zuverlaessig

Anzahl an Servern mit wenig Bandbreite d

wie viel?

 

[Skysnake]

Naja stackable ist ja eigentlich recht klar definiert. Mehrere Switche lassen sich wie einer verwalten. Also eine IP eine Config. Stacking Kabel rein Stacking aktivieren und läuft.

Zum Beispiel die FlexFabric HP Switche.

Auf der Spine Ebene kann man von bis zu 100G ausgehen. Mehr sollte es nicht sein.

 

[snaxilian]

Wir haben Spine-Leaf (SL) hier in zwei Datacenter. Spanning-Tree hast bei SL nicht mehr, statt dessen andere Protokolle je nachdem ob deine SL Architektur auf L2 oder L3 basiert oder irgendwas dazwischen wird Shortest Path Bridging verwendet oder TRILL oder OSPF.
Streng genommen sollten keine Endpunkte an Spines angeschlossen sein denn sonst ist ein Spine-Switch ja auch gleichzeitig ein Leaf.
Ob die Spine oder auch Leaf dann am Ende stackable sind oder nicht hängt eher von der Menge der Switche ab, das ist ja eher ein Scale-Out Design mit kompletter Vermaschung. Irgendwann wird die Anzahl der Leaf-Switche so hoch, dass du zwangsweise stackable Spines brauchst wenn jeder Leaf mit jedem Spine verbunden sein soll.
Aber im perfekten Design würde jede Kommunikation zwischen zwei Endpunkten immer den Weg Leaf > Spine > Leaf gehen. In deinem Fall würden manche Switche ja gleichzeitig die Rolle der Spine und Leaf übernehmen sollen, in dem Fall würde es auch Sinn machen, die Spines vollvermascht zu verbinden und keinen Ring zu verwenden.

 

[Skysnake]

Für ne direkte Anbindung hätte ich aber zu wenige Ports un die Redundant anbinden zu können. Und mir ist dann wie gesagt nicht klar was passiert, wenn die einige Leaf switche von einigen Spines nur noch über leafs erreichbar sind. Bei Infiniband hätte ich da jetzt keine Schmerzen mit, aber bei Ethernet....

Daher auch Ring. Damit habe ich die Ausfallsicherheit mit den verfügbaren Ports.

Die größeren Switche, mit denen man das sauber bauen kan , kosten dann halt mal gleich nen Faktor 8 mehr. Und das ist dann schon echt Asche

Btw wir reden über 3 bis 5 Spine switche. Der Ring wäre also nicht groß. Mit mehr als 5 würde ich Ring wegen der fehlenden effektiven Bandbreite auch nicht nutzen, da der Traffic zu ca 20-50 ein n:n bei den Servern auf den Spines ist. Die tauschen alle Daten immer mit allen aus

 

[snaxilian]

Was sagt denn Hersteller/PreSales-Techi dazu? Was du beschreibst ist halt eine Zweckentfremdung weil in deinem Beispiel keine klare Trennung zwischen Spine und Leaf mehr vorhanden hast. Bei einer SL Architektur gibt es aber keine Verbindung unter den Spines außer eben für das Management der Systeme.
Im Zweifel ist das eine nicht supportete Nutzung daher wirst das in den wenigsten Firmen so vorfinden weil dann müsste ja jemand die Verantwortung dafür übernehmen^^
Da hilft dann vermutlich aber nur selbst testen...

Was hält dich denn davon ab einen bzw. zwei entsprechende 10/25/40/50G Switche als Leaf für die High-Performance-Systeme zu verwenden und die restlichen Leafs nur als 1/10G auszuführen?

 

[Skysnake]

Der hat nen anderes Modell mit 10G Stacking vorgeschlagen... völlig unbrauchbar...

Also ich verlasse mich da eher weniger auf die Hersteller. Wenn man nicht wirklich viel bei denen kauft, dann ist da PreSales eher so lala meiner Erfahrung nach.

Wobei unser PreSales angefragt hat und nicht ich.. also wer weiß welches Detail dabei unter ging.

 

[snaxilian]

Ja gut... stille Post war noch nie hilfreich, v.a. wenn die Zwischenstationen nicht verstehen was da weiter gegeben werden soll als Info^^

 

[Skysnake]

Ja, wies halt so ist.

Ich bin jetzt auch einfach kein Ethernet Guru. Bei so Sachen wie dem oben hört es mangels Erfahrung dann einfach auf. Wenn's nicht tut kostet das ja richtig Geld, da hält man sich dann zurück.

Was hält dich denn davon ab einen bzw. zwei entsprechende 10/25/40/50G Switche als Leaf für die High-Performance-Systeme zu verwenden und die restlichen Leafs nur als 1/10G auszuführen?

Weil das wie gesagt nur ne Handvoll Server ist und es keine Switche mit wenigen 40G+ Ports gibt. Du bist da bei min 2k€ pro Switch und wir brüchten mindestens drei. Also 6k Euro nur dafür, dass das Spine-Leaf design schön ist?

Sorry, aber das ist einfach Geld und auch Rackspace verbrennen.

Ansonsten haben wir jetzt zwei Lösungen die noch in der Klärung sind. An sich gab es von den Herstellern aber kein Widerspruch zu obigen Szenario. Man kann es also machen, hat dann aber halt MLAG zu konfigurieren.

Btw nen Ring über zwei Stacks wurde auch vorgeschlagen. Dann könnte man sich MLAG sparen.

Jetzt müssen halt die Leute der Budgetverantwortung entscheiden.

 

[snaxilian]

Spine-Leaf hat definitiv hohen Platzbedarf und Kosten aufgrund der vollen Vermaschung, also nicht nur in den Racks sondern auch an Kabeln. Dafür eben Vorteile bei horizontalem Traffic im Datacenter.
Abweichung vom 0815 Standarddesign kostet halt immer Zeit und/oder Geld, egal ob Netzwerk, Storage, Compute oder sonst was^^

Wenn ihr eine Lösung habt und die sich auch in der Realität bewährt hat wäre eine Rückmeldung nett, rein aus persönlichem Interesse.

 

[Skysnake]

Naja, Platzbedarf ist so ne Sache. Man muss ja die Server irgendwie anbinden und bei Dutzenden Switchen willst du eigentlich nichts anderes mehr machen.

Die Leaf sind ja eh mit nem 1:2 Blockingfaktor angeschlossen. Aber das passt, weil meist eh nicht viel drüber geht.

Man muss sich halt bei sowas immer fragen, was ist mir das Netzwerk Wert. Designer ich für 99^ der Zeit oder für die 1% mit hoher Last.

Meine Meinung dazu ist klar die 1%, denn die 1% zu debuggen bzw bei jedem kack Problem auch immer das Netzwerk überprüfen zu müssen ist auf die Dauer schnell teurer als nem paar tausender mehr aus zu geben fürs Netzwerk.

Vor allem kann man dann auch viel entspannter arbeiten weil man z.b. einfach große Updates macht. Egal ob auf einem Server oder Hunderten.

Die Sachen tun halt einfach, was die Zufriedenheit aller erhöht.

 

[Skysnake]

Also wird nen Ring über zwei zweier stacks. Mal schauen wie es läuft. MLAG werden wir uns damit vermutlich ersparen und bonding innerhalb des jeweiligen stacks machen.

Sollte tun und bei 100G uplinks mache ich mir da auch eher keine Gedanken.

 

[Skysnake]

Mal ein kleines Update. Die Core Switche sind aufgebaut und erste Tests gemacht. Bis jetzt tut alles wie es soll.

MLAG konnten wir uns wohl wirklich komplett sparen. Definitiv bei den Spine switchen, was Stunden an configurarion gespart hat. Die Anzahl der nötigen VLANs ist jetzt auch zweistellig...

 

[Skysnake]

Mal noch ein kleines Update. Die Config läuft und läuft und läuft ohne Probleme. Am Anfang hatten wir noch kein SpanningTree, was das Netzwerk immer wieder gekillt hat. Seit es aber konfiguriert wurde kein einiges Problem mehr.

Auch HA Tests ohne Problem bestanden.