Zwei Serverracks verbinden

[f3nr!s]

Hallo,

mal eine bescheidene Frage: Da ich es nicht jeden Tag mache, aber jetzt irgendwie machen muss... wie verbindet man passend zwei Serverracks die direkt nebeneinander stehen? Geht hauptsächlich um Datenkabel CAT 6a.

Die beiden Racks stehen in der Mitte des Raumes und oberhalb beider liegt eine Kabelführung auf, die aus der Wand kommt mit den Links zu den einzelnen Etagen. Dort wäre quasi genügend Platz um weitere Kabel von dem einen Rack nach oben zu legen und über die Kabelführung in den anderen Schrank reinzugehen. In dem einem Rack steht die Verteilertechnik (Switch, Router) im anderen die ganzen Server.

Ich bräuchte eine maximale Länge an Patchkabeln von 7 Metern. Kann man das so machen?

Ist die Verwendung von Patchkabeln da überhaupt angebracht? Sollte man Patchkabel überhaupt solang wählen?

Wäre natürlich einfacher, als jetzt Verlegekabel zu verwenden und dann auf ein Patchpanel aufzubringen. Die Frage ist, ob das sinnvoll und logisch ist?

Oder sollte man vielleicht ein möglichst kurzen Weg nehmen? Also direkt durch die Seitenöffnungen der beiden Schränke gehen? Würde dann aber vielleicht unübersichtlich werden. Jemand eine Empfehlung?

Gruß

 

[Ic3HanDs]

Also wir machen es normal auch von oben. 7m Kabel sind kein Problem. Haben aber auch schon ein paar mal einfach die Wände in der Mitte rausgenommen und damit einen großen Raum geschaffen, nur "hängen" Kabel dann auch schnell durch.

Generell plane ich lieber Schränke das oben über den Servern noch entsprechend im Schrank Switche verbaut sind. Dann gibt es das Problem nicht. Untereinander ist dann normalerweise Glasfaser gelegt mit entsprechend hohen Geschwindigkeiten.

 

[KillerCow]

In jeden Schrank einen TOR (top of rack) Switch verbauen und die dann untereinander passend breitbandig verbinden (direkt oder über einen Coreswitch).

Wie man es letztendlich macht, hängt von den weiteren Voraussetzungen/Anforderungen ab und natürlich vom finanziellen Einsatzwillen

 

[f3nr!s]

Das mit dem Switch über den Servern ist natürlich noch einfacher, dann braucht man nur ein LWL-Patchkabel verlegen. Hat aber in meiner Struktur den Nachteil, dass ich dann bei den Servern wieder einen "Single Point of Failure" habe.

Meine beiden Core-Switche sind im Stack und ich möchte die Server dann später per LAGG hochverfügbar machen. Außerdem ist dort der Router ebenfalls per LAGG verbunden. Die Core-Switche kann ich aber auch nicht beim Server-Rack reinmachen, da die LWL-Patchpanel für die Etagen sich im anderen befinden. Würde also wieder zusätzliche Kosten bei der Anschaffung von ordentlichen Switchen bedeuten.

 

[h00bi]

Ich bräuchte eine maximale Länge an Patchkabeln von 7 Metern. Kann man das so machen?

Ist die Verwendung von Patchkabeln da überhaupt angebracht? Sollte man Patchkabel überhaupt solang wählen?

Wieviele Patchkabel musst du denn da rüber führen?
Was läuft über die Patchkabel? 1Gbit? 10 Gbit?
Wenn das mal Richtung 20 Kabel geht kann man sich Gedanken machen das auf einem Switch zu bündeln und dann per 10G/40G anzubinden.
Bei einer einstelligen Zahl würde ich Patchkabel nehmen.

 

[Ic3HanDs]

Also in "meinem" RZ haben wir auch die Top-of-Rack Switche einfach Redundant. Dazu redundante Verbindungen zum Core welcher natürlich auch Redundant ist. Server und Storage auch Redundant. Das dort etwas passiert ist schon ziemlich unwahrscheinlich ^^ Und dann eben alles überwacht, sogar die Steckdosenleisten sind in meinem Monitoring.

Backups natürlich auch Redundant an zwei geologisch getrennten Orten sowie im RZ in zwei Brandabschnitten

 

[f3nr!s]

Eigentlich 27(+- 3) Verbindungen. Die Server haben alle nur 1Gbit-NIC.

Aufwand bleibt eigentlich gleich, weil ich ebenfalls dann die LWL-Verbindungen alle in den zweiten Schrank ziehen müsste.

 

[Ic3HanDs]

Bei der Anzahl würde ich auf jeden Fall eigene Switche für den Schrank nehmen. Kostet zwar mehr aber spart einfach soviel unsaubere Verkabelung. Wenn da Nachher eins getauscht werden muss weißt du wieso...

 

[f3nr!s]

Wenn da Nachher eins getauscht werden muss weißt du wieso...

Das war auch so mein Gedanke.

Eine Empfehlung was man da als "Serverswitche" verwenden kann? Core-Switch ist ein Stack aus zwei Brocade/Ruckus und als Etagenverteiler verwende ich Cisco SG-Billig-Serie. Ansich müssen die auch nicht viel können und das möglichst günstig. Etagenverteilung würde ich dann weiterhin an den Brocades belassen und jeweils mit einem LWL von jeden Serverswitch an einen Brocade rangehen.

 

[honky-tonk]

wie wäre es, wenn du einfach ein LWL mit 40Gbit von einem schrank in den anderen ziehst und jedeils an einen switch anschließt und von den switch aus dann die server in dem schrank anbindest!?

 

[Ic3HanDs]

Ich persönlich würde dir empfehlen bei einem Hersteller zu bleiben. Also weitere Ruckus ICX Switches. Sonst blickst nachher nie durch und musst immer überlegen wie nun die Befehle auf der Console sind.
Ich würde die ICX 7450 nehmen, da sind 10GBit Ports schon direkt drin. Bei den 7250 musst die extra kaufen und einbauen. Zudem können die 7450 für später schon 40GBit mit Modul.

Und dann eben immer mit 10GBit zum Core als LAG. Also 20GBit. Sollte bei der Anzahl der Kabel reichen an Bandbreite.

 

[f3nr!s]

wie wäre es, wenn du einfach ein LWL mit 40Gbit von einem schrank in den anderen ziehst und jedeils an einen switch anschließt und von den switch aus dann die server in dem schrank anbindest!?

Ich habe hier kein unbegrenztes Budget zur Verfügung, es muss sich im unterem Rahmen bewegen. Mit einer einzigen 40Gbit-Verbindung komme ich in Sachen Redundanz nicht weit, für mehr fehlt das Budget.

10Gbits ist realistisch.

Ich persönlich würde dir empfehlen bei einem Hersteller zu bleiben. Also weitere Ruckus ICX Switches. Sonst blickst nachher nie durch und musst immer überlegen wie nun die Befehle auf der Console sind.
Ich würde die ICX 7450 nehmen, da sind 10GBit Ports schon direkt drin. Bei den 7250 musst die extra kaufen und einbauen. Zudem können die 7450 für später schon 40GBit mit Modul.

Und dann eben immer mit 10GBit zum Core als LAG. Also 20GBit. Sollte bei der Anzahl der Kabel reichen an Bandbreite.

Habe hier 7250 als Cores im Einsatz. Kosten jeder von den schon knapp 2500€, für den 7450 bin ich bei fast 3500. Da fehlt mir das Budget. Zumal 7450er kaum noch zu bekommen sind, seitdem Ruckus den Laden übernommen hat. Habe eine noch schlechtere Verfügbarkeit als 7250er.

 

[Ic3HanDs]

Ja mein Core ist ein wenig größer..

Gebraucht aber kein Thema: siehe Hier.

Sogar mit 3 Jahren Garantie.

 

[gaym0r]

Hat aber in meiner Struktur den Nachteil, dass ich dann bei den Servern wieder einen "Single Point of Failure" habe.

Dann nimm jeweils 2 ToR-Switche.

Meine beiden Core-Switche sind im Stack und ich möchte die Server dann später per LAGG hochverfügbar machen.

Core-Switche im Stack? Das macht man heute noch so? Hochverfügbar ist das nicht - zumindest bei einem klassischen Stack. Wie verhält sich das z.B. bei einem Firmware-Upgrade?

Über wie viele Kabel reden wir hier überhaupt? Seitenwände rausnehmen ist vermutlich wirklich die einfachste Lösung.

 

[Ic3HanDs]

Klar macht man Core noch im Stack? Wie willst es sonst machen? Beim Ausfall übernimmt direkt der zweite. Bei Firmware Updates werden die automatisch hintereinander gepatched und neu gestartet ohne das es einen Ausfall gibt.

 

[f3nr!s]

Dann nimm jeweils 2 ToR-Switche.



Core-Switche im Stack? Das macht man heute noch so? Hochverfügbar ist das nicht - zumindest bei einem klassischen Stack. Wie verhält sich das z.B. bei einem Firmware-Upgrade?

Über wie viele Kabel reden wir hier überhaupt? Seitenwände rausnehmen ist vermutlich wirklich die einfachste Lösung.

Wie will man sonst dann ein LAGG realisieren? Man kann ja nicht Switch-übergreifend eine Group definieren. Zumindest ist mir da derzeit kein Weg bekannt. Im Stack können die Member unabhängig voneinander laufen.

@Ic3HanDs Eine Überlegung wert. Zumal das nochmal "richtiges" dediziertes Stacking ist, nicht wie bei den 7250er wo dieser über die SFP-Slots realisiert wird.

Eventuell tausche ich auch den jetzigen Core gegen etwas neues. Ich lasse mir das mal durch den Kopf gehen.

 

[gaym0r]

Klar macht man Core noch im Stack? Wie willst es sonst machen? Beim Ausfall übernimmt direkt der zweite. Bei Firmware Updates werden die automatisch hintereinander gepatched und neu gestartet ohne das es einen Ausfall gibt.

Bei einem klassischen Stack wird bei einem Firmware-Update der ganze Switch rebootet, weil es eben eine logische Einheit ist. (Edit: So ist es zumindest bei Extreme, Enterasys, Aruba und allen mir bekannten Cisco Geräten)
Gibt natürlich "Stacking"-Varianten, bei denen das so nicht der Fall ist - das schimpft sich dann z.B. VSB. Bei anderen Herstellern natürlich anders.

Heutzutage geht man aber eher den Weg, dass man komplett eingenständige Core-Switche hat. Uplinks zu den Access-Switchen kann dann natürlich nicht über LAGs erfolgen, aber dafür gibts z.B. MLAG. Routing erfolgt per VRRP.

Das macht vieles einfacher.

 

[f3nr!s]

Bei einem klassischen Stack wird bei einem Firmware-Update der ganze Switch rebootet, weil es eben eine logische Einheit ist. (Edit: So ist es zumindest bei Extreme, Enterasys, Aruba und allen mir bekannten Cisco Geräten)
Gibt natürlich "Stacking"-Varianten, bei denen das so nicht der Fall ist - das schimpft sich dann z.B. VSB. Bei anderen Herstellern natürlich anders.

Heutzutage geht man aber eher den Weg, dass man komplett eingenständige Core-Switche hat. Uplinks zu den Access-Switchen kann dann natürlich nicht über LAGs erfolgen, aber dafür gibts z.B. MLAG. Routing erfolgt per VRRP.

Das macht vieles einfacher.

So auch nicht ganz richtig und auch nur die halbe Wahrheit. Die Layer-2-Redundanz wird ja bei diesen Szenario mit RSTP hergestellt. Somit muss man alle Vor- und Nachteile dieser Technologie in Kauf nehmen. Des weiteren bleibt ja ein Link stetig im standby. Finde ich ineffizient.

Richtiges Hardware-Stacking, wie bei Brocade, braucht halt kein VRRP und auch kein RSTP. Es sein denn man will jetzt noch die Etagenverteiler/Access redundant anbinden. Ansonsten hält sich auch der Konfigurationsaufwand in Grenzen, was ein großer Vorteil ist. Das Stacking bei Brocade, hier im Falle der 7250, ist redundant. Man kann beide Switches unabhängig voneinander neustarten. Beim Firmware-Upgrade ist natürlich so, dass man immer komplett beide außer Gefecht setzt. Normal. Aber dafür kann man Downtime einplanen.

 

[gaym0r]

So auch nicht ganz richtig und auch nur die halbe Wahrheit. Die Layer-2-Redundanz wird ja bei diesen Szenario mit RSTP hergestellt.

Ich weiß jetzt nicht von welchem Szenario du redest? Bei meinen Szenario mache ich kein STP.

Des weiteren bleibt ja ein Link stetig im standby.

Versteh ich nicht. Was bleibt wo im standby?

Richtiges Hardware-Stacking, wie bei Brocade, braucht halt kein VRRP und auch kein RSTP. Es sein denn man will jetzt noch die Etagenverteiler/Access redundant anbinden.

Warum sollte man das nicht wollen?

Man kann beide Switches unabhängig voneinander neustarten. Beim Firmware-Upgrade ist natürlich so, dass man immer komplett beide außer Gefecht setzt. Normal. Aber dafür kann man Downtime einplanen.

Dass man in einem Stack Switche einzeln rebooten kann, ist normal. Dass ein Firmware-Update den ganzen Switch kurz lahmlegt auch - aber das würde ich nicht einfach so als "normal" und gegeben abtun. Eben weil es zig Möglichkeiten gibt das zu verhindern. Keiner meiner Kunden hat Bock auf so eine Downtime. Und was machst du wenn es eine Downtime gab, das Firmware-Update erfolgreich war, aber sich einige Tage später ein Bug bemerkbar macht, der durch einen Hotfix behoben wird? Planst du dann wieder erst eine Downtime ein?

Es gibt schon Gründe warum sowas immer weniger in allen Branchen und bei Kunden aller Größen.

 

[f3nr!s]

Ich meine das Szenario mit dem VRRP. VRRP ist Layer-3 und es ist immer ein Link im standby. Ganz simples Beispiel: VRRP war eigentlich mal nur für Router vorgesehen (deshalb Virtual Router Redundancy Protocol) und sollte im Fall das der Master abstürzt den Slave übernehmen lassen. CARP dasselbe, nur eben OpenSource.

So und nun? Was ist mit Layer-2? Das kann nur per STP realisiert sein, anders geht es nicht bei redundanter Verkabelung, sonst hast du eben kein echte Ausfallsicherheit. Bei zwei Links vom selben Switch ohne STP braucht man nur mal ein Loop erzeugen und schon liegt dein Netzwerk brach. Da gibt es eigentlich auch keine zwei Meinungen.

Es gibt für redundante Netzwerke nur zwei Möglichkeiten wie man diese realisiert:

1. VRRP und STP über zwei Uplinks
2. Hardware-Stack

Mehr gibt es nicht. Und das die großen Unternehmen davon weg wollen, wäre mir auch neu. Warum boomen dann nach wie vor die Portfolios großer Hersteller von solchen Stack-Lösungen (Cisco, Extreme Networks, Alcatel, Brocade/Ruckus) ? Eben weil die solche Sachen wie Hitless Failover beherrschen. Wenn diese unbeliebt sind, dann einzig aus dem Grund das die bei Ihren Stacking-Technologien keine Standards verwenden und ihre eigene Suppe kochen.

Bei den großen Herstellern macht man vielleicht einmal im Jahr ein Firmware-Update weil die Software meistens nur um Features erweitert wird, selten das da Bugs auftauchen.