Gangbreite Rechenzentrum

[Revolution]

Hallo zusammen,

Ich suche gerade eine Vorschrift wie breit die gänge zwischen Racks in Rechenzentren sein müssen.

Sollte eigentlich einfach sein als DIN 0815 800mm oder so. Aber entweder ich benutze die falschen such Begriffe oder ich bin zu doff kann mir da jemand weiterhelfen?

 

[xammu]

Norm für Rechenzentren und Breite fällt mir auch keine ein.
Unsere Kaltgänge sind 120 cm und die Warmgänge 80 cm und das nach 50600 zertifiziert. Aber keine Ahnung ob sowas da drin steht.

Es gibt Baunormen und Normen für Büroeinrichtung und da kommt die 80cm Breite häufig vor

 

[GR Supra]

Gib es in dem Sinne nicht.

Bei den großen OEM Servern ist 100cm zu kurz, weil du so die Slides nicht richtig beladen kannst oder eben basteln musst, was das Verletzungsrisiko erhöht.

Ich würde vom inneren Rahmen 130cm und von der geschlossenen Tür 125cm einplanen. also nach Vorne. Nach hinten, wenn dort nicht die nächste Reihe steht: 80 cm

Schränke können auch 120cm und etwas mehr Tief sein. https://www.rittal.com/de-de/produc...PGRP29863ITINFRA1/PRO106268?variantId=5316116

Die Erfahrung zeigt, dass man den Schrank mit der größtmöglichen Tiefe wählen sollte.

 

[Mickey Mouse]

also, ich hatte immer den Luxus, die Rechenzentren von "Experten" geplant zu bekommen und habe die nur "übernommen", habe aber einige mit gemacht.
wie gesagt, die wurden alle von Leuten geplant, die den ganzen Tag nichts anderes gemacht haben (damals war das ein Engländer, der für ganz Europa zuständig war)

was ich noch in Erinnerung habe:
in einem sehr kleinen Raum mussten die Racks so dicht wie möglich an die Rückwand. Das wurde so geplant, dass die (hinteren) Türen (einteilig) gerade so aufgehen. Das war am Ende ein Fehler:
1) man hätte sich die Hände klemmen können
2) zu 1) ist es nicht gekommen, weil die "Aufgabe" der Hand hat die relativ dicke "Fegeleiste" unten am Boden übernommen -> die Türen ließen sich gar nicht ganz öffnen.
3) seitdem weiß ich, dass es auch Racks mit zweiteiligen, "halben" Türen gibt

bei den "Hauptgängen" ergibt sich die minimale Breite ja durch ähnliche Abhängigkeiten. Die Türen müssen komplett geöffnet werden können (etwas Reserve einrechnen), man muss auch mal mit einem Server-Lift da rein kommen usw. Wenn man mal gesehen hat, wie ein paar kräftige Kerle versuchen ein Blade-Chassis oder eine A/S400 in den oberen Teil eines 46HE Schranks zu wuchten, der weiß wie sinnvoll so ein Lift sein kann und das man dafür aber auch bisschen Platz zum rangieren braucht, sonst nutzt der nix

wegen Hubwagen, Lift & Co. gab es bei uns auch immer Rampen (wenn nicht eh alles ebenerdig), die auf ihre Rollstuhl Tauglichkeit geprüft wurde. Ich denke aber, dass das keine gesetzliche Vorschrift ist, sondern die Firma gerne zu 100% handicapped accessible sein wollte, sicher bin ich mir aber nicht.

ich könnte mir auch noch vorstellen, dass das von der Art der Löschanlage abhängt. Wenn du eine CO2, Stickstoff oder sonstige Gas-Löschanlage verbaut hast, gelten meines Wissens strengere Auflagen. Irgendwas war da mit Tests, wie schnell der Raum nach Beginn des "Alarms" evakuiert werden können musste und die Löschanlage musste so lange verzögern. In den großen "Turnhallen" wurde das kontrolliert/trainiert, bei unseren winzigen "Rechenzentren" mit gerade mal 10 oder so Racks war das nicht so das Thema

 

[Rickmer]

Sinnvollerweise sollte der Gang auch abseits von Mindestgrößen der Vorschriften breiter sein als der längste Server, der sich in den Schränken verbauen lässt, sonst gibt's später ein böses Erwachen.

 

[Ranayna]

Der Lift den @Mickey Mouse anspricht ist ein sehr guter Hinweis.
Soeiner sollte vorhanden sein, und der muss vor die Racks passen. Das ist dann in der Regel mehr als ein Server lang ist.
Wenn ihr einen Crashcart habt, muss auf der Rueckseite der Racks genug Platz sein um damit vernuenftig dazwischenzukommen, und idealerweise kommt man auch noch am Cart vorbei ohne das komplett wegschieben zu muessen.

sonst gibt's später ein böses Erwachen.

Das hatten wir tatsaechlich vor vielen Jahren, als wir noch einen "Serverraum" hatten der ein ehemaliges Buero war. Abgesehen von dem totalen Chaos hinter den Racks, wo der Fussboden unter den Kabeln nicht zu sehen war, war das Drama gross als ein neuer Server eingebaut werden sollte, der ein paar Zentimeter laenger als das alte Modell war.

 

[Skysnake]

Man sollte sich definitiv nicht blind auf Planer verlassen. Der normale Planer hat z.b. keine Ahnung von Highdensity oder high power Servern.

Man sollte sich daher sehe gut überlegen, was man denn verbauen will. Also Netzwerk, Storage oder Compute und wenn Compute CPU oder GPU?

Da muss man auch auf die Flächenlasten achten und ich würde auch empfehlen sowohl 19 als auch 21 Zoll racks stellen zu können.

 

[Stock86]

Ich würde auch sagen, dass der Gang etwas breiter sein sollte als der tiefste Server/Storage, den man zukünftig verbauen möchte. Damit man den noch vernünftig handeln und verbauen kann, in Schienen hängen, etc.

Wir haben bei uns einen Doppelboden. Der ist mit 50cm x 50cm Platten bestückt. Haben 3 Platten im Gang. Also 1.50m Breite.

Wobei das ganze auch ein alter Raum ist, der früher noch richtige "Rechenmaschinen" enthielt und mittlerweile deutlich zu groß ist für die Anzahl Schränke/Technik, die dort verbaut sind. Daher werden wir demnächst vermutlich 1-2 Schrankreihen abbauen, konsolidieren und Zwischenwände einziehen.

 

[Mickey Mouse]

Man sollte sich definitiv nicht blind auf Planer verlassen. Der normale Planer hat z.b. keine Ahnung von Highdensity oder high power Servern.

dann hast du aber "komische" Planer, weil genau DAS ist ja deren Job!

die müssen natürlich ziemlich genau wissen, "was da eingebaut" wird. Abwärme (HVAC), Strom Anschlussleistung, wie viel davon per USV und im zweiten Schritt Generator abgesichert usw. usf.
ohne die Informationen kannst du nicht planen?!?

zu Zeiten, als es noch "normale Telefone" gab, waren auch offene "frames" statt "racks" für deren Patchfelder üblich, da braucht es nun wirklich keinen Schrank.

Da muss man auch auf die Flächenlasten achten und ich würde auch empfehlen sowohl 19 als auch 21 Zoll racks stellen zu können.

genau!
kein Witz, ich habe mal einen "Serverraum" in Moskau gesehen, in dem jedes Rack auf einem massiven Türblatt stand!
der angefragte "raised floor" war ein fragiler Dielenboden und die Racks sind eingebrochen/umgefallen, mit den Türen ging es so einigermaßen, betreten war aber trotzdem nur für "eingeweihte" erlaubt und ich wollte mir das auch gar nicht genauer ansehen

 

[Rickmer]

die müssen natürlich ziemlich genau wissen, "was da eingebaut" wird. Abwärme (HVAC), Strom Anschlussleistung, wie viel davon per USV und im zweiten Schritt Generator abgesichert usw. usf.
ohne die Informationen kannst du nicht planen?!?

Und selbst dann können die nur für die aktuelle Generation Hardware planen...

Du kannst mir nicht erklären, dass irgendein Rechenzentrum designed wurde mit dem Hintergrundgedanken 'irgendwann wird hier jeder einzelne Rack 200kW ziehen'.

 

[GR Supra]

Na nicht 200, aber 40kw pro Rack.
Das war vor wenigen Jahren noch undenkbar.

 

[Skysnake]

Bullshit. Auch vor 5-10 Jahren gab es schon 40kW+ Racks.

Aber das ist halt das Problem. Das ist nicht Standard und damit für einen Großteil der Planer nicht existent.

Wer heute z.b. ein neues RZ baut und nur 200kW pro Rack als Maximum plant, der macht in meinen Augen etwas falsch. So 300, eher 400kW sollten es in meinen Augen schon sein, wenn man nachrüsten.

Und wie gesagt 19 und 21 Zoll racks mindestens stellbar.

Und ja, die mit WaKü voll bestückten 19 bzw 21 Zoll racks sind massiv schwer. Das macht nicht jeder Doppelboden mit. Vor allem nicht den Wechsel. Deswegen am Besten gleich ganz ohne Doppelboden und alles von oben bringen. Das macht das Leben deutlich einfacher für sie Zukunft.

 

[GR Supra]

Bullshit? Wenn der Durschnitt bei 15-16Kw liegt und es hin wieder Racks gibt die 20+ haben?

Es gab auch schon vor 5-10 Jahren Deppen.

 

[Skysnake]

Ja Bullshit, wenn man irgend eine Form von Compute verbauen will und nicht nur storage bzw Netzwerk. Wobei mit Netzwerk schafft man bei entsprechender Dimensionierung sogar >20kW mit nem 48U rack. Ein IB Switch zieht schon >1kW bei 1U.

Server <1kW sind absolut die Ausnahme. Sprich selbst mit 2U Kisten in denen nur etwas Storage und 2 CPUs drin sind knackt du die 20kW pro Rack ohne Redundanz.

Er redet hier von Gangabstand. Sprich da gibt es einige Racks und wenn ich die zum Bestücken nehme und nicht nur zum nett ausschauen, dann sind heutzutage 20kW abseits von reinen Storage bzw Netzwerk(Ethernet) racks ein limitierender Faktor.

Schon heute kommst du bei vollen racks ohne GPUs auf 80kW+ Und in den nächsten Jahren wird das auf 160kW+ gehen. Und ja du willst so viel Power pro Rack weil dir das die teuren optischen Transciever spart.

Aber so viel Weitblick haben die wenigsten Planer leider...

 

[Mickey Mouse]

Und selbst dann können die nur für die aktuelle Generation Hardware planen...

natürlich

Du kannst mir nicht erklären, dass irgendein Rechenzentrum designed wurde mit dem Hintergrundgedanken 'irgendwann wird hier jeder einzelne Rack 200kW ziehen'.

es muss doch alles zusammenpassen!
gesamte elektrische Anschlussleistung, UPS, Generatoren, HVAC, usw. usf.
du kannst ja nichtmal eben die Verlustleistung der Server verdreifachen, ohne den Rest anzupassen. Das ist dann ein komplettes Redesign. Damit es eben nicht dazu kommt, muss man "vernünftig planen"...

 

[Skysnake]

Ja und auch noch 2020 wurden Rechenzentren mit Max 20kW pro Rack massig geplant und gebaut. Und das sogar Luft only ohne Vorbereitung zur Ertüchtigung für Wasser.....

Ende vom Lied? Das neue Rechenzentrum kann man nur schwe ertüchtigen. Also schwerer sogar als das Alte. Und das ist jetzt kein Einzelfall.

Sorry, aber scheinbar haben viele Planer da wirklich keinem Überblick wohin die Reise in den nächsten Jahren geht. Aber gut. Sind halt Planer. Die schauen eher auf sie Vergangenheit und maximal das jetzt.

Ich plane im HPC auf jeden Fall mit >100 kW in den nächsten Jahren. 200kW sind da für mich das Minimum für die nächsten 10 Jahre. Sprich perspektivisch sollte 300-400kW mit größeren Umbauten möglich sein. Oder aber direkt so bauen, das man sagt OK dafür kommt dann der Container mit maximal 10-20 Racks und gut ist.

 

[Ranayna]

Damit es eben nicht dazu kommt, muss man "vernünftig planen"...

Aber du kannst auch nicht von Anfang an das dreifache der aktuell angesetzten Spitzenleistung verplanen. Muss ja auch einer bezahlen das RZ zu bauen.

Anforderungen koennen sich auch aendern. Wir haben auch eine ganze Reihe aelterer Racks die auf ~20kW ausgelegt sind, sowohl Strom als auch Kuehlung. Mit allen Zipp- und Zapp, inklusive USV und Generator.
Geplant und gebaut vor ueber 10 Jahren, bevor wir unsere aktuelle VDI Infrastruktur hatten, waren die Racks zum groessten Teil mit Rackworkstations bestueckt die jeweils 2 HE gross waren, mit maximal 750 Watt pro Stueck. Bei vollem Rack (top of the Rack Switch mitgerechnet) waren das also ~15kW theoretische Maximalleistung.

Die Rackworkstations sind inzwischen weg und durch einen ganzen Haufen VDI Hosts und viele HE Storage ersetzt. Das Storage ist so schwer, das wir die Racks aufgrund der Traglast nicht fuellen koennen. Die ESXe sind nur eine HE gross und haben 1200 Watt Netzteile, da koennen wir die Racks aufgrund der Kuehlung und Stromversorgung nicht vollmachen.
Der Platz reicht aber trotzdem, weil das ganze insgesamt wesentlich effizienter ist als es die alten Rackworkstations waren.

Ein neueres RZ wurde dann mit ~40 KW pro Rack gebaut.

 

[Skysnake]

Was bereits heute ziemlich wenig ist. 1U von letztem Jahr ziehen bei mir quasi 24/7 800Watt. Das wären dann bei nur 40 Systemen schon 32kW. Dazu nen IB switch mit grob 1kW und dann noch 500W für Ethernet. Biste bei 33kW fürs Rack und hast trotzdem noch 5U frei im 48U rack. Gut im 42U Rack wären es knapp 31kW, aber 48U sehe ich eher als Standard. 52U sind dann schon echt groß.

Wie auch immer. Bereits heute kommt man mit TOP SKUs ohne Storage in den Büschen und erst recht ohne GPUs locker auf 70kW in nem Rack.

Ich verstehe nicht, wie man da mit 20 oder 40kW etwas Neues machen kann, wenn man Compute haben will.

Ne höhere dichte spart einen ja bares Geld bei man Kupferkabel statt Transcievern mit Glas nehmen kann und die Latenzen sind wegen der kürzeren Kabel auch besser. Also Win-Win bei höherer Dichte. Und die Schluckspechte kommen ja erst noch

 

[Ranayna]

Das neue RZ ist auch schon wieder drei Jahre alt, und offengesagt war der aktuelle AI Hype fuer uns noch nicht absehbar.
Wir sind damit aber auch noch laengst nicht an der Kapazitaet. Ich weiss nicht wieviele HE genau noch frei sind, aber ein paar hundert kW kuehl- und elektrische Leistung haben wir in Reserve.
Und so viel Compute brauchen wir aktuell auch noch nicht. Den meissten Platz nimmt immer noch unsere VDI in Anspruch, und davon sind nur ca. 10% mit GPU Anforderung.

 

[Skysnake]

Wie gesagt, von GPU redet keiner. CPU only macht dir schon knapp 80kW.

Mit GPU kannst du eher so 100kW+ rechnen und das Stand heute. Ein 72er GPU Rack mit Blackwell soll ja um dir 150-160kW haben.

Und in der nächsten Gen würde ich von noch mehr ausgehen. 200kW redundant bzw 400kW nicht redundant sind absolut realistische Anforderungen in 1-2 Jahren wenn man GPU Compute machen will. Für CPU Only sind 150kW redundant bzw 300kW nicht redundant dann absolut ok.

Wobei man aufpassen muss mit der Redundanz. Gibt immer mehr Server mit redundanten Netzteilen die aber unter Volllast dann trotzdem ausfallen wenn eins von zwei Netzteilen ausfällt.... und das sind CPU Systeme. Zwar 2U4N aber trotzdem. Da sollte man zu den neueren Teilen mit 4 PSUs inzwischen greifen um auf der sicheren Seite zu sein.

Wobei der Formfaktor wohl eh tot ist.

Ergänzung (16. Juni 2024)

Ich musste den Post oben anpassen. Sind aktuell "nur" 800W pro U und nicht 1800. Bald kommen aber neue Kisten die wohl 1300W+ je U machen und noch immer keine high TDP CPUs sind.

Da liegen wir ja in naher Zukunft laut öffentlichen Berichten bald bei 500W pro CPU. Mit Wandlerverlusten und Lüftern biste da dann pro System schnell bei 1.5kW

Damit sind dann die neuen 2U4N mit 4 Netzteilen wahrscheinlich dann auch am Ende. Da bist du dann wahrscheinlich bei 2.5-3kW pro U.

Also bei 20 Kisten bzw 80 Systemen also bei 120kW.

Das ist einfach die neue Realität, wenn man die Systeme wirklich nutzt und die nicht nur rumideln.

Wobei sich bei mir zeigt, daß sobald auch nur 50% der Cores verwendet wird man im Power limit hängt....