Wassergekühlter Serverschrank

Deadlock

Lt. Commander
Registriert
Juli 2009
Beiträge
1.478
Moin zusammen,


Präembel/Hintergrundgeschichte:
ich arbeite als Wissenschaftlicher Mitarbeiter an der Uni und bin mit anderen wissenschaftlichen Mitarbeitern für das Funktionieren der Rechnerinfrastruktur unseres Institutes verantwortlich.
Demnächst (im Herbst diesen Jahres) wird ein mehr oder weniger externer Rechencluster abgeschaltet und die AGs bekommen ihren Anteil des Clusters zurück. Diesen wollen wir weiterhin nutzen, diesmal aber mit eigener Infrastruktur. Das ganze ist nicht superkritisch, aber sehr nice to have. Daher benötigen wir auch keinen externen Support o.Ä. Im Prinzip geht es nur um die Kühlung der Serverschränke. Per Klimaanlage ist dies schlicht nicht drin (das wäre eine zusätzliche Baumaßnahme, die nicht genehmigt werden würde. Abgesehen davon ist eine Klimaanlage NICHT SKALIERBAR!!), daher die Idee mit den wassergekühlten Schränken.

Problemstellung:
Für die Einrichtung eines Serverraumes, der kühlleistungstechnisch nicht am Maximum läuft, werden wassergekühlte Serverschränke benötigt.
Wir rechnen mit einer abzuführenden Wärmeleistung von 15kW auf Basis der TDP der CPUs, GPUs sowie der sonstigen Rechnerinfrastruktur.
Diese 15kW teilen sich auf voraussichtlich 66HE auf.
Es gibt im Serverraum Kaltwasseranschlüsse mit einer Temperatur von 14°C.
Weder ich noch ein anderer der Admins hat Ahnung von Wasserkühlung oder Serverschränken.
Angenommen, wir stellen da zwei Schränke mit je 42HE rein, dann benötigt jeder Schrank eine Wasserkühlung mit etwa 10kW Kühlleistung. Die Wasserkühlung soll 1. die Abluft kühlen und wieder ins Gehäuse blasen und 2. das erwärmte Wasser wieder an den "Kühlabwasserkreislauf" des Gebäudes abgeben. Die Hardware an sich wird mit Luft gekühlt. Durch diese Art von Anlage wird nicht der Serverraum mit der Abwärme der Rechenkisten geheizt, sondern das Kühlwasser erwärmt und dann abgeführt. Somit kann auf eine aufwendige Kühlung des Raumes an sich verzichtet werden.

Frage:
Welche wassergekühlten Serverschränke würdet ihr empfehlen?
Benötigt wird eine Kühlleistung von 10kW pro Schrank bei einer Höhe von 42HE.
Kühlwasseranschlüsse sind vorhanden, die Temperatur des Kühlwassers beträgt 14°C.

Mein Halbwissen (zusammengegoogelt):
Am Besten wäre es, wenn die kühle Luft gleichmäßig über die Vorderseite der Schränke abgegeben und verteilt wird und hinten angesaugt, abgekühlt usw., z.B. hier und hier. Viele Lösungen blasen die Kaltluft von unten in den Schrank und saugen oben wieder ab (z.B. hier und hier). Ich weiß nicht, wie gut das im Verhältnis zur gleichmäßigen Verteilung funktioniert.
Was sind eure Meinungen dazu?


Viele Grüße und danke im Voraus,

Deadlock
 
Zuletzt bearbeitet:
Was genau willst du denn kühlen? Die Abluft oder die CPUs und GPUs direkt?
Ich meine Watercool und Aquacomputer bieten auch industrielle Lösungen an. Evtl. wäre es ganz gut da mal vorbei zu schauen/fragen.
 
Verstehe ich das richtig, die Server selbst sind ganz normale Rackserver die mit Luft gekühlt werden, oder? Und die Idee ist jetzt das anstatt der Raum per Klimaanlage gekühlt wird, das Serverrack direkt gekühlt werden soll?

Am Ende ist das ja nichts anderes als eine Klimaanlage die im Serverrack selbst eingebaut ist, statt im Raum. Ich sehe da nicht so direkt wieso das in diesem Fall besser ist als eine Klimaanlage im Raum selbst.

Als Alternative würde ich vorschlagen beim Uni Rechenzentrum anzufragen ob ihr da ein Rack mieten könnt, und dort die Server reinstellen.
 
Zuletzt bearbeitet:
Meine 2 Cents: Dienstleister suchen in der Nähe der sich mit RZ-Grundinfrastruktur / RZ-Bau auskennt (und sowas schon umgesetzt hat). Circa 1,5 Personentage Consulting einkaufen (0,5 PT Anforderungsaufnahme, 0,5 PT erarbeiten von 2 Lösungsansätzen (2 Hersteller; oder Low- und Mid-Budget), 0,5 PT Doku / Grobkonzept). Auch wenn es unkritische Applikationen sind, will man ja den Folge-Support (da wahrscheinlich ohne Wartungsvertrag selbst verantwortet) so gering wie möglich halten.
 
Bei so etwas fragst du hier im Forum nach ? Echt jetzt ?
Wendet euch bitte bei so etwas komplexen an ein Systemhaus!

ich arbeite als Wissenschaftlicher Mitarbeiter an der Uni und bin mit anderen wissenschaftlichen Mitarbeitern für das Funktionieren der Rechnerinfrastruktur unseres Institutes verantwortlich.

Ich möchte lieber nicht nachfragen an was für einer Uni du bist die kein Geld für IT Personal hat und solche Arbeiten euch "einfachen" Mitarbeitern überlässt. Oje.
 
@Dalek:
Genau. Die Server sind normale Rackserver, die mit Luft gekühlt werden. Die Idee ist, die Kaltluft nicht über eine Klimaanlage bereitzustellen, sondern durch eine Wasserkühlung, die kaltes Wasser aus einem Kreislauf bekommt, die Abluft der Rechenkisten herunterkühlt, das Warmwasser abführt und die Kaltluft den Rechnern zur Verfügung stellt.

Schaut euch die Links an, die ich gepostet habe. Dadurch wird das hoffentlich deutlicher.
Ergänzung ()

Ich sehe nicht wirklich etwas komplexes an der Anforderung eines wassergekühlten Serverschranks, aber vielleicht übersehe ich auch etwas wesentliches.

Je industrieferner man arbeitet, desto weniger Geld ist in der Forschung da. Vielleicht könnten wir das alles extern machen lassen, das würde aber 1. ewig dauern und 2. nicht so gut auf unsere Bedürfnisse zugeschnitten sein, wie wenn wir das alles selbst machen. Daher machen wir alles selbst. Das funktioniert 1. sehr gut und macht 2. einen Riesenspaß, wenn man computeraffin ist.

Wie dem auch sei, back to topic. Es ist, wie es ist.
 
leipziger1979 schrieb:
Bei so etwas fragst du hier im Forum nach ? Echt jetzt ?
Wendet euch bitte bei so etwas komplexen an ein Systemhaus!
Ich möchte lieber nicht nachfragen an was für einer Uni du bist die kein Geld für IT Personal hat und solche Arbeiten euch "einfachen" Mitarbeitern überlässt. Oje.

Da muss ich den Deadlock verteidigen
Auch ich arbeite im Forschungsbereich und habe ein strenges Budget.
Macht auch sinn, weil die sollen um das (Steuer-) Geld möglichst effizient Forschen und nicht systemhäuser querfinanzieren.
Wir basteln auch gerade an einen "Cluster" rum. Wenn ich das z.B. von HPE kaufe kriege ich max die Halbe Leistung wie "selbst" bau (übers internet bestellen)
Natürlich ist Zuverlässigkeit ein Thema, aber halt nicht so wichtig das ich externen Support damit beauftragen will (Wenn Forschungscluster steht, dann muss halt ein Versuch ein paar tage warten, aber ist normalerweise keine Tragik)
 
Ich bin mal gespannt wie lange es dauert bis einer hier auf die in rot gestellte Frage eine Antwort postet und dabei Umsetzungs- bzw. Projekterfahrung hat.
 
Wenn euer PKW mit Motorschaden liegen bleibt "bastelt" ihr dann auch ? Ist ja gruselig.
Nichts gegen den "Wirtschaftlichkeit"-Gedanken, geht mir genau so.
Nur wenn ich/wir Projekte umsetzen müssen wo das Know-How nicht im Haus ist wird das gegenüber den Vorgesetzen bzw. der Geschäftsführung auch so dargelegt.

@mda31
Wird nicht passieren, oder willst du dir den Schuh anziehen ? :lol:
 
@leipziger1979:
Das KnowHow ist im Haus. Minus Kenntnisse bei wassergekühlten Serverschränken.

Ich frage hier nicht, wie man einen Cluster aufbaut und verwaltet. Das haben wir erfolgreich gemacht. Es war eine Heidenarbeit, läuft jetzt aber wie eine 1.

Ich frage nur, was man bei wassergekühlten Serverschränken beachten sollte, um keinen Murks zu kaufen.
 
Deadlock schrieb:
@Dalek:
Genau. Die Server sind normale Rackserver, die mit Luft gekühlt werden. Die Idee ist, die Kaltluft nicht über eine Klimaanlage bereitzustellen, sondern durch eine Wasserkühlung, die kaltes Wasser aus einem Kreislauf bekommt, die Abluft der Rechenkisten herunterkühlt, das Warmwasser abführt und die Kaltluft den Rechnern zur Verfügung stellt.

Das ist genau das was eine normale Klimaanlage auch macht. Und ich vermute das es günstiger und flexibler wird wenn man nicht an den Serverrack-Formfaktor gebunden ist bei der Klimaanlage. Ich würde auf jeden Fall ein Angebot für eine separate Klimaanlage die ans Kühlwasser im Raum angeschlossen würde einholen und vergleichen.
 
"Normale" RZ Klima wird im Eingangspost (leider ohne Gründe) ja ausgeschlossen.

@Deadlock: Bin ich zwar kein Freund von aber dann dreh den Spieß doch um. Frag bei den Herstellern an, schau was an Rückfragen und Angeboten kommt und vergleich das soweit es geht technisch und kaufmännisch.
 
@Dalek:
Zusätzliche Baumaßnahmen sind nicht drin. Ende der Diskussion. Das bekommen wir nicht durch :)

Wir wollen eine skalierbare Lösung, die nicht auf eine Klimaanlage angewiesen ist. Wir wollen ausschließlich Rechenkisten im Rackformat, alles andere ist ein einziger Krampf. Die Kaltwasserleitungen existieren, was einen Großteil der Initialinvestition ist.

Ich weiß eure Bedenken zu schätzen und glaubt mir, wir denken da seit einer Weile drüber nach und sind zu dem Schluss gekommen, dass es keine andere wirtschaftlich umsetzbare, sinnvolle und skalierbare Lösung gibt.

Ich wäre euch dankbar, wenn ihr versuchen würdet, meine Frage zu beantworten. Sie ist mit Absicht so gestellt. :)

@mda31:
Das werde ich im Endeffekt auch tun müssen, vorher schadet es aber nicht, sich so viel Wissen wie möglich selbst anzueignen. Und da dachte ich eben an CB...

Ergänzung der Begründung im Einleitungspost, warum eine Klimaanlage keine Option ist.
 
Zuletzt bearbeitet:
Ich bin zwar nicht Branchen-fremd aber wir machen keine Basis-Infra. Sonst würde ich Dir ehrlich sehr gerne eine Antwort liefern. Und die Situation in Instituten ist mir auch bekannt (leidvoll aber halt von der anderen, "dunklen Seite" ;-)... ).

Das System hier finde ich ganz Interessant. 300kW in der CDU die man auf die Schränke verteilen kann.

http://www.rearcool-rack.de/
 
Dass jemand hier kommt und sagt "kauf das" halte ich auch für unwahrscheinlich. Dafür ist das Thema doch sehr speziell.

Ich finde das LCP Rack CW-System von Rittal vom Konzept her ganz interessant. Zumal man damit zwei Racks mit der selben Einheit kühlen kann. Allerdings werden vollständig geschlossene Racks benötigt. Die Bedienungs- und Aufbauanleitung (PDF) ist definitiv aber ganz interessant.

Bevor ihr irgendwas kauft solltet ihr die technischen Daten sowohl vom Hersteller als auch vom Betreiber des Kühlwasser-Systems gegenprüfen lassen. So ein System ist ja auch nicht unendlich belastbar und ihr seit vermutlich auch nicht die einzigen Nutzer.
Apropos andere Nutzer: Seit ihr die einzigen die das Kühlsystem für Server nutzen? Evtl. kann man dort (RZ, andere Institute etc.) auf informeller Ebene etwas Wissen abgreifen. Muss ja kein Vollzeit-Consulting sein.
 
@Deadlock

Wie ist das mit dem Abwasser zu verstehen also offener Kreislauf (dann wird es teuer) oder per Rückkühler der einfach das Warmwasser über das anfallende Abwasser kühlt?

Bei den Serverschränken gibt es nicht viel zu beachten:

- die Racks sollten reinpassen
- die vom Hersteller spezifizierte Kühlleistung in Abängigkeit der Temperaturdifferenz sollte beachten werden
- die benötigten mind. Massenströme Wasser/Luft sollten eingehalten werden
- die allgmeinen Sicherheitsstandards sollten eingehalten werden (Dichtungssystem) etc.

Wie die Luft angesaugt wird (seitlich, unten etc.) ist eine reine Unternehmensphilosophie. Bei einer seitlichen Ansaugung müssen die Racks halt in einen mind. Abstand zueinander stehen, wenn die Luft von unten angesaugt wird, kann man die Racks dicht an dicht nebeneinander stellen.
 
Zuletzt bearbeitet:
Was sind denn das für Kaltwasseranschlüsse? Gibt es da irgendwo eine Kühlanlage auf dem Dach? Irgendwie müsst ihr das aufgewärmte Wasser auch wieder runter Kühlen. Wird das einfach nur per Radiator runter gekühlt oder per Klimaanlage.
Sind es Radiatoren, dann verabschiedet euch von dem Gedanken, dass da 14° Kaltwasser im Serverraum ankommen. Wenn im Sommer draussen 35° sind würde das Kaltwasser nie eine Temperatur von unter 35° erreichen können.

Die nächste Frage wäre dann, sind diese Radiatoren oder die Klimaanlage in der lage 15kw zu bewältigen.

Frischwasserleitungen werden es ja wohl nicht sein :rolleyes:.
 
Hi,

das wäre auch meine Frage: wie kriegt ihr die Wärme aus dem Raum bzw. wieder aus dem Wasser?

VG,
Mad
 
Zurück
Oben