Wasser-Kühlung für 12x RTX 4090

[brooker]

... kann auch ein Montagethema sein. Immer zuerst die 4 Schrauben um die GPU herum langsam und über Kreuz anziehen bis auf max. Drehmoment. Dann von innen nach außen weiter, damit es keine Verspannungen gibt. Ich hatte vor Jahren eine 970er aufm Tisch mit Watercool Kühler, welche sehr präsise gearbeitet sind. Die GPU Temp lag bei miesen 78°C. Ich habe den Kühler demontiert und so wie er war, nur als Versuch ob was klemmt oder so, neu aufgesetzt und verschraubt. 48°C und alles in Butter. Durch die Montage des Users hab es Verspannungen, welche sich negativ auf das Anpressverhalten ausgewirkt haben. Und Achtung: auch zu festes Anziehen ist negativ! Das PCB sollte wenn nur minimal gekrümmt sein.

 

[Duke711]

Sind solche Systeme überhaupt sinnvoll mit WaKü-Systemen aus dem Consumer-Bereich kühlbar?

Die günstige Lösung wäre einfach eine Wasserpumpe aus dem Gartenbereich und die Kühler und Radiatoren werden alle parallel geschaltet. Alles andere ist nur teuer und taugt nichts. Ich würde mir da keine sechs kleinen PC Pumpen für mehrere hundert Euro verbauen. Bezüglich Radiator könnte man auch im Klimabereich schauen. Auch hier kann man viel Geld sparen. Denn viele 140 mm können teuer und auch ineffizient werden. die 200 mm Lüfter sind auch nicht gerade günstig. Dann eher ein 400er Industrielüfter.

Also z.B. sowas:

Radiator

Wenns etwas mehr sein darf:

Link

 

[brooker]

@hbaerbel ... wie schaut es denn gerade aus? Läuft es so wie gedacht?

 

[hbaerbel]

@hbaerbel ... wie schaut es denn gerade aus? Läuft es so wie gedacht?

Habe die letzten Wochen damit verbracht mich weiter einzulesen und die Komponenten zu beschaffen. Ich hab jetzt erstmal nur für 6 GPUs Material beschafft.
Aktuell sind die Server 24/7 unter Volllast. Daher bleibt mir erstmal nur alles bis auf den GPU-Umbau vorzubereiten und auf den Abschluss der aktuellen Rechen-Session zu warten.

 

[brooker]

Habe die letzten Wochen damit verbracht mich weiter einzulesen und die Komponenten zu beschaffen. Ich hab jetzt erstmal nur für 6 GPUs Material beschafft.
Aktuell sind die Server 24/7 unter Volllast ... auf den Abschluss der aktuellen Rechen-Session zu warten.

... bin gespannt. Wie möchtest du die 6 final einbinden?

... was Rechnen die GPUs gerade, dass du nicht unterbrechen kannst?

 

[hbaerbel]

... bin gespannt. Wie möchtest du die 6 final einbinden?

Geplant ist je 3 GPUs in einem Kreislauf zusammen mit einem MoRa3 420 LT zusammenzufassen. Ob parallel oder in Reihe muss ich testen. Der Kühler-Typ ist bei allen 6 GPUs identisch.

... was Rechnen die GPUs gerade, dass du nicht unterbrechen kannst?

Aktuell wird ein neuronales Netz auf Tensor-Flow Basis mit großen Datenmengen neu trainiert. Der NVIDIA-Linux-Treiber <525.105.17 hatte einen Bug der den parallele Speicherzugriff für das Machine Learning verhindert hat (NCCL-Bug). Nach dem letzten Bug-Fix und Treiber-Update durch NVIDIA kann das Training nun mit maximaler Performance erneut durchgeführt werden.

 

[eRacoon]

Kannst du vom Endergebnis bitte mal Bilder einstellen?
Würde das gerne mal sehen wie das ausschaut.

 

[MojoMC]

Sehr interessantes Projekt.

Das zugehörige Geschoss ist ca. 200m² groß. Das halte ich bei geschlossenen Fenstern im Winter locker bei molligen 25°.

Wir haben auf der Arbeit auch Chiller für unsere Laser und entweder wird der Raum heiß wenn man Luft-Wasser-Chiller verwendet, oder man hat dauerhaft einen riesigen Wasserverbrauch wenn man Wasser-Wasser-Chiller verwendet…

"Bei Bedarf Fenster öffnen" ist witzig. Die sind jetzt schon alle (5) dauerhaft weit angekippt, eines hab ich ganz offen und ein Gebläse davor montiert. Auch bei frostiger Außentemperatur bleibt so die Raumtemperatur bei über 20°C.

Wenn ich die Radiatoren indoor betreibe liegt die Raumtemperatur ab Frühjahr selbst bei offenen Fenstern schnell bei 50°C.

Kranplätze müssen verdichtet Serverräume müssen klimatisiert sein - denn durch simple Belüftung kriegst du die Abwärme aus deinem Raum ja nicht raus.

Normale Wasserkühlkomponenten helfen dir auf jeden Fall, die Hitze besser von den Karten wegzubringen, aber der Wärmeeintrag in den Raum bleibt gleich. Bist du denn fest entschlossen, Radiatoren aussen anzubringen?

Ich hätte ehrlich gesagt bei den drei großen deutschen Herstellern mit Industrie-Erfahrung (Aqua Computer, Watercool und Alphacool) nachgefragt, welche Lösungen die für deinen unklimatisierten Raum vorschlagen. Die werden ja nicht nur mit dem typischen Rechenzentrum Erfahrungen gesammelt haben...

 

[hbaerbel]

Hallo Zusammen,

ich hab gestern mit der Installation der ersten Loop begonnen und wollte mal kurz meinem Unmut Luft machen. Die Geschichte mit den Schläuchen und den Fittings ist ein Kampf. Das Zeug macht mich wahnsinnig. Inzwischen brauch ich ein paar neue Hände. Ich bekomm teilweise ums Verrecken die Überwurfmutter nicht auf den Fitting. Allein das Aufstecken des Schlauches ist schon ein ziemlicher Gewaltakt. Wenn ich dann alles zusammen hab dreht sich beim Festschrauben der Überwurfmutter der Schlauch mit und schraubt den Fitting auf der Gegenseite wieder aus dem Innengewinde. Muss das so sein? Gibts da n Trick?

Der Umbau der GPUs auf WaKü war dagegen ein Kinderspiel.

 

[PCTüftler]

Welche Kombination aus Schlauch und Fittings nutzt du denn? Ansonsten hilft es den Schlauch vorher etwas feucht zu machen ... hmm, in was für einem Forum sind wir gerade? 🤔

 

[hbaerbel]

Der Schlauch ist ein EK-Tube ZMT Schlauch 16/10 mm. Die Fittinge sind von Alphacool.

Ich hab jetzt alles zusammen und auch dicht. Leider gab es auch schon Verluste.
Beim Befüllen, ich hab für die erste Befüllung Leitungswasser verwendet, mit laufender Pumpe ist mir ein Spritzer Wasser ins 2000W Netzteil geraten. 450€ Schaden....

 

[Pjack]

Sicher, dass es Defekt ist? Müsste ja dann einen ordentlichen Rums gegeben haben?

 

[hbaerbel]

Oh ja, volles Programm, mit Rums, Gestank und Sicherung raus.
Ganz sicher defekt.

 

[eRacoon]

Hilft zwar jetzt nicht mehr viel aaaaber...
1) Kein Leitungswasser nehmen!
2) Mit Flüssigkeiten weit weg vom NT hantieren, wenn das nicht möglich, Stromkabel trennen bis fertig!

 

[rille]

Der Schlauch ist ein EK-Tube ZMT Schlauch 16/10 mm. Die Fittinge sind von Alphacool.

Hättest du den Schlauch von Aquacomputer und die EK Torque STC genommen, hättest du diese Probleme nicht. Es ist halt leider so, dass nur manche Kombinationen gut zu verarbeiten sind. Auch die Barrow-Fittinge, die Aquacomputer zu ihrem Schlauch anbietet, sind schon wieder ziemlich straff und nicht wirklich gut zu verarbeiten.

Der EK-Schlauch soll - wie der Alphacool - auch eher steifer sein, Aquacomputer und Watercool sind weicher.

 

[na:L]

Hallo Zusammen,

ich hab gestern mit der Installation der ersten Loop begonnen und wollte mal kurz meinem Unmut Luft machen. Die Geschichte mit den Schläuchen und den Fittings ist ein Kampf. Das Zeug macht mich wahnsinnig. Inzwischen brauch ich ein paar neue Hände. Ich bekomm teilweise ums Verrecken die Überwurfmutter nicht auf den Fitting. Allein das Aufstecken des Schlauches ist schon ein ziemlicher Gewaltakt. Wenn ich dann alles zusammen hab dreht sich beim Festschrauben der Überwurfmutter der Schlauch mit und schraubt den Fitting auf der Gegenseite wieder aus dem Innengewinde. Muss das so sein? Gibts da n Trick?

Der Umbau der GPUs auf WaKü war dagegen ein Kinderspiel.

Bisschen destiliertes Wasser mit Spülmittel (Fit oder was du da hast) zum Schmieren. Funktioniert einwandfrei, ZMT + EK Fittinge find ich auch ne Qual.

 

[immortuos]

Hilft zwar jetzt nicht mehr viel aaaaber...
1) Kein Leitungswasser nehmen!
2) Mit Flüssigkeiten weit weg vom NT hantieren, wenn das nicht möglich, Stromkabel trennen bis fertig!

Und zum rumprobieren und Befüllen nie ein teures Netzteil unter Strom setzen, immer irgendwas uraltes und billiges nehmen. Aber gut, passiert ist passiert.

 

[hbaerbel]

Hallo Zusammen,
kurzes Update:
Gestern Netzteil getauscht, das System läuft jetzt wieder. Die erste Loop mit 3 GPUs ist in Betrieb und ich bin begeistert. Den Mo-Ra hab ich im Nachbarraum montiert und die Leitung durch die Wand gelegt. Die 4Pin PWM-Leitung für die Lüfter-Phalanx musste ich mir selbst konfektionieren. 2 oder 3m Leitungen gibt es nicht im Handel. Hier noch eine Draufsicht. Die Verkabelung ist noch etwas wild aber zweckmäßig.

Die 3 GPUs laufen selbst bei Volllast nicht über 63°C während die lüftergekühlten Versionen bis zu 82°C warm werden.

In den kommenden 1-2 Wochen werde ich die nächsten 3 GPUs umrüsten.
Nochmal Danke für die viele Unterstützung.
Grüße

 

[MonteSuma]

Geiles Projekt, bin richtig neidisch, dass du so viel basteln darfst. Bei mir leider teures Hobby und kein Beruf. Wünsche weiterhin viel Erfolg!

 

[brooker]

Beim Befüllen, ich hab für die erste Befüllung Leitungswasser verwendet, mit laufender Pumpe ist mir ein Spritzer Wasser ins 2000W Netzteil geraten. 450€ Schaden....

... Mist! Da hast du nun richtig Lehrgeld gelassen.

Tip: je nach dem wie der Aufbau ist eine kleine Wanne über die gefährdeten Bauteile stellen, oder ein passender Zuschnitt aus Karton der mit Frischhaltefolie wasserdicht wird und zur Flüssigkeitsaufnahme mit 4 Lagen Küchenrolle belegt (fixiert mit Gummis) ist.

Ergänzung (18. April 2023)

Die erste Loop mit 3 GPUs ist in Betrieb und ich bin begeistert. Den Mo-Ra hab ich im Nachbarraum montiert
Anhang anzeigen 1348519

Die 3 GPUs laufen selbst bei Volllast nicht über 63°C ...
Anhang anzeigen 1348518

Frage: zur Anordung und Bewertung der Temperaturen.

1. Anordnung: Pumpe>GPU2>GPU0>GPU5 ...?

2. Umgebungstemperatur im "MORA-Zimmer"?

3. Temp Kühlflüssigkeit Einkauf -und Auslauf?