Projekt Eigene Renderfarm bauen

[misterk87]

Hallo Miteinander.
Ich habe mir vor Kurzem mit einem Kollegen eine Renderfarm gebaut bestehend aus 12 einzelnen Rechnern. Voraussetzung war ein leiser Betrieb, stromsparend, bezahlbar und weil das Teil im Büro steht auch eine angemessene Optik.

wir haben uns für folgende config entschieden:

CPU Intel Core i7 4790 4x 3.60GHz SSD 128GB Crucial MX100 2.5" Thermalright AXP-200 Muscle be quiet! PURE POWER L8 300W 16GB Kit Crucial Ballistix Sport Series MB ASROCK H81M-ITX Intel H81 So.1150 Cooltek Coolcube ITX Tower

221,38€ 48,81€ 29,55€ 31,08€ 104,95€ 44,37€ 40,43€ 520,57€

Größte Herausforderung war es, das Ganze in dem kleinen Raum gut gekühlt zu bekommen und das bei Dauerlast über mehrere Tage. Die die Nähe des CPU Kühlers zum Netzteil reicht der Netzteillüfter im Idle zum Kühlen sogar noch vollkommen aus. Der CPU Lüfter steht dann still.

Ansonsten kann man sagen, dass IKEA Möbel immer wieder gut für sowas sind.

Einen ausführlichen Bericht auf Deutsch und Englisch und weitere Bilder haben wir in unserem Blog zusammen geschrieben:
http://www.fuchsundvogel.de/blog/2015-02-03-building-your-own-renderfarm

Vielleicht findet es ja anklang;-)

 

[Uwe F.]

Weihnachten für Große Jungs

 

[Cruzadar]

Wären Grafikkarten zum Rendern nicht deutlich besser gewesen?

 

[core2e6300]

Interessantes Setup, sieht gut gelungen aus.
Vielleicht habt ihr euch vorher Gedanken dazu gemacht, aber evtl. wäre eine Wasserkühlung für alle PCs möglich gewesen.
Wenn alles vernünftig aufgebaut wurde, sollte eine WaKü weniger Wartungsaufwand haben als eine Luftkühlung - z.B. entfällt der Staub im CPU Kühler und die externen Radiatoren könnte man schnell vom Staub befreien. Mit zwei, vielleicht drei großen MoRa Radiatoren und entsprechenden Pumpen wären die CPUs sehr geräuscharm gut kühlbar.

 

[Baya]

Schaut ja richtig cool aus

Was genau wird dann mit den PCs gemacht? Welches OS läuft da drauf?

 

[BOBderBAGGER]

Ihr habt also 12 Office Rechner mit einem i7 gebaut und in ein Regal gestellt ?

Wie ist das mit der Lautstärke wenn die alle 12 vollast laufen?

 

[misterk87]

@Uwe F.
Ja schon!
Die Freude lässt nur ein wenig nach wenn man auf einen Schlag 15.000 € los ist ;-)

@Cruzadar
Grafikkarten haben wir jeweils 3 GTX 780 in unseren Workstations. CPU ist beim Rendern momentan einfach noch weiter und flexibler. GPU-Rendering benutzen wir aber auch wo es sinn macht. Wir benutzen dafür Octane. Die haben kein Node Lizenz system. Heißt also man muss für jeden Render Client die Vollen knapp 500 euro blechen und das ist dann nur für Render-Nodes ein bisschen teuer momentan.

@DerBaya
Wir rendern damit 3D Bilder. System ist Windows 7

@BOBderBAGGER
Das ist richtig. Das sind aber keine Office Rechner sondern Render-Nodes die wir hauptsächlich mit VRay benutzen.

 

[SgtIcetea]

Coole Sache mit den kleinen Klo-Cubes

 

[WC_Ente]

CPU Rendering ist erst ab 1000 stk. sinnvoll nutzbar,
darunter sollte man bei Gpu Rendern bleiben.

Aber gut warum nicht,
was 15x i7 leisten macht auch eine 290 bzw. der Fire W8100
bzw. bei NV eben 970/980 die ganze kepler serie war nie schneller beim render als eine 580

 

[zeromaster]

Ist das wirtschaftlich? Also habt Ihr das sauber kalkuliert inkl. erwarteter Auslastung, Vergleichen, etc.?^^ Oder ist es am Ende mehr Spaß an der Freude und praktisch?

Schick ist es auf jeden Fall.

 

[misterk87]

entfernt

Rendern ist ein großer Bereich. Wenn ich mit einem CPU Renderer arbeite und schöne Bilder render, nützt mir eine GPU garnix. Ich weiß nicht von welchem Gebiet du da sprichst, aber deine Aussage bezogen auf den 3D-Design Bereich ist Quark ;-)

@zeromaster
Das ist auf jeden Fall durchkalkuliert. Die Teile laufen sehr oft. Ansonsten müssten wir extern rendern, was auch nicht gerade billig ist und man hat zudem das Problem die ganzen Daten immer hin und her zu schicken. Das ist scho bei manchen NDAs garnicht erlaubt.

 

[Peppow]

Tolle Sache!
Mehrere Fragen:
-Warum kein Coolcube Mini?
-Warum nen 24 Port Switch und nicht 16?
-War das Ziel es extra klein zu bekommen? Falls ja, warum nicht alle MBs übereinander in ein Rahmen und mit einem oder zwei fetten ATX Netzteilen mit selbst konfektionierten Kabeln? Das ganze dann schön verkleidet.
-Was läuft auf den Teilen?

 

[misterk87]

entfernt

- Da wir sowieso vor hatten das Teil in ein Regal zu stellen war es nicht wirklich wichtig noch viel kleiner zu werden. Da haben wir dann zu der etwas größeren Version gegriffen.
- Damit wir noch ein Wenig Luft für ein paar Weitere Cubes haben. Oben drauf ist ja noch Platz ;-)
- Das wäre uns zu viel Gebastel gewesen und in unserem Fall nicht wirtschaftlich
- Windows 7 mit Royal Render und Cinema 4D

 

[Baya]

Und wie wird darauf gearbeitet? per Remote-Desktop oder wie darf mich mir das vorstellen?

Nochwas zu den PCs, genauer zur Kühlung:

Das Netzteil sitzt mit dem Lüfter ja genau über dem CPU-Kühler...
Der Lüfter vom NT saugt ja raus, der Lüfter auf'm CPU-Kühler versucht auf den Kühlkörper zu blasen oder?
So "bekriegen" die beiden sich ja gegenseitig oder?

@jurrasstoil: Aha, Danke Wieder was gelernt

 

[jurrasstoil]

@DerBaya die Workstation ist mit den Slaves verbunden und schickt dann via Distributed Rendering die Projekte und Daten zur Berechnung an diese. Bei VRay flitzen dann sogenannte "Buckets" über das Bild und rendern vor sich hin.

Sieht dann so aus:

https://www.youtube.com/watch?v=b2LqeSQEEjA&feature=player_detailpage#t=303

 

[Piktogramm]

Wie wird so ein Renderjob eigentlich bei euch verteilt? Ein Job je PC oder unterstützt die Software gar das Verteilen eines Jobs auf mehrere Rechner?

Welche Software eigentlich? Es klang so als würded ihr Octane nur auf den Workstations einsetzen?!

Edit: Fragen teils schon beantwortet, hätte mal [F5] drücken sollen

 

[misterk87]

Und wie wird darauf gearbeitet? per Remote-Desktop oder wie darf mich mir das vorstellen?

Genau wie jurrasstoil das schreibt.
Allerdings haben wir mit RoyalRender auch noch einen Rendermanager auf einem extra Rechner laufen. Hierüber können wir Jobs von unseren Workstations einstarten und der Rendermanager verteilt diese dann an die Render-Nodes und man muss sich um nichts mehr kümmern. Das benutzt man bei Animationen. Hier wird jedem Rechner eine gewisse Frame Range zum rendern gegeben.

Distributet Rendering ist für große Einzelbilder super, die auf einem Rechner stunden rendern würden. So kann man sich dann quasi die Power aller Rechner direkt in die Workstation holen und rendert dann mit allen Rechnern an einem einzelnen Bild.

@Piktogramm
Wie schon erwähnt benutzen wir Royal Render als Rendermanager. Das Teil ist auch mit relativ allen Programmen auf dem Gebiet kompatibel und liefert auch gleich Plugins mit. Man kann also direkt aus Cinema 4D in unserem Fall einen Job auf die Farm schmeissen. Und über den RoyalRender Controller hat man dann ein Interface, was einem alle Daten liefert und man sich auch bequem den aktuellen Stand ansehen kann usw. Nicht billig aber jeden Cent wert.

 

[Tranceport]

Schöne Sache, ich hätte allerdings ein Gehäuse mit etwas größerem Volumen genommen, Platz wäre im Regal noch ausreichend gewesen. Solche kleinen Cubes sind meiner Erfahrung nach recht zickig zu kühlen (bei meinem Cube allerdings auch aufgrund der GPU), speziell im Sommer. Da war der Kühler genauso nah am Netzteil.

 

[mouzzza]

Nettes Projekt für welches ich mir nen neuen Gebrauchten gekauft hätte

Eine Frage dazu hätte ich aber, wie laut ist das Ganze nun?
Ich kenn die Netzteilserie (siehe Signatur) und bin auch sehr zufrieden, jedoch im Verbund wird das Ganze doch eher einem Serverraum ähneln, oder?

 

[misterk87]

Ich kenn die Netzteilserie (siehe Signatur) und bin auch sehr zufrieden, jedoch im Verbund wird das Ganze doch eher einem Serverraum ähneln, oder?

Wenn man mit Prime95 die CPU komplett auslastet dann drehen die Lüfter schon gut hoch. VRay und Co stressen die CPU aber nicht im Ansatz so wie Prime, daher ist das Ganze lediglich als ruhiges Grundrauschen im Hintergrund wahrnehmbar. Also mit der Lautstärke eines Serverraums hat es nichts zu tun. Das war auch eine Voraussetzung für das Teil.
Unsere 3 GTX780 sind unter Last zumindest lauter als die ganze Farm ;-)