möchte mir eine Renderfarm bauen.

[Cyrian-Genesis]

Guten Morgen,

ich habe mich heute hier registriert, da ich mir ein paar Ratschläge und Meinungen von anderen
Profis einholen möchte.

Nun zum Thema: Ich mache gerne Animationen mit Cinema 4D und ich werde langsam besser,
was Details und Modellieren angeht.

Das Problem, welches ich nun habe ist, dass mir die Leistung ausgeht.
Aktuell habe ich eine HP Z420 mit einem Intel Xeon E5-1650, 32 GB Quad-Channel DDR3 und einer GTX 1080-Grafik.

Gerendert wird über die CPU mit Irradiance cache

Nun habe ich mir überlegt eine eigene Renderfarm zu bauen, welche aber möglichst kostengünstig aussehen sollte und einfach zu skalieren wäre.

Mit Onlinediensten habe ich bisher nur Mangelhafte Erfahrungen gemacht. Meist funktionierte das Plugin nicht oder
ich durfte die ganzen Rendersettings verunstalten, dass es am Ende ziemlich mies aussah. Sind ziemlich wählerisch.

Folgende Optionen habe ich durchstudiert aus Angeboten der Firmen-Auflösungsrechner von eBay

1. und einfachste Variante: beliebig viele kleine i5-PCs per LAN zusammenknoten
Kostenpunkt 150€ per Node und Leistung eher mittelmässig


2. schon etwas Gebastel aber machbar: 19" Rack mit Dual-Xeon Servern
Kostenpunkt 300€ für den Schrank und 200€ Pro Server (2010-2011er Baujahr)

3.von diesen Systemen habe ich noch keine Ahnung: Blade-Server
Kostenpunkt: 300€ für Blade-Gehäuse und 150€ pro Dual-Xeon-Bladeeinheit (auch 2010-2011 Baujahr)

Die Serverlösungen sind relativ Stromhungrig und Laut, aber rendere nicht besonders oft für lange Zeit am Stück.

Mfg

 

[Qarrr³]

Wie viel Geld willst du denn insgesamt ausgeben?

 

[konkretor]

Wieviele Kerne benötigst du denn?


https://geizhals.at/amd-ryzen-threadripper-2990wx-yd299xazafwof-a1840353.html?hloc=de

32 Kerne für 1800 €

 

[Lawnmower]

Würde das in die Cloud auslagern (Amazon, Azure, etc) weil

• CPU Leistung ist grundsätzlich recht günstig
• es ist flexibel skalierbar (Schieberegler für CPU, RAM und Speicherplatz)
• wenn nicht genutzt kostet es so gut wie nichts (oder je nach Anbieter gar nichts)
• keine Probleme mit hoher Wärmeentwicklung, Lärm, Stromkosten (und auch Strombedarf), physisch benötigter Platz inkl. Verkabelung etc
• nach der Hardware-Lebenszeit (die mit 0815 Hardware, die immer Vollgas läuft, sowiso reduziert sein dürfte) muss man nicht wieder viel Geld in die Hand nehmen.

Oder so als Mittelding ein vServer/Rootserver mit entsprechender Leistung. Nachteil: Musst Du i.d.R. jeden Monat bezahlen, auch wenn nicht benötigt.

 

[Ic3HanDs]

Denke auch die Cloud wäre hier am einfachsten zu handhaben. Du zahlst nur was du brauchst und musst dir keine Gedanken in Sachen Leistung, Verbrauch, Lautstärke oder ähnliches machen. Zudem kann dir die HW nicht ausfallen und es steht immer das neueste und schnellste zur Verfügung für kleines Geld. Wenn du wirklich sehr viel renderst und es mehr kosten darf kann man ja noch immer überlegen sich selber etwas hinzustellen. Aber bis du soweit bist rechnet sich noch lange die Cloud. Du brauchst ja auch nicht lange wenn du genug Leistung daher nimmst, dann kostet es auch nicht wirklich viel.

 

[kaji-kun]

In jedem Fall würde ich Abstand von irgendwelcher alten Hardware nehmen die selbst schon 7jahre auf dem Buckel hat.

Wenn du doch selbst die HW anschaffen möchtest, dann würde ich mir nen Threadrippersystem zulegen - zum Start vielleicht mit ner gebrauchten cpu aus der 1. Generation und wenn die Leistung zu wenig ist/wird, kannst immer noch auf nen 2990WX umsteigen...

 

[Cyrian-Genesis]

Geld insgesamt, hmm schwer zu sagen. Sollte wie gesagt skalierbar sein, dass ich einfach nachrüsten kann. Oder auch, wenn mal eine Node kaputt gehen sollte.

Kann sein, dass ich in 5 Jahren 20 Nodes hier habe oder auch nicht.

Cloud Angebote sind auch relativ teuer, wenn man viel CPU Leistung benötigt und manche Anbieter nutzen eine monatliche Pauschale. Ich rendere aber nicht den ganzen Monat lang.

MS Azure hatte ich schon mal in einem Firmeneinsatz gesehen und die Leute dort haben es gehasst!

 

[TSKNF]

Er hat ja schon zum Ausdruck gebracht, das die Cloud nicht wirklich das macht was sie soll. Aber die Idee mit dem Threadripper wäre doch wirklich perfekt. Würde das Teil gerne mal Live beim "rippen" sehen.

 

[Cyrian-Genesis]

Als Nodes für meine erste Version mit den verknoteten LAN-Rechnern hätte ich Thinkcentres genommen.
Hab davon einen uralten im 24/7 Betrieb als Dateiserver im Keller stehen.

Ergänzung (22. August 2018)

Mit Cloud meinte ich diese online Renderfarmen.
Denke, das Ic3HanDs einen Root-Server meinte auf dem ich nativ den Team Render Client installieren könnte.

Ergänzung (22. August 2018)

Das Problem beim Threadripper wäre aber der hohe einmalige Kostenfaktor.
Bin momentan Geringverdiener (Teilzeit) und bräuchte ein Jahr, um ein Neusystem zu ersparen.
Die Komponenten beim Neusystem sollen ja auch was taugen, vor allem das Netzteil und Mainboard.

Ergänzung (22. August 2018)

Eigene Hardware wäre zu bevorzugen, auch weil ich das persönlich mag.
So, bis heute Abend. Muss was schaffen.

 

[Inxession]

Wie du schon richtig festgestellt hast, kommst du aber mit der Cloud Basis auch nicht günstiger weg auf Dauer und bei gebrauchten Geräten kaufst du die Katze im Sack.

Einen TR 16 Kerner der ersten GEN kaufen und wenn es hart auf hart kommt die Ratenzahlung nutzen die viele Händler anbieten.
Dann kannst du sollte es nötig sein, problemlos auf 32 Kerne aufrüsten und hast neue Hardware mit Garantie und Leistung satt.

 

[Lawnmower]

Weiss zwar nicht was Du angeschaut hast bei den Preisen, aber bei Azure beispielsweise kostet eine Instanz mit 16 Cores, 112 GB RAM und 1.8 TB Speicherplatz 1.82 Euro / Stunde exkl.
Eine wesentlich potentere Variante mit 64 vCPU, 256 GB RAM und 1.6 TB Platz 5.3 Euro / Stunde exkl. Hosting jeweils in Holland, abgerechnet wird auf die Sekunde genau.
Da kann ein einzelnes, in dem Verhältnis total schmürzeliges TR System das Du für mehrere 1000 Euro kaufst, niemals mithalten.

https://azure.microsoft.com/de-de/pricing/details/cloud-services/

 

[Roesi]

Ich würde Dir auch den Threadripper empfehlen.

 

[Fragger911]

zu Variante #1:
Wie viele i5 braucht man eigentlich, um die Renderleistung eines 16-Kern Threadrippers in dem Szenario zu erreichen? 4, 5 oder 6 Stück?
Man hat dann auch ebenso mehr Rechner rumstehen die Radau machen, warme Luft produzieren und das Ausfallrisiko erheblich steigern. Also für mich klingt das nach einer sehr halbgaren Idee.

 

[Ic3HanDs]

Ich dachte eigentlich an Amazon AWS, da bekommst eine Stunde Rechenzeit mit 16 Kernen für knapp unter 1$. 48 Kerne mit 192GB Ram für unter 3$. Denke das rendert erheblich schneller und ist günstiger als selber den Strom etc dafür zu zahlen.

Hier mal die Preisliste.

Da zahlst ja auch nur das was du wirklich brauchst. Besser geht es quasi doch garnicht?

 

[Fragger911]

https://geizhals.eu/?cat=cpuamdam4&xf=12099_Desktop%7E590_boxed+ohne+K%FChler%7E820_TR4

Nur noch gut 600€ für den 1950X... sehr viel günstiger wird es wohl nimmer werden. Wobei die 400€ für den 12er einfach der Hammer sind... (wie war das bei Intel nochmal? Zahnpasta bei der HEDT-Plattform?)

 

[Roesi]

Ich dachte eigentlich an Amazon AWS, da bekommst eine Stunde Rechenzeit mit 16 Kernen für knapp unter 1$. 48 Kerne mit 192GB Ram für unter 3$. Denke das rendert erheblich schneller und ist günstiger als selber den Strom etc dafür zu zahlen.

Hier mal die Preisliste.

Da zahlst ja auch nur das was du wirklich brauchst. Besser geht es quasi doch garnicht?

Damit gibst Du Deine Daten aber an andere weiter.
Das mag Privat ok sein, aber als Firma sieht das schon anders aus.

 

[Ic3HanDs]

Du hast dort im Endeffekt deinen eigenen Server wo nur du dran kommst, wo gibst du da Daten weiter? Aber so oder so ist das in diesem Fall nicht der springende Punkt denke ich Das Firmen damit teilweise ein Problem haben können ist mir schon klar.

 

[wahli]

Alte HW ist blödsinn - braucht viel Strom, ist laut und fällt schneller aus. Und die Leistung ist auch oftmals nicht so toll.
Ich würde auf ein TR-System sparen, auch wenn es ein Jahr dauert. Aktuell wäre der alte 16 Kerner interessant (ca. 600€), aber vermutlich reicht auch dafür das Geld nicht?

Vielleicht solltest du dir einen besseren Job bzw. einen Vollzeitjob suchen, dann verkürzt sich die Wartezeit

 

[Lawnmower]

Das Firmen damit teilweise ein Problem haben können ist mir schon klar.

Vorallem weil es Azure ja auch in der Telekom betreuten isolierten Deutschland Cloud gibt - wegen den strengen Gesetzen.

Falls dem TE die Leistung eines einzelnen TR Systems reicht - OK - kann man machen - da ist auch der Bastelfaktor noch gegeben (würde ich auch so machen wenn ich das Teil öfters bräuchte).
Aber er hat von mehreren i5 gesprochen - die werden kummuliert mehr Leistung haben als ein einziges TR System.

 

[Spawn182]

Wäre gut, wenn du deine Projekte, die du da stemmen möchtest genauer präzisierst. Ich kann nur aus der 3ds Max Perspektive berichten, meist nutze ich V-Ray für meine Projekte.

Ich habe den Gedanken einer eigenen Farm schon vor Jahren aufgegeben, da es für eine einzelne Person ohne massive Auslastung schlicht unwirtschaftlich ist. Zum einen sind da die Projekte, Stills kann ich mit gutem Zeitmanagement über Nacht auf meiner eigenen Hardware finalisieren und für Animation kann die eigene Farm nie schnell genug sein, also wird man immer den Wunsch nach noch mehr Leistung haben.

Also fahre ich folgende Lösung, eine sehr starke Workstation (in meinem Fall ein i9 mit 18 Kernen - Singlethread Leistung überwiegt beim Arbeiten) und ein Backup System, welches als Fallback bei Problemen mit der Workstation dient und sonst als Sklave unter die Arme greift. Das Backup ist meist meine "alte" Workstation, sprich in zwei Jahren wird das mein 18 Kerner sein. Sollte es mal richtig gut laufen würde ich die WS zweimal kaufen um ein geringeren administrativen Aufwand zu haben. (Ich habe noch einen dritten Rechner, den ich mit zu Kunden nehme, vom dem ich remote auf mein heimisches Setup zugreife.)

Alles was dieses Setup nicht Zeitnah rendern kann (finale Animationen), landet dann bei Rebusfram. Super Leute, immer erreichbar wenn es mal haken sollte und ein Preisleistungsverhältnis, welches durch eigene Hardware nicht zu toppen ist. Auch ein eigenes Cloud Setup ist da nicht preiswerter zu bewerkstelligen. Klar musst du dein Workflow ein wenig anpassen, aber die rendern genau mit der gleichen Software, nur eben in der Farm, sprich es werden die gleichen Settings genutzt, die du dann auch in der heimischen Farm nutzen müsstest.

"Alte" Hardware ist grundsätzlich nicht effizient genug. Um so mehr Kisten du hast, um so mehr administrativer Aufwand fällt an und skalieren tut das ja auch nicht zu 100%. Vom Stromverbrauch will ich garnicht reden, viel Spass mit nem Bladeserver . Ferner brauchst du Unmengen RAM ab bestimmten Projektgrößen und ab einer gewissen Menge an Nodes auch ein sehr leistungsstarkes Storage System, das die Daten schnell genug liefert und ab den Punkt geht es mit 10Base-T etc pp los.

Als Hobby oder Spielerei kann man das eventuell noch gut heißen, im semi professionellen Bereich schon nicht mehr. Hol dir einen Threadripper oder vergleichbares mit vielen Kernen und gut ist. Brauchst keine Dicke Infrastruktur bauen und RAM muss nur für eine Kiste angeschafft werden.

Mein 18 Kerner steckt, die vier Kisten die ich gerade bei einem Kunde als Farm nutze locker in die Tasche. Und er verbraucht im Idle eben nur ein viertel und unter Last auch noch weniger als die vier Kisten und geh mal davon aus, dass deine Farm am Ende doch mehr idled als unter Last steht.