Projekt Eigene Renderfarm bauen
- Ersteller misterk87
- Erstellt am
giessl
Lieutenant
- Registriert
- März 2010
- Beiträge
- 834
Piktogramm
Admiral
- Registriert
- Okt. 2008
- Beiträge
- 8.859
Kleine Anmerkung:
Ihr solltet mal messen wieviel die Farm an elektrischer Leistung zieht wenn sie in Betrieb ist und wieviel die sonstigen Verbraucher ziehen, die im selben Stromkreis/Sicherungskreis hängen. Im Zweifelsfall steckt mal jemand einen Staubsauger* in ne Steckdose die zum Stromkreis eurer Renderfarm und sonstigen Ausstattung gehört und die Sicherung löst aus. Je nachdem wie knapp ihr am Limit der Sicherung seid würde ich empfehlen alle Steckdosen die zu diesem Stromkreis gehören im Zweifelsfall abzudecken.
Ich will es nur angemerkt haben. Wäre nicht die erste Firma in der durch sowas die Belegschaft einige Minuten bis Stunden** arbeitslos die Zeit absitzt weil die Sicherungen ausgelöst haben
.
*Es gehen auch andere Verbraucher wie kleine Kilmaanlagen, Föhn, ...
**Wenn ein Server nach einem Stromausfall und ohne USV erstmal das Dateisystem prüft und die Konsistenz der Datenbanken ist ganz schnell ein ganzer Arbeitstag verloren! Also solltet ihr einen Server haben gehört der mit einem USV versehen und eigentlich auch an einen Stromkreis angeschlossen wo ansonsten keine anderen Verbraucher angeschlossen sind/werden! In eurem Fall wäre das 30TB NAS euer Server. Das letzte was ihr da haben wollt ist eine Konsistenzprüfung des Dateisystem/Raids nach einem Stromausfall!
Ihr solltet mal messen wieviel die Farm an elektrischer Leistung zieht wenn sie in Betrieb ist und wieviel die sonstigen Verbraucher ziehen, die im selben Stromkreis/Sicherungskreis hängen. Im Zweifelsfall steckt mal jemand einen Staubsauger* in ne Steckdose die zum Stromkreis eurer Renderfarm und sonstigen Ausstattung gehört und die Sicherung löst aus. Je nachdem wie knapp ihr am Limit der Sicherung seid würde ich empfehlen alle Steckdosen die zu diesem Stromkreis gehören im Zweifelsfall abzudecken.
Ich will es nur angemerkt haben. Wäre nicht die erste Firma in der durch sowas die Belegschaft einige Minuten bis Stunden** arbeitslos die Zeit absitzt weil die Sicherungen ausgelöst haben
.*Es gehen auch andere Verbraucher wie kleine Kilmaanlagen, Föhn, ...
**Wenn ein Server nach einem Stromausfall und ohne USV erstmal das Dateisystem prüft und die Konsistenz der Datenbanken ist ganz schnell ein ganzer Arbeitstag verloren! Also solltet ihr einen Server haben gehört der mit einem USV versehen und eigentlich auch an einen Stromkreis angeschlossen wo ansonsten keine anderen Verbraucher angeschlossen sind/werden! In eurem Fall wäre das 30TB NAS euer Server. Das letzte was ihr da haben wollt ist eine Konsistenzprüfung des Dateisystem/Raids nach einem Stromausfall!
- Registriert
- Juni 2010
- Beiträge
- 715
Danke für den Tipp. Eine USV steht auf jeden Fall auf unserer Einkaufsliste. Der Stromverbrauch der ganzen Farm liegt bei ca 1900 Watt unter Volllast. Das Einzige Problem ist höchstens der Einschaltstrom falls man mal die Steckerleiste aus und wieder an machen sollte. Dafür haben wir aber einen Anschaltstromdämpfer zwischengebaut.
Stromausfälle und Konsistenzprüfungen habe ich auch schon in anderen Firmen erlebt. Da heisst es dann erstmal: Kaffee trinken^^
Stromausfälle und Konsistenzprüfungen habe ich auch schon in anderen Firmen erlebt. Da heisst es dann erstmal: Kaffee trinken^^
Piktogramm
Admiral
- Registriert
- Okt. 2008
- Beiträge
- 8.859
Das USV solltet ihr wirklich bei Zeiten erwerben!
In deinem Blog steht ja etwas von einem 30TB NAS und wenn das Ding der Meinung ist eine Konsistenzprüfung durchzuführen ist das Ding wahrscheinlich deutlich länger als ein Tag beschäftigt und laut Murphy's Law kommt sowas immer am Tag vor Fälligkeit des Projekts!
Die Firmen die ich kenne sind normalerweise nicht zum Kaffeetrinken gekommen, denn 1/4 Tag Ausfall der IT ist normalerweise Grund zur Panik (vor allem weil die Kaffeemaschine nicht mehr betrieben werden durfte, hing schließlich mit am unterdimensioniertem Sicherungssystem
).
Naja und wenn das Konstrukt wirklich 1,9kW frisst würde ich wirklich prüfen welche sonstige Verbraucher an der selben Sicherung hängen und sonstige Steckdosen sichern, damit eben kein weiterer Großverbraucher mehr angeschlossen werden kann.
In deinem Blog steht ja etwas von einem 30TB NAS und wenn das Ding der Meinung ist eine Konsistenzprüfung durchzuführen ist das Ding wahrscheinlich deutlich länger als ein Tag beschäftigt und laut Murphy's Law kommt sowas immer am Tag vor Fälligkeit des Projekts!
Die Firmen die ich kenne sind normalerweise nicht zum Kaffeetrinken gekommen, denn 1/4 Tag Ausfall der IT ist normalerweise Grund zur Panik (vor allem weil die Kaffeemaschine nicht mehr betrieben werden durfte, hing schließlich mit am unterdimensioniertem Sicherungssystem
).Naja und wenn das Konstrukt wirklich 1,9kW frisst würde ich wirklich prüfen welche sonstige Verbraucher an der selben Sicherung hängen und sonstige Steckdosen sichern, damit eben kein weiterer Großverbraucher mehr angeschlossen werden kann.
core2e6300
Lt. Commander
- Registriert
- März 2007
- Beiträge
- 1.396
Kein Kommentar zur Wasserkühlung?
- Registriert
- Juni 2010
- Beiträge
- 715
Sorry überlesen.
Ja könnte man durchaus machen. Es mangelt uns aber an Erfahrung mit Wasserkühlungen und das hätte dann in unserem Fall wesentlich mehr Zeit gefressen. So sind wir auch flexibler und können auch einfach mal einen Rechner abstöpseln und als normalen Not-Arbeitsrechner benutzen.
Die Halbwertszeit von dem Ganzen Zeug ist ja sowieso so kurz, dass man in 2 Jahren ja sowieso wieder alles raus haut. Bei so ner Komplett Wasserkühlung wird das dann schwierig glaube ich.
Ja könnte man durchaus machen. Es mangelt uns aber an Erfahrung mit Wasserkühlungen und das hätte dann in unserem Fall wesentlich mehr Zeit gefressen. So sind wir auch flexibler und können auch einfach mal einen Rechner abstöpseln und als normalen Not-Arbeitsrechner benutzen.
Die Halbwertszeit von dem Ganzen Zeug ist ja sowieso so kurz, dass man in 2 Jahren ja sowieso wieder alles raus haut. Bei so ner Komplett Wasserkühlung wird das dann schwierig glaube ich.
Piktogramm
Admiral
- Registriert
- Okt. 2008
- Beiträge
- 8.859
Wasserkühlung ist viel zu aufwendig (Kosten Anschaffung, Aufwand für Instandhaltung etc). Selbst in Rechenzentrum wird mittlerweile überwiegend mit Luft gekühlt.
misterk87 schrieb:
Tja das liegt im Auge des Betrachters,
Wer ernsthaft die Cpu in Betracht zieht der macht diverse Gegenrechnungen
und kauft sich aber auch keine 12 itx boards bzw. Consumer HW, sondern Dual bzw. Quadsockel Boards.
Alleine schon die Rechnungen die Viele vergessen sind Energiekosten und Fläche = Kosten
Deswegen sehe ich das eher als Just for Fun an,
bzw. etwas womit man auch einen normalen unwissenden Kunden mal was zeigen kann.
Zuletzt bearbeitet:
- Registriert
- Juni 2010
- Beiträge
- 715
@WC_Ente
Da kann ich aber lange rendern bis die Energiekosten die hohen Anschaffungskosten wieder wettmachen. Preis Leistungs technisch gibt es für da nicht viel Vergleichbares. Eine Gute Workstation mit Dual-Sockel kostet auch gerne 5000€ und die kannst du nach 2 Jahren auch wegschmeissen. Da muss man vorher erstmal durchrechnen ob die Maschine das Geld wieder erarbeitet. Das ist bei einer Workstation noch vertretbar, aber nicht wenn man für 5 Angestellte auch noch eine kaufen muss ;-)
Da kann ich aber lange rendern bis die Energiekosten die hohen Anschaffungskosten wieder wettmachen. Preis Leistungs technisch gibt es für da nicht viel Vergleichbares. Eine Gute Workstation mit Dual-Sockel kostet auch gerne 5000€ und die kannst du nach 2 Jahren auch wegschmeissen. Da muss man vorher erstmal durchrechnen ob die Maschine das Geld wieder erarbeitet. Das ist bei einer Workstation noch vertretbar, aber nicht wenn man für 5 Angestellte auch noch eine kaufen muss ;-)
N
nurmalkurz
Gast
Und in der idle time Rosetta@Home laufen lassen
Was zieht das gesamte System @ Last?
Edit: 1,9kW. Eigentlich ziemlich effizient für die Rechenleistung.
Was zieht das gesamte System @ Last?
Edit: 1,9kW. Eigentlich ziemlich effizient für die Rechenleistung.
Zuletzt bearbeitet von einem Moderator:
core2e6300
Lt. Commander
- Registriert
- März 2007
- Beiträge
- 1.396
misterk87 schrieb:
Ok, dann macht eine Wasserkühlung natürlich wenig Sinn.
Piktogramm schrieb:
Instandhaltung ist einfacher als bei Luftkühler. Das Wasser muss nicht alle zwei Wochen getauscht werden. Einmal mit vernünftigen (!) Korrosionsschutz befüllt, hält der Kreislauf mehrere Jahre. Zudem ist es einfach den Staub aus den externen Radiatoren zu entfernen, als jedes Gehäuse einzeln zu öffnen und den Kühlkörper der CPU sauber zu machen. Gerade bei mehreren Systemen ein erheblicher Vorteil.
Zudem kostet der CPU-Kühler inkl. Anschlüsse nicht mehr als der Luftkühler. Jetzt kommen nur die Pumpe(n) und Radiatoren (+Lüfter) dazu, also sagen wir mal insgesamt 600€ (und das ist schon eher zu viel als zu wenig). 600€ geteilt durch 12 Rechner sind Mehrkosten von 50€ pro Rechner. Für ein angenehmes Geräuschniveau wäre das Budget bestimmt drinnen gewesen. Ich sehe da keine hohen Kosten...
Piktogramm schrieb:
Du vergleichst Äpfel mit Birnen. Natürlich würde ich keine WaKü in einem Rechenzentrum verbauen, was auch bei 19" Gehäusen wenig Sinn macht und einen erheblichen Mehraufwand bedeutet. Du vergisst aber, dass die Rechner vom Threadersteller im Büro laufen und man dort nicht die Lüfter von 19" Servern verbauen kann, die bei der Anzahl von Rechnern auf die Lautstärke einer Flugzeugturbine kommen würden.
- Registriert
- Juni 2010
- Beiträge
- 715
Ich kann mal ein kleines Video mit der Renderfarm im Idle und unter Volllast machen. Im Grunde nimmt man nicht viel von den ganzen Teilen wahr. Ein wenig Grundrauschen hat man ja eh. Wenn man die Teile aus macht merkt man einen unterschied, aber es stört nicht weil es ein ruhiges Rauschen ist ohne störende Piepgeräusche oder so. Ich kann das nicht anders erklären ;-)
Ich mach mal ne Aufnahme bei Zeiten.
Ich mach mal ne Aufnahme bei Zeiten.
DerBaya schrieb:
Nicht unbedingt,
Man baut es sich ja auch Selbst und Normal gibt's ja einige Prozente.
Und der Verkaufserlös denn es gibt, spielt da auch nochmal rein.
---------------------------------------------------------------------------
Letztes gebautes Sys. war ein QuadS. a 8 Cores 2700 euro Netto,
Kostet wie hier ein wenig mehr als 5 Rechner hat aber ca. die Leistung 6 1/2 Rechner
@TE
Dein Preisvergleich hinkt gewaltig,
du willst nicht allen ernstes selbstbau consumer PCs mit fertig PCs vergleichen oder?
Zuletzt bearbeitet:
- Registriert
- Juni 2010
- Beiträge
- 715
Von was für einer CPU redest du denn? Nur weil eine CPU viele Kerne hat ist sie ja noch lange nicht schnell. Ein Intel Xeon E5-2630 hat auch 6 Kerne und ist im Cinebench nur marginal schneller als der verbaute i7 4790. Kostet aber wesentlich mehr.
Oft ist es beim Rendern auch nicht verkehrt viele schwächere Rechner zu haben als eine große Mördermaschine. Bei großen Szenen muss diese vor jedem Frame erst compiliert werden, was dann gut und gerne mal 2 Minuten dauern kann. Diese Zeit ist im Grunde bei starken und schwachen Rechnern gleich. Bei vielen Bildern mit hoher Compilier-Zeit sind also viele Rechner dann im Endeffekt dann doch schneller.
Wenn mal ein Rechner bei uns kaputt geht haben wir noch 11. Wenn die Renderfarm aus 3 Rechnern besteht hat man nach einem Ausfall gleich 33% weniger Leistung. Ist auch nicht so günstig^^
Und der Vergleich hinkt nicht, denn 500 Euro kann ich dir bei ner selbst gebauten maschine ganz schnell zusammen legen. Wenn ich dann nämlich eine hochgezüchtete Maschine will, dann muss der Unterschied zu ner 1500 euro kiste auch zu merken sein, sonst lohnt das nicht.
Oft ist es beim Rendern auch nicht verkehrt viele schwächere Rechner zu haben als eine große Mördermaschine. Bei großen Szenen muss diese vor jedem Frame erst compiliert werden, was dann gut und gerne mal 2 Minuten dauern kann. Diese Zeit ist im Grunde bei starken und schwachen Rechnern gleich. Bei vielen Bildern mit hoher Compilier-Zeit sind also viele Rechner dann im Endeffekt dann doch schneller.
Wenn mal ein Rechner bei uns kaputt geht haben wir noch 11. Wenn die Renderfarm aus 3 Rechnern besteht hat man nach einem Ausfall gleich 33% weniger Leistung. Ist auch nicht so günstig^^
Und der Vergleich hinkt nicht, denn 500 Euro kann ich dir bei ner selbst gebauten maschine ganz schnell zusammen legen. Wenn ich dann nämlich eine hochgezüchtete Maschine will, dann muss der Unterschied zu ner 1500 euro kiste auch zu merken sein, sonst lohnt das nicht.