Fragen über Fragen zwecks Cluster (Linux Cluster)

[Slopestyle-1]

Hallo erstmal, ich weis nicht so recht in welche Kategorie ich es rein knallen soll, meinen Beitrag aber naja.


Ich würde gerne Wissen wie man ein Cluster aufbaut und was man dafür alles braucht?, hab mir schon paar Seiten angeschaut nun ja hab nicht viel trüber gefunden, kennt sich vielleicht jemand aus damit? Würde gerne wissen wie man das Cluster aufbaut was für ne Softwar Notwendig ist und obs da Freeware Programme gibt die jemand nennen kann? und ob man das Cluster auch unter XP laufen lassen kann oder nur unter Linux (weils ja früher nur ein Linux Cluster war)


Hoffe mir kann jemand Helfen!
Bevor die Frage kommt warum ich das machen möchte mit denn Cluster, ich wills einfach mal mit meinen Kumpels ausprobieren.

MfG. André

 

[kronmasta]

bin zwar kein experte, aber funktionieren tuts auch mit standard-hardware/software. Als proffesionell kann man aber einen pc-cluster, der mit 100/1000Mbit-Lan-verkabelt ist nicht. Da gibts dann spezielle Netzwerke auf optischer basis z.B. oder gleich spezielle server...

@home hab ich nur ein paar anwendungsmöglichkeiten dafür. Für Gentoo-Linux kann man z.B. das kompilieren der Pakete auf mehrere Linux-Rechner im Netzwerk verteilen. Für gewisse Video-komprimierer kann man dessen aufgabe auch auf mehreren rechnern verteilen.

Sonst kann man sowas für'n heimgebrauch eigentlich nicht brachen?!

bedenke! Du brauchst immer Anwendungen, die für sowas optimiert sind!

 

[Spi12]

Ich denke es ist auch einfach ein wenig die Neugier an der Technik, die dahinter steht.

Die großen Renderer (C4D und Konsorten) können auch verteilt rendern, also auch im Cluster.

 

[Slopestyle-1]

Also ich hab ja wie gesagt paar Bilder im Internet gesehen, aber das sah alles so aus als währe es normale Hardware, nix besonderes, so weit ich weis werden die PC alle mit einen ich sag mal Server verbunden im Netzwerk mit ein Hub oder Router is glaube ich egal, Hauptsache verbunden, is bloß schade das man darüber nix findet großartig.

Und nur als Beispiel, könnte man mit so ein Cluster auch schneller Filme umwandeln in andere Formate? oder funktioniert dies nur mit Render Software oder Berechnungen? Und was is wenn die Software nicht Optimiert ist für ein Cluster?

 

[SharenZ]

Also ich hab ja wie gesagt paar Bilder im Internet gesehen, aber das sah alles so aus als währe es normale Hardware, nix besonderes, so weit ich weis werden die PC alle mit einen ich sag mal Server verbunden im Netzwerk mit ein Hub oder Router is glaube ich egal, Hauptsache verbunden, is bloß schade das man darüber nix findet großartig.

Ist dir überhaupt klar was ein Cluster genau ist?

Und nur als Beispiel, könnte man mit so ein Cluster auch schneller Filme umwandeln in andere Formate? oder funktioniert dies nur mit Render Software oder Berechnungen? Und was is wenn die Software nicht Optimiert ist für ein Cluster?

Man kann im Endeffekt jede Software auf einem Cluster laufen lassen. Wenn die Software nicht darauf ausgelegt ist wird sie im besten Fall mit gleicher Leistung laufen, wie auf einem Rechner. Meist aber um einiges langsamer.

 

[Sug82]

Stand der Technik wird's für Kommunikation Infiniband verwendet. Dadurch bekommt man kürzere Latenzzeit im Vergleich zu Ethernet.

Das Programm und das zu verarbeitende Job müssen parallelisierbar (abhängig von Algorithmus) sein, da sonst nutzt ein Cluster nicht. Man kann hier z.B. openMP oder MPI benutzen.

Hardwaremässig ist wiederrum standard, du kannst paar einfache Board mit RAM und CPU verwenden oder auch paar Bladecenter, was ja deutlich teuerer zusammenstecken.

Es gibt für XP keine Cluster Version, dagegen gibt's aber Microsoft Server Cluster Edition. Hier verwenden wir aber hauptsächlich ein Linux System.

Die ganzen Cluster müssen auch überwacht werden können, nicht dass der eine aussteigt, oder sowas ähnliches.

Es steckt auch einfach viel Wissen dahinter um ein Clusterfarm zu betreiben und verwalten, man kann nicht mit einfachem Doppelklick einen Cluster bauen. Oft muss sogar Kollege noch dafür was programmieren.

 

[Slopestyle-1]

Ok danke schön für die Erläuterung.

 

[mensch183]

Das Programm und das zu verarbeitende Job müssen parallelisierbar (abhängig von Algorithmus) sein, da sonst nutzt ein Cluster nicht. Man kann hier z.B. openMP oder MPI benutzen.
...
Es gibt für XP keine Cluster Version

Gibt für Windows XP sowohl OpenMP- als auch MPI-Implementierungen.

, dagegen gibt's aber Microsoft Server Cluster Edition. Hier verwenden wir aber hauptsächlich ein Linux System.

Und das ist nur ein ganz normales Linux mit bischen zusätzlicher Software. Genauso funktioniert das unter Windows auch.

Microsofts Cluster Server ist keine Voraussetzung um Windows-Kisten zu clustern. Kommt immer drauf an, was genau man machen will.

Der Begriff Cluster wird sowohl im Sinne von "x Rechner arbeiten gemeinsam, verteilt an einem Problem" als auch im Sinne von "X Rechner springen füreinander ein, wenn einer die Löffel abgibt. Ziel: höhere Verfügbarkeit". Bei deinen OpenMP- und MPI-Geschichten gehts um die erste Sache, bei Microsofts Cluster Server mehr um die zweite.

 

[Sug82]

Die Frage in Post 1 ob's Cluster für XP gibt, XP Cluster Version gibt's keine, openMP und MPI für Windows weiß ich nicht, da ich ja XP nicht mal die Bohne gucke, wenn ich für einen Rechner eine Lizenz brauche.

Dass es ein normales Programm ist, weiß ich auch, musst dafür nicht extra erklären, denn ich arbeite ja damit. Mit Microsoft Cluster habe ich jedoch nichts zu tun gehabt, habe nur mal gesehen, dass es sowas gibt.