CPU Kraft von mehreren Rechnern im Netzwerk nutzen?

[Nikuda]

Hey Leute!

Ich habe mir mal vorgestellt, ob man nicht die Rechenkraft von mehreren Rechnern im Netzwerk nutzen könnte um zum Beispiel größere Berechnungen halt von diesen Rechnern im Netzwerk ausführen zu lassen.

Zum Beispiel eine sehr große Datei von 100 GB nicht nur einen Rechner verarbeiten lassen, sondern mehrere Rechner gleichzeitig.

Das Netzwerk ist gegeben - 1000MBit Netzwerk!


Nur mir fehlt die Software etc. dafür!

Weiß jemand weiter?

 

[Green Mamba]

Hi, generell geht das natürlich nicht. Man brauch Software die für Cluster-Berechnungen konzipiert ist. Sowas wie Maya kann das, kostet aber auch zigtausend Euro. Professionelle rechenintensive Software hat oft diese Möglichkeit.
Auch unter Linux kann man meherere PC´s z.B. zum compilen benutzen. Wie das geht steht in der HowTo zu Gentoo z.B.

 

[TheCadillacMan]

sowas geht. Nennt sich dann Cluster. Du brauchst aber auf jedem Rechner Windows 2003 Enterprise Server (pro Lizenz ca. 3000€).

Vielleicht gehts auch anders. Aber ich kenne nur diesen Weg.

 

[Nikuda]

Nun da ich Student bin habe ich die möglichkeit, umsonst an Server 2003 Enterprise zu kommen...

Dementsprechend habe ich schon so einen Rechner im Netzwerk am laufen!

 

[Green Mamba]

Wie du den Cluster mit Server 2003 aufsetzt musst du dir mal zusammen googlen. Kann ich leider nix zu sagen, hab das bislang nur mal mit Linux gemacht. Dir ist aber klar, dass du damit immernoch spezielle Programme brauchst, die du dann auf dem Cluster laufen lassen kannst? Also es gilt nicht generell: 1+1=2.

 

[The Prophet]

Was das Compilieren von Sachen im Netzwerk angeht empfiehlt sich unter Unix Systemen distcc.
http://www.gentoo.org/doc/de/distcc.xml

 

[Nikuda]

Erstmal danke für die Antworten...

schön, das es sowas für Unix gibt... aber gibt es keine "einfache" Software Lösung für Windows umgebungen?

Da muss doch schon jemand mal drauf gekommen sein... so was zu machen...

Was ist denn genau dieses Maya..

Ich stelle mir das so vor:

1 Haupt (Server) Programm
1 Client Programm

Hauptprogramm wird auf den Hautprechner installier und das Clientprogramm auf die Rechner im Netzwerk - diese verbinden sich - nach erfolgreicher suche mit dem Hauptprogramm und arbeiten so miteinander... bla bla etc.

 

[Green Mamba]

Nein, ganz so einfach geht es eben nicht. Hab ich ja oben bereits versucht zu erläutern. Maya ist eine Rendersoftware für Computergenerierte Animationen usw.

 

[Nikuda]

Hmm naja eigentlich schade...

Wäre schon toll, so ne 100GB Datei mit der Hilfe der anderen Rechner im Netz zu entpacken... so muss ich wohl oder übel jetzt doch um die 2,5 Stunden warten...

Vielleicht kommt ja sowas noch - in ferner Zeit :-)


Obwohl ich gerade gesehen habe, das meine neue CPU nur noch 95 Minuten braucht *g*
Die alte war wirklich immer 2,5 Stunden beschäftigt...


Das Problem ist wahrscheinlich eh noch, das es zu wenig Software gibt, die 2CPUs unterstützen... z.B,. Norton Ghost oder WinRAR

Oder gibt es wenigstens dort schon weiter Entwicklungen?

 

[sun-man]

Ich glaube das Problem dahinter ist Dir nicht ganz bewußt.
Eine 100Gb Datei, wo man auch immer 100GB her hat, muß zuerst geteilt werden. Das ganze so das ein Teil des Clusters weiß was wo liegt. Dann muß das ganze über ein 1000MBit Netzwerk, also mit 30-45MB/s, verteilt werden. Die Speicherung der Temp-Daten dabei nicht vergessen. Irgendwann müssen 2x1GB wieder so zusammengesetzt werden das es passt, das heisst evtl Abgleich von Prüsummen usw usw usw.

Rechencluster sind prinzipel anders strukturiert. So ein Netzwerk ist halt tausende male langsamer als Speicher-Prozessor-Speicher-Festplatte. Dafür schreibt man auch nicht mal eben so ein Programm, zumindest keins was wirkt.

 

[kennyalive]

Dann muß das ganze über ein 1000MBit Netzwerk, also mit 30-45MB/s, verteilt werden.

das ist mir neu
1000Mbit sind bei mir 125MB/s

aber ansonsten gebe ich dir vollkommen recht

 

[sun-man]

das ist mir neu
1000Mbit sind bei mir 125MB/s
aber ansonsten gebe ich dir vollkommen recht

Ist ja ganz wunderbar. Schaffen Deine Platten und bestenfalls Dein entkoppelter PCI-Bus 125MB/S - ich denke nicht.
Laß es 50 sein in den Spitzen mehr ist kaum drin oder Du hast sehr gute Hardware mit 10k bzw 15k Platten, abgehängtem Bus (ICHR6 oder alternativ AMD Design) usw.