Server Computer für Forschungsbereich

[Thison]

Hallo Zusammen,

ich habe momentan ein Budget von ca. 8000€ zur Verfügung um den Cluster meiner Arbeitsgruppe zu erweitern. Zuletzt wurde diesem 2019 ein Supermicro mit folgender Hardware hinzugefügt:

• Supermicro X10DRL-i
• Intel Xeon E5-2640v4
• 16 GB Ram
• 480 GB SSD

Leider habe ich aktuell gar keinen Überlick über diesen bereich des Hardware-Marktes und bräuchte deshalb dringend eine Kaufberatung.

Vielen lieben Dank!

1. Möchtest du mit dem PC spielen?

• Nein

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

Wird im Forschungsbereich mit HTCondor zur Aufteilung von Rechenprozessen genutzt.

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?

Sollte stabil laufen.

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)

-

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

• Periphery ist natürlich vorhanden.

6. Wie viel Geld bist du bereit auszugeben?

8000€

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?

Bald möglichst.

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von freiwilligen Helfern)?

Den letzten Server (Supermicro) habe ich selber zusammengebaut. Aber zusammenbauen lassen ist auch akzeptabel wenn im Budget.

 

[kamanu]

Schau dir EPYC-Server an, falls du keine Spezialfälle wie AVX-512 nutzt.
Hier Lesestoff: https://www.servethehome.com/?s=milan
Auch potentiell beachten, ob der Cluster mit AMD und Intel gleichzeitig klar kommt. Ich weiß ja nicht, was da sonst noch an Hardware in dem Cluster ist. Aber wenn der genannte Xeon das Neuste ist, dann dürfte ein moderner Epyc da Kreise drum rennen...

 

[Chuck-Boris]

Würde mich an den jenigen wenden, der es damals sprich 2019 übernommen hat. Ansonsten was gerade in diesem Bereich ist würde ich auf ein System Haus Setzen die sich gerade in dem Bereich Forschung etc. Auskennen, da diese mit Sicherheit Erfahrung haben wie welches System und Software am besten und Stabilität bietet.

 

[sr-71]

wie sieht es mit der Ausfallproblematik aus, gibt es ein Backup, muss der Server immer online sein ?
Falls ja,würde ich ein Systemhaus damit beauftragen

 

[yoshi0597]

Da bin ich ehrlich gesagt komplett raus :-(
Natürlich ist ein Epyc der 7xx3 Generation prima, da man damit meistens von 2 CPUs auf 1 CPU wechseln kann, aber es steht und fällt nunmal alles mit dem Produktsupport und den Anforderungen der Software.
Da können Systemhäuser mit den passenden Service-Verträgen mit Sicherheit besser aushelfen, vor allem dann, wenn die Kiste nicht geht!!

 

[Autokiller677]

Grundsätzlich würde ich es sehen wie @Chuck-Boris, ich weiß aber auch aus eigener Erfahrung, das dafür häufig einfach kein Geld da ist in der Forschung, weil erwartet wird, dass sowas vom Himmel fällt.

Letztlich ist AMD EPYC für viele Threads aktuell der go-to wie @kamanu sagt, sofern man keine Anforderung hat, die Intel verlangt.

Interessant wäre noch, wie Storage angebunden wird? 10Gbit Ethernet? Was schnelleres über SFP+?

@yoshi0597
Service-Vertrag in der (wie es hier klingt) öffentlichen Forschung? Not gonna happen. Da kann man froh sein, wenn man im Falle eines Ausfalls überhaupt Geld für einen Ersatz bekommt, aber Service ist eher nicht. Wozu hat man schließlich unterbezahlte Doktoranden?
(Ja, mag zynisch klingen. Ist aber leider vielerorts Realität.)

 

[madmax2010]

@Autokiller677 Fiber (aka FiberChannel) wird vor allem zur Anbindung von Storage verwendet. Das ist auf Deutsch / Englisch echt suboptimal benannt, da über Glasfaser auch einige andere Protokolle laufen. 10G Ethernet über Glasfaser ist inzwischen zum Standard geworden, weil es einfach viel billiger als über Kupfer ist.

@Thison der soll als compute node verwendet werden? Was genau für rechenprozesse sollen aufgeteilt werden?

 

[Rickmer]

Da fehlen so viele Infos zu den Anforderungen...

wenn man den letzten anschaut:

• Supermicro X10DRL-i
• Intel Xeon E5-2640v4
• 16 GB Ram
• 480 GB SSD

kaum Storage, noch weniger RAM und 10-Core

Ist das eine CPU-heavy Workload die sonst nichts braucht? Was ist mit GPU-Beschleunigung, wird das erwünscht?

Passen alle Daten auf die 480GB SSD oder muss ein Netzwerkadapter für ein SAN-System mit rein?

Fiber (aka FiberChanel) wird vor allem zur Anbindung von Storage verwendet. Das ist auf Deutsch / Englisch echt suboptimal benannt, da über Glasfaser auch einige andere Protokolle laufen. 10G Ethernet über Glasfaser ist inzwischen zum Standard geworden, weil es einfach viel billiger als über Kupfer ist.

FiberChannel wird ja auch immer mehr durch Protokolle wie iSCSI abgelöst, die durch das 'normale' Netzwerk laufen, ggf. im eigenen VLAN

 

[Thison]

Schon mal vielen Dank für alle Nachrichten. Ich schaue mir aufjedenfall schon mal AMD EPYC Server an.

@kamanu In dem Cluster sind noch ein paar Xenen. Die waren schon deutlich vor meiner Zeit da und sind locker über 10 Jahre alt.

@Chuck-Boris Das war tatsächlich ich. Und da habe ich mich auch nur an einem akutellen Guide lang gehangelt. Wir sind da innerhalb unseres Instituts relativ autark aufgestellt. Das hat einige Vorteile für uns. Aber wenn es um fachliche Fragen geht die unsere Kompetenz übersteigen sind wir auch nur am googlen.

@sr-71 Der Server ist in einem gekühlten Serverraum lokalisiert. Prinzipiell ist er immer online.

@madmax2010 Genau. Es laufen überwiegend Python Scripte darauf.

@Rickmer Es geht tatsächlich nur um die Rechenpower. SSD ist für das Betriebssystem (wahrscheinlich eine Ubuntu Version). Datenspeicherung findet extern statt.

 

[madmax2010]

Ist CUDA sinnvoll nutzbar?
Wird hohe Singethread performance oder einfach nur viel zu viele Kerne gebraucht?

@Rickmer Habe nur darauf hingewiesen, weil es einfach ein unglaublich ambiger begriff ist - viele sind irritiert, dass nicht alles was über Glasfaser geht auch fiber ist und umgekehrt
Findest du wirklich, dass iSCSI immernoch im kommen ist? ich habe seit bestimmt 5 Jahren das Gefühl, dass ceph immer mehr im kommen ist. Inzwischen sogar in Konzernen

 

[HerrRossi]

Also mit 8000 EUR kann man schon sehr viel machen, gerade wenn man den Service eines Systemhauses nicht unbedingt braucht.

Wie soll denn die Netzwerkanbindung aussehen?

 

[kamanu]

@Thison Es ist zwar kein Servicevertrag gewünscht, aber nen Fertig-System würde ja vllt trotzdem nicht schaden. Bei meinem alten Arbeitgeber haben wir mal über serverhero.de ein Epyc-Server (DL325 Gen10 Plus) geordert. Muss sagen die Beratung war echt gut. Und die Preise die als größerer Händler von HPE bekommen haben waren auch extrem gut. Für den Preis hätten wir den kaum selber bauen können.

 

[Martin.H]

Deine Anforderungen sind trotzdem nicht klar gestellt.
Geht es um Rechenpower innerhalb des Clusters? Wenn da 10y alte System werkeln, könnte man die ja mit einem Teil der 8000€ schon deutlich beschleunigen. Dazu müssten wir aber wissen, welche Anforderungen Eure Berechnungen haben.
Wenn es nur um das Verteilen der Rechenpower (=HTCondor) geht, dann müssten wir wissen, ob das oben genannte System nicht mehr ausreicht (ist zB der RAM das Bottleneck?), oder weshalb hier erweitert werden soll.

 

[Thison]

@madmax2010
@Martin.H
Das kann ich leider nicht pauschalisieren und ist von Projekt zu Projekt anders. Momentan sind wir aber tatsächlich in allen Bereichen limitiert. Teilweise bottlenecking durch RAM. Teilweise aber auch Probleme in der Umsetzbarkeit von einige Projekten da nicht genug Prozesse-Parallel laufen können bzw. in ihrer Ausführung zu langsam sind.

größer gleich 50 Knoten wäre schon sehr gut, wobei dann jeder Knoten schonmal gut 5 GB in Anspruch nehmen kann.

@HerrRossi
Wir haben ein von dem Institut entkoppeltes Intranet. Cluster, Office Rechner und externer Storage sind alle über LAN verbunden.

@kamanu
Da habe ich gerade auch schon nach gesucht. Bin zunächst auf mifcom.de gelandet aber serverhero.de werde ich mir direkt auch mal anschauen.

 

[Autokiller677]

@Thison

Storage extern ist ja schön und gut, aber wie soll der angebunden werden? Der entsprechende Anschluss muss ja schon ran an den Server...

 

[madmax2010]

Was meinst du mit LAN? Was für storage ist das?

größer gleich 50 Knoten wäre schon sehr gut, wobei dann jeder Knoten schonmal gut 5 GB in Anspruch nehmen kann.

du willst 50 server kaufen oder nutzt ihr den Begriff nodes anders?

 

[Rickmer]

Eine nicht unwichtige Frage: Steht der dann in einem Serverraum irgendwo oder in einem Büro?
Viel Server-Hardware willst du nie und nimmer dauerhaft neben dir stehen haben wollen, das ist einfach viel zu laut.

du willst 50 server kaufen oder nutzt ihr den Begriff nodes anders?

Ich hätte das jetzt so interpretiert, dass es hierbei um den Arbeitsspeicher-Bedarf geht?



Ein Beispiel für eine Extrem-Konfig bei Mifcom (und damit 'extrem einseitig' gemeint):
https://www.mifcom.de/laden/44rqxn1j

Vorteile:

• 64-Core Threadripper
• 256GB ECC UDIMM

-> Extrem viel CPU-Rechenpower vorhanden

Nachteile:

• OS-SSD ist zwar doppelt vorhanden für Raid 1 (Redundanz) aber das wars dann auch, der PC ist komplett von vorhandenem schnellen externem Storage abhängig
• Das Mainboard hat einen Aquita 10G RJ45 Anschluss, aber kein Budget für eine 'echte' Netzwerkkarte
• Sollte irgendwas an GPU-Rechenpower benötigt werden versagt der PC vollständig, da ich auf die günstigste GPU runter gegangen bin um den 64-core rein zu hauen. Das ist eher zufällig eine Quadro.
• Das Corsair RMx Series wäre jetzt auch nicht meine erste Wahl, aber die 8000 Euro Budget-Grenze sind vermutlich als harte Grenze zu sehen
• 3 Jahre pickup&return mit keiner Chance auf Vor-Ort-Service, super -_-

Auf der Gegenseite habe ich auch mal bei Serverhero geschaut, bei 8000 Euro bekommt man da aber entweder viel zu wenig CPU-Leistung oder kaum RAM, da müsste man sich wohl ein custom Angebot einholen. Dafür kann man aber auch 5 Jahre 24x7 same-day Support kaufen, wenn man noch Platz im Budget hat. Wenn tatsächlich mal was ist am Rechner kann so ein Support-Vertrag viel Ärger und spätere Kosten vermeiden...

 

[Martin.H]

Ich finde das immer noch nicht verständlich. Die mögliche Nutzung von GPUs wurde auch nicht beantwortet. Limitiert die Verteilung durch HTCondor, oder die Ausführung der Berechnungen? Oder beides?

Wenn beides limitiert, würde ich den alten Server zum Cluster hinzufügen, und ggfs einen kleineren noch dazu.
Für HTCondor gibt es ja auch Empfehlungen (viel RAM) - und mit einem Threadripper und 256GB RAM wie oben erwähnt wäre doch schon was geholfen.

 

[Thison]

@Autokiller677
@madmax2010
@Martin.H

Unser Shared-File-System ist eine RackStation RS3617RPxs und hängt im Netwzerk.
Sorry ich kenne mich mit der richtigen Terminologie nicht aus. Mit Nodes meinte ich tatsächlich Slots auf denen einzelnd Prozesse laufen können.
GPU Rechenpower wird soweit ich weiß 'garnicht' benötigt.

@Rickmer Super! Vielen Dank!. Das ist mir schon mal eine riesen Hilfe. Wir haben einen extra Serverraum mit Klimaanalage etc.. Da würde das Ding auch unterkommen.

 

[madmax2010]

Was sind die slots? Ist das eine logische queue, die auf n Kerne m servern mit k sockeln gescheduled wird.
GPU rechenpower ist hald bei bildverarbeitung / machinelearning / bioinformatik / geoinformatik und co relevant. Eigentlich bei allem wo du viel multiplizieren musst

Ok. Rackstation. SMB(Samba) oder NFS? Klingelt da was? In Dem fall gehts vermutlich via ethernet. Welcher switch sit das denn?