Fertig Server oder Bastellösung

[the_nobs]

Hallo Leute

für ein "Forschungsprojekt" brauchen wir etwas potentere Hardware
Wir wollen da einige VM'S betreiben und damit eine "Cloud" simulieren
Die Leistung der einzelnen VM's ist nicht so wichtig, aber die kommunikations latenz schon.. d.h. die sollten sich möglichst wenig gegenseitig beeinflussen.

Wir haben uns mal von HPE ein Angebot machen lassen (ist Haus und Hof Lieferant)
ein HPE DL385 Gen10 EPYC 7351 mit 128 GB RAM und eine 1,6 TB SAS-SSD kostet ~11 k€
Wenn ich auf Threadripper basis mir was zusammenstelle (siehe Geizhals Link https://geizhals.at/?cat=WL-926742) komme ich auf ~4,5k€ mit noch extra kosten (Zusammenstellung und ich glaub der Lüfter wird auch kein Platz haben usw.) vielleicht auf 5k€

Der Server ist natürlich viel besser bezüglich Zuverlässigkeit, Fehleranfälligkeit usw. (z.B ECCRAM)
Für unsere Zwecke ist das aber ziemlich egal, uns gehts eher um Performance und geringe Latenz
Worst Case, der Rechner brennt ab, dann haben wir zwar a Verzögerung aber dann kaufen wir uns einen neuen und warten halt die 2-3 Wochen. Wie schon gesagt ist kein "ProduktivSystem" sondern zum ausprobieren

haben da die Server noch spezielle Vorteile? bringt eine SAS SSD etwas gegenüber einer Samsung 960 Pro?

 

[Gohst]

Je nach dem wie viel VM's da laufen sollen, könnten 64GB RAM zu wenig sein.
Und für viele VM's brauchst du ein richtig performantes Storage, einige Hyper-Visor wie VMWare ESX(i) benötigten zudem min. ein RAID/Storage-Verbund auf einem richtigen Controller oder ein iSCSI/SAN Target.

Das fehlt auf deinem Vorschlag bzw. es sind schon arg wenig Infos.
Zudem Latenz der VM's untereinander ist seeeehr gering da das "Netzwerk" intern geroutet werden kann sofern die auf dem selben "Blech" laufen.

Wenn Ausfallsicherheit und Zuverlässigkeit wenig wichtig ist, kann man schon auf einen Eigenbau setzen, vielleicht wäre Mieten/Leasen fast sinnvoller da ihr das wohl nur für eine begrenzte dauer benötigt?

Und der gewählte Kühler passt nicht in eine 3HE Gehäuse.

 

[DiedMatrix]

Da ihr laut deinen Angaben nicht Produktiv damit arbeitet bzw ein Ausfall nicht kritisch ist, würde ich was mit Ryzen/TR bauen, allerdings nicht auf ECC verzichten, da die Mehrkosten überschaubar sind und bei soviel RAM mMn. Sinnvoll. Baut auch zuverlässige SSDs ein und baut etwas was auf der HCL Liste von vmware steht, falls ihr vmware nutzen wollt.

EDIT: Anstatt Ryzen/TR könnt ihr euch auch selbst einen EPYC bauen, gibt es ja auch "günstig" Boards und CPUs.

 

[Lawnmower]

Wenns nicht viel Speicherplatz braucht, wäre ggf ein Amazon AWS (o.ä. Anbieter) auch noch mal zu kalkulieren. Vorteil: Man kann die Leistung ganz nach Bedürfnis hoch- oder runterschrauben (man muss nicht gleich mit dem "dicken Topf" anfangen) und auch wieder abschalten, die Installation und Zusammenbau entfällt (ist bei deiner Rechung z.B. nicht berücksichtigt worden), Backup (ebenfalls vergessen?); weitere Punkte wie Strom, Kühlung, Lärm, Erweiterbarkeit, Wartung, Service, etc.

 

[slsHyde]

Was sollen denn die VMs machen?

Ah, ich seh' schon. Cloud simulieren. Hm. Kann man jedenfalls auch gut selber bauen.

Ergänzung (12. Februar 2018)

Die Frage ist, ob ECC sein soll.

 

[the_nobs]

Hallo

Danke mal für die Antworten!
Zu den Fragen:

• Ja ich habe eh mit 128 GB RAM geplannt
• Latenzprobleme sehe ich nicht beim Netzwerk (bzw. sehr wenig) sondern eher beim Festplatten/SSD zugriff
  wie verhalten sich die wenn mehrere VM gleichzeitig massiv Daten schreiben?
• VM in der Cloud sind nicht gut geeignet
  da wir sie länger brauchen und nicht nur kurzfristig und die Modelle auch gleich mal recht viel Daten erzeugen wird das teuer (Projekt wird mehrere Jahre laufen). Wobei am Ende wollen wir es durchaus ausprobieren Teile in eine "Echte" Cloud zu verlagern.
• Weiterer Nachteil der Cloud VM, ich weiß nicht wirklich wie die HW aussieht. Nachdem wir latenzen im ms Bereich berücksichtigen müssen, kann sein das ich zwei VM habe die das locker haben weil quasi im am gleichen switch hängen
  oder gleich mal länger wird, wenn es nicht mehr im gleichen Rechenzentrum steht...
  Später wollen wir uns das zwar im Detail anschauen, aber aktuell sollte das einfach mal laufen, das wird schon komplex genug

 

[slsHyde]

AMD ist nicht ganz so fix bei Festplattenzugriffen.
Wie groß ist denn der benötigte Speicherplatz?

 

[blöderidiot]

...

Andere Variante: 10 Rechner (kleine Billiggehäuse, einfache SSD, 16GB DDR4) á 500€ (oder weniger) an einem besseren GB-Switch. Kostet die Hälfte vom HP-Server und kann nach der Projektlaufzeit noch zu Arbeitsplatz- oder Studentenrechnern umgearbeitet werden. Mit 4 VM's pro Rechner sollten die Kisten (bei entsprechender CPU) klarkommen. Oder gar keine Virtualisierung und http://www.rocksclusters.org/

 

[YforU]

Einen dual EPYC 7281 (2x16C) Rack Server mit 128GB RAM, zwei Intel S4500 960GB SATA SSDs und redundanten Netzteilen gibt es ab rund 5000€.

Zwei weitere SATA SSDs kosten auch nicht die Welt. Consumer SSDs würde ich hier aber genauso wenig verbauen wie sauteure SAS Varianten. RAID sollte überflüssig sein da die VMs auf mehrere SSDs verteil werden können und Ausfallsicherheit nicht elementar ist.

Beispiele:
https://www.ico.de/servemaster-r27e-2he-server--ybto04
http://www.server-konfigurieren.de/konfigurator/p/Supermicro-A-Server-1023US-TR4-4-x-3-5-HDD-.html

Von TR würde ich aufgrund der Anforderungen die Finger lassen. Also nur ein System/Board welches auch für die gängigen Virtualisierungsplattformen validiert wurde. Ohne Remote Management Interface würde ich das sowieso nicht machen wollen.

Am besten ein Barebone von Supermicro wie oben nehmen, entsprechend konfigurieren und fertig montiert und getestet liefern lassen. Ist in Relation zu Dell/HP Servern von der Stange günstig und trotzdem eine Plattform welche auch in Zukunft für weitere Projekte vernünftig eingesetzt/erweitert werden kann und stabil läuft.

PS: Alternativ einen EPYC 7401 mit 8*16GB verbauen. Könnte später auf 48C / 256GB erweitert werden (weiterer 7401 mit ebenfalls 8*16GB).

 

[slsHyde]

2 Intel Xeon Silver 4110, 8x 2.10GHz, boxed (BX806734110)
alternativ 2 Intel Xeon Silver 4114, 10x 2.20GHz, boxed (BX806734114)
8 Samsung DIMM 16GB, DDR4-2666, CL19-19-19, reg ECC (M393A2K40BB2-CTD)
1 Supermicro X11DPi-NT bulk (MBD-X11DPi-NT-B)
inkl. 2x 10GBase-T
1 Seagate Exos X X10 10TB, 512e, SATA 6Gb/s (ST10000NM0016)
1 Samsung SSD 960 PRO 1TB, M.2 (MZ-V6P1T0BW)
1 Alphacool HDX - M.2 SSD M01 - 80mm (11310)

brutto zwischen 3.700 und 4.200 € zzgl. Gehäuse, Kühlung, Netzteil und ggf. 2te 960Pro

 

[snaxilian]

Ja, der Unterschied zwischen einer 960 Pro und "Server-SSDs" ist gewaltig. Eine 960 Pro habe ich in wenigen Wochen oder Monaten kaputt geschrieben und die Server SSD gibt es nicht, auch da gibt es welche die auf read-intensive, write-intensive oder mixed use optimiert sind und je nach Anforderung unterschiedliche Chips und Controller verbaut haben.
Auch kommt es nicht nur auf eine hohe IOPS Zahl an sondern bei vielen parallelen Zugriffen auch auf die Latenz. Anstatt einer großen SSD würde ich auch auf mehrere kleine Platten setzen + SSDs als Cache Devices. ZFS würde sich da anbieten falls ihr mehrere Server wollt ein verteiltes System wie z.B. Ceph oder Gluster oder Lustre.
Oder beim klassischen Angebot von HPE bleibend: 4-8 10rpm 600GB Platten in einem Raid 10 (je 2-4 Mirrors und darüber einen Stripe) an einem entsprechenden Raid Controller mit SmartArray SmartCache Unterstützung und da eben 1-2 performante 200-400 GB SSDs dran.
Daten werden dann zuerst in den schnellen Cache geschrieben und dann auf die Disks gelesen. Durch die vielen Disks sollten auch gute Werte beim Lesen erreicht werden.

 

[slsHyde]

Die Frage ist wieviel Speicherplatz die VMs fressen. Ggf. kann man das ja auch zumindest teilweise auf Optane legen.

https://geizhals.de/?cat=hdssd&xf=4851_6

 

[DiedMatrix]

Optane wären auf jedenfall deutlich besser wegen den deutlich länger anhaltenden kurzen Zugriffzeiten - siehe Tests!

 

[slsHyde]

Ja, Haltbarkeit und Latenzen sprechen dafür. Ggf. kann man die Daten ja auch bzgl. Performaceansprüche aufteilen.

 

[the_nobs]

Danke mal für Info

die VM sind nicht zu groß, aber 40-80 GB werden sie gleich mal haben (weil immer inklusive OS)
Sie werden sehr schreibintensiv sein, da wir vermutlich Gigabyte weise Logfiles generieren (das auswerten wird ein Spass, HURRA!!!)
und 10 VM die je 4 GB erstellen -> 40 GB an Daten...

Auf der anderen seite laufen die ja nicht 24/7 d.h. wir machen vermutlich 2-3 solche Testruns in der woche.... Das sollte jede Consumer SSD noch schaffen.

Werde mal mit unserer IT reden wie es bezüglich eigenbau aussieht
weil wenn ich ein paar Tage fürs suchen und basteln verwende kann ich den Aufpreis für HPE auch gleich zahlen

 

[GetFrozen]

Danke mal für Info
da wir vermutlich Gigabyte weise Logfiles generieren (das auswerten wird ein Spass, HURRA!!!)

Schon mal an einen zentralen Syslog Server gedacht ? Gibt auch einige Oberflächen die man dazu installieren kann - Rsyslog + Loganalyzer z.B.
Dann hast die Logs zentral und nicht auf jeder VM liegen

Ist zwar ein wenig Offtopic aber vielleicht hilfts dir ja

 

[Piktogramm]

Es wäre ja interessant das genaue Anwendungsprofil zu kennen. Also wieviel CPU Leistung benötigt wird, welches Lastprofil das Netzwerk sieht und eben auch mit welcher Last auf dem Festspeicher zu rechnen ist.

Als kritisch erwähnst du bisher nur die Logfiles und deren Schreiblast. Da würde ich ja bezweifeln, dass da soviel bei jeder VM anfällt. Zum einen weil es in der Regel nicht ziehlführend ist jede Instanz derart ausgiebig Logs schreiben zu lassen und zum anderen weil man den Datenfluss bei Logs recht gut eindampfen kann. Entweder weil man den Spaß komprimiert oder weil man die Logs nur im Ram hält und nur unter bestimmten Bedingungen auf den Festspeicher bannt und/oder weil man einen externen Storage nutzt um die Logs weg zu schreiben.
Auch ist die Angabe "Gigabyteweise Logfiles" eher mau. 50GB je VM über ein Jahr sind bei 10VMs über ein Jahr eine vernachlässigbar kleine Schreiblast für jede halbwegs taugliche Sata-SSD.


Analog bei der CPU-Last, da wäre das Anwendungsprofil auch interessant. Denn wenn du wirklich irgendwo mit Raten von MB/s Logfiles rausziehen willst, wird da zwangsweise jede betroffene VM recht ordentlich Last erzeugen.

Gleiches fürs Netzwerk, da lohnt es sich bei hohem Netzwerkaufkommen zwischen den VMs unter Umständen Netzwerkinterfaces zu nutzen die man an mehrere VMs durchreichen kann und die dann das Routing übernehmen anstatt es der CPU aufzubürden. Gerade bei Anwendungsfällen die die viele kleine Pakete durchleiten ohne groß auf den Daten zu rechnen bekommt man auch dickere CPUs überraschend schnell an ihre Grenzen.

###################################

Da das Lastprofil und die Anwendung nicht so genau verraten wurden. Mal allgemein der Vorschlag: Habt ihr mal geschaut ob eine Herde RaspberryPi (oder vergleichbar) euer Anwendungsprofil nicht auch abbilden kann? Es klingt stark danach als wäre der "Cloudanwendungsfall" eher eine typischer Fall von "verteiltem System" welches den Namen "Cloud" im Namen trägt, damit es zur Finanzierung kommt.

 

[blöderidiot]

die VM sind nicht zu groß, aber 40-80 GB werden sie gleich mal haben (weil immer inklusive OS)
Sie werden sehr schreibintensiv sein, da wir vermutlich Gigabyte weise Logfiles generieren (das auswerten wird ein Spass, HURRA!!!)
und 10 VM die je 4 GB erstellen -> 40 GB an Daten...

Hört sich nicht dramatisch an. Ich würde das mit 10 von diesen hier (https://www.cyberport.de/hp-260-g2-...4gb-128gb-ssd-ohne-windows--1128-2P8_536.html) lösen (ohne Virtualisierung), die über ein herkömmliches GB-Switch am Auswerterechner hängen. Alles andere halte ich hier für übertrieben. Auf den Kisten läuft ein irgendein Clusterbetriebssystem oder Linux/RocksCluster.