Serverberatung mit Hardware

[ivans89]

Moin,
kurz zur Geschichte wieso das ganze: Ich habe 2 Server laufen wovon einer mit 2 GPUs läuft (einige Projekte von mir laufen auf dem einen Server, die einzig CPU und RAMlastig sind). Auf dem anderen Server lasse ich ein paar Bots laufen (für einen wird die eine GPU verwendet), die andere GPU habe ich mir mal Spaßeshalber einbauen lassen (war ein gutes Angebot meines Hosters) zum Cloudgaming (nutze es über Parsec) - muss hier sagen bin echt begeistert von der Qualität, dachte immer dies ist deutlich schlechter. Aus diesem Grund habe ich mir keinen weiteren GamingPC oder ähnliches hingestellt.
Ebenfalls render ich viel über Vegas.
Hab mir vor kurzem ein Haus gekauft und nun in jedem Zimmer Datendosen verlegen lassen. Ebenfalls ist bei mir vor Ort Glasfaser vorhanden und habe mir zum 01.03. 1Gbit bestellt. Daraus folgert das ich meine beiden Server ganz gerne in den Serverschrank verlagern möchte, bzw. optimalerweise beides in einem Server.
Der Server soll aufjedenfall noch erweitert werden um einen Embyserver (sowas wie PLEX) und als Storage für meine Überwachungskameras.
Jetzt erstmal die Frage, macht es Sinn beides in einen Server zu packen und dann über VMs zu arbeiten oder wäre es wieder sinniger 2 Server hinzustellen?

Serverschrank hat eine Tiefe von 600mm und hat 9HE (nach Einbau des Patchpanels und des 19" Switches bleiben noch 7 HE), habe diesen von einem Freund übernommen der den gegen einen größeren eingetauscht hat. Daher wenn es solche Server in der Tiefe nicht gibt, wäre ein anderer Schrank das geringste Problem.

Ich habe mir soweit erstmal gedacht:
CPU: 16 bzw 32 Threads, eventuell auch Dual CPU - allerdings wird es dann schwierig vom Takt her - siehe nächster Punkt
Takt: ich hätte hier im Boost schon ganz gerne minimum 4GHz
RAM: 64GB - sollte auf mehr aufrüstbar sein
Netzteil: redundant
Hardware Raid - welchen könnt Ihr hier empfehlen?
HDD/SSD: Hier sollten mindestens 16HDDs oder mehr angebunden werden können - habe fast neue 8x4TB WD RED liegen, die verwendet werden sollen, ebenfalls liegen 2x1TB SSD bereit.
Mainboard: ist natürlich von der CPU abhängig.
GPU: muss nicht sofort rein, würde ich ggf. nachrüsten bei guten Angeboten. Allerdings muss genug Platz dafür sein.
Gehäuse: ich muss sagen, da habe ich so meine Probleme was gescheites zu finden.

Jetzt die Frage, kann da nichts finden - oder übersehe ich einfach was? Es gibt wohl keine ServerCPU die diesen Takt schafft? Müsste dann ja vermutlich in Richtung Threadripper gehen, oder gibt es sinnvollere Alternativen?
Gibt es einen Hersteller der mir mit diesen Anforderungen auch etwas zusammenstellt? Beim Suchen bin ich bei HPE, DELL und SM nicht fündig geworden.
Habt Ihr sonst Ideen zur Hardware und eventuell zum Gehäuse grade wegen der Tiefe?



Bitte eins zuletzt, ich möchte hier keine Diskussion lostreten ob ich weiß was sowas kostet, ich bin mir darüber durchaus bewusst, da ich auch monatlich keinen unerheblichen Betrag für meine Server bezahle und dieses über 3-5 Jahre rechne.
Ebenso kann ich es verschmerzen wenn mal eine Hardwarekomponente defekt geht, da von diesem Server niemand abhängig ist. Ich verdiene damit zwar Geld, allerdings ist es eine Nebeneinkunft.
Daher bitte, wenn Ihr darüber diskutieren wollt lasst es einfach.



Ich danke hier auch schon mal jedem der sich die Mühe macht, dies durchzulesen und versucht mir zu helfen!

 

[dasTTS]

Die Anforderung von 16 HDDs (LFF?) auf einer Tiefe von 600mm ist fast nicht umsetzbar. Rackserver haben nuneinmal das Mainboard hinter den Festplatten und dies braucht natürlich Platz. 600er Schränke sind für "richtige" Server einfach unterdimensioniert. Tausche den Schrank gegen etwas vernünftiges aus bevor Du Dich bei der Serverauswahl verbiegen musst.

 

[Twostone]

Serverschrank hat eine Tiefe von 600mm

Mehr ist nicht drin? 600er sind schon arg knapp nach hinten raus. Ich würde mindestens 800er nehmen, und auch gerne mit Platz an den Seiten.

CPU: 16 bzw 32 Threads, eventuell auch Dual CPU - allerdings wird es dann schwierig vom Takt her - siehe nächster Punkt
Takt: ich hätte hier im Boost schon ganz gerne minimum 4GHz

Das wird einiges an Abwärme geben, und die Kosten sind auch recht hübsch (mittlerer vierstelliger Bereich bei Intel für aktuelle Prozessoren).

 

[abcddcba]

Wenn du nicht grade zu viel Geld fuer einen Xeon W-3175X oder so uebrig hast, dann bleibt bei dem angestrebten Takt nur noch AMD TR 3960X oder 3970X. P/L auf jeden Fall die bessere Wahl solange es keine Anwendung gibt, die super stark von Intel profitiert.

 

[ivans89]

Gut ein neuer Serverschrank ist wie gesagt nicht so das Problem, da ich für den 600mm nichts bezahlt habe. werde mich mal nach einem 800mm umschauen.

Brauche nicht unbedingt Intel, würde sogar AMD präferieren.

finde ich sowas als Fertiglösung bei einem der größeren Hersteller, oder müsste ich selber zusammenbauen (wäre für mich auch keiN Weltuntergang)?
Beim selber zusammenbauen, kann hier jemand dann ein passendes Gehäuse empfehlen? Sollte ja mindestens 3HE haben oder?

 

[Simon]

Ah, sowas gibt es theoretisch schon von der Stange.

Dell PowerEdge T640 (4 HE)
Chassis als 18 x 3,5" Ausführung mit SAS/SATA-Backplane, gibt es entweder als Tower- oder Rack-Ausführung
2x Intel Xeon Gold 6234 (3,3 GHz Base, 4,0 GHz Boost auf allen Kernen)
4x 16 GB DDR4-2933 RDIMM
2 x 240 GB BOSS-Karte (optional) --> für das OS, ist eine Karte mit m.2 im RAID1
PERC H740P RAID-Controller
Dual-Port 10G/1G-LOM
iDRAC9 Enterprise (für Remote KVM), ohne Open Manage Essentials
Redundante Netzteile sind normalerweise standardmäßig drin

Ganz billig wird der Spaß aber nicht und ein 800 mm Gehäuse wird dann auch schon etwas eng, da ja hin auch noch Kabel aus dem Server rauskommen. Unter 1.000 mm sieht es da eher schlecht aus, oder eben als Tower irgendwo anders hin.

 

[ivans89]

da muss ich sagen ist mir der Xeon mit 2x2,5k einfach zu teuer, da nehme ich definitiv lieber den Threadripper.
mein 1000mm Schrank ist ansich auch kein Problem, Platz habe ich dem Raum mehr als genug.

 

[Evil E-Lex]

Beim selber zusammenbauen, kann hier jemand dann ein passendes Gehäuse empfehlen? Sollte ja mindestens 3HE haben oder?

Gibt es nicht. Der Markt dafür ist zu klein. Niemand hat einen Vorteil davon, seinen Server selbst zusammenzubauen. Die ein bis zwei Enthusiasten bringen leider keinen Umsatz, daher lässt man deren Wünsche unter den Tisch fallen.
Vor langer Zeit hab ich mal ein Server in einem 4-HE-Gehäuse gesehen, das man selbst bestücken konnte: Schlechte (weil schlicht nicht vorhandene) Kabelführung, keine ordentliche Kühlung. Eine Backkplane für Festplatten war natürlich ebenfalls nicht vorhanden. Hot-Swap-fähig war gar nichts und redundante Netzteile gab's auch nicht.

Deinen Wüschen am nächsten kommst du mit einem Supermicro-Barebone. Allerdings wirst du dich vom Threadripper verabschieden müssen und musst Epyc nehmen.
GPU-Serversysteme gibt's aber auch bei Supermicro nicht mit AMD und auch nur komplett vorkonfiguriert:

Complete System Only: To maintain quality and integrity, this product is sold only as a completely-assembled system (with minimum 2 CPUs, 4 DIMMs, 4 GPUs installed).

 

[Testa2014]

Gibt es nicht. Der Markt dafür ist zu klein.

Wieso soll es so etwas nicht geben? Von Fantec bekommst du 16x HotSwap auf 3HE für unter 300€. Da passt dann auch Seine Wunsch CPU rein. Luxus ist natürlich Supermicro, dafür auch gleich doppelt so teuer.

Kabelführung etc. Es gibt Servernetzteile die redudant sind und keine 100 Kabel haben die jeweils einen Meter lang sind. GPU könnte er auch reinmachen wenn die passt.

 

[Twostone]

Ob 2, 3 oder 4HE richtet sich nach dem, was Du vorhast. Wenn Du mit mehr als zwei GPUs arbeiten willst, brauchst Du sowieso im Selbstbau ein höheres Gehäuse, da kannst Du auch gleich zu 4HU greifen, sparst Dir die Riser-Karten. 2HU sind recht gut für kleine storage-Server, aber bei Erweiterungskarten bist Du entweder auf SFF oder eben auf horizontalen Einbau mittels Riser angewiesen.

Lüfterweise kannst Du vertikal 80er verbauen (wenn nicht bereits verbaut), was gegenüber einem 1HU mit 40ern schonmal ein deutlicher Gewinn an Durchsatz und auch Laufruhe ist. Toppen kann das nur ein 4HU mit 120ern.

Der Vorteil bei einem 2HU ist, daß sich der Luftstrom leichter lenken lässt, das Gehäuse ist einfach kleiner. Wenn allerdings der Durchsatz nicht stimmt, hast Du eher Probleme als beim 4HU.

3HU habe ich bisher nicht verbaut, kann mir auch keine wirkliche Anwendung außer Storage vorstellen, wenn ein 2HU zu klein ist und das Geld für 4HU nicht reicht.

 

[ivans89]

Mir ist es im Prinzip egal ob 3HE oder 4HE - so große Preisunterschiede sind das jetzt nicht, zumindest bei Fantec.
Danke für den Tipp mit Fantec, habe da direkt mal folgendes gefunden:
FANTEC SRC-4240X07 - 4HE - 418€
FANTEC SRC-3168X07 - 3HE - 285€
Beides für mich vom Preis her völlig in Ordnung. Werde aufjedenfall nochmal bei Supermicro schauen, würde für ein passendes da definitiv den Aufpreis bezahlen, allerdings ist da meist dann schon ein Mainboard dabei oder?

Hier mal eine Frage - Mainboard-Typ: 12" x 10,5", 12" x 13" - Sehe ich richtig das hier normale ATX - Mainboards draufgehen? 12" x 10,5" sollte ja das ATX Maß sein wenn ich mich nicht irre?

Noch eine andere Sache die mir grade auffällt beim begutachten der Mainboards für Threadripper und den HotSwap. Sämtliche Mainboards haben nur 8 Sata Anschlüsse und in diesem Fall sind hier 16x HotSawp vorhanden. Kann man dann tatsächlich nur 8 anschließen oder gibt es da dann eine anderen Möglichkeit?
Sorry falls die Frage dumm ist, stand ehrlich gesagt nie vor so einem "Problem".

 

[Testa2014]

allerdings ist da meist dann schon ein Mainboard dabei oder?

Nope, schau mal hier https://geizhals.de/?cat=geh19 (lass aber den redundanten Netzteilfilter raus).

Sehe ich richtig das hier normale ATX - Mainboards draufgehen?

Schau mal auf der Herstellerseite:

Mainboard Typen
M-ATX, E-ATX, ATX, SSI CEB, SSI EEB

oder gibt es da dann eine anderen Möglichkeit?

Bedingt dadurch das die Fantec Gehäuse z.B. nur mittels SFF-8087 rausgehen, benötigst du einen RAID Controller.

Hätte mir so ein Gehäuse schon längst hingestellt, wenn die Summe am Ende nicht über meinem Budget liegen würde. AMD Basis, 64 Gig ECC RAM, ASRock Rack X470D4U2-2T. Außerdem rennt der alte leider noch ganz gut und bekommt demnächst ein RAM Upgrade.

 

[Twostone]

Bedingt dadurch das die Fantec Gehäuse z.B. nur mittels SFF-8087 rausgehen, benötigst du einen RAID Controller.

Nein. Es gibt auch fanout-cables in der exakt umgekerten Variante, also von "normalen" SATA/SAS (Board) auf Multilane SFF-8087 (Backplane).

Hat die Backplane jedoch einen integrierten SAS Expander, kann man zumindest kein SATA Boardseitig verwenden, wenn ich mich recht entsinne. Sind jedoch vier Multilane-Anschlüsse, kann man die natürlich auch einzeln belegen, wie man eben Anschlüsse zur Verfügung hat.

 

[Testa2014]

Nein. Es gibt auch fanout-cables in der exakt umgekerten Variante, also von "normalen" SATA/SAS (Board) auf Multilane SFF-8087 (Backplane).

Das läuft auch problemlos? Habe damals nur gelesen das es da Probleme gibt und den Gedanken gleich wieder verworfen. Kann auch sein das es sich auf den Expander bezog ... muss da nochmal recherchieren.
Alles was mehr Anschlüsse brauch muss auf jeden Fall an einen Controller.

 

[ivans89]

Welcher Raid Controller wäre den sinnvoll? Das System soll sowieso im RAID 1 laufen.

Auch mal eine Frage zum Netzteil, bei der Hardware und grade bei der Menge an HDDs, wie groß muss ich dieses Wählen? Da bewege ich mich doch schon im 1000 Watt Bereich?

 

[Twostone]

Das läuft auch problemlos?

bei mir auf drei Rechnern über insgesamt 9 multilane (x4) ohne Probleme.

 

[ivans89]

hier btw vom Fantec Gehäuse:
6x SFF-8087: je 12x SAS/SATA zu 3x SFF-8087 pro Backplane

 

[Twostone]

2 Backplanes, beide mit je 12 Einschüben, die in klassischer Variante in 3x4 vorliegen. Da kannst auch sowas verwenden, mußt jedoch, um die maximale Anzahl an Einschüben nutzen zu können, weitere HBAs hinzufügen.

 

[Testa2014]

Welcher Raid Controller wäre den sinnvoll?

Bin damals beim https://geizhals.de/intel-rs25db080-a649614.html?hloc=de hängen geblieben, alles mit mehr Anschlüsse wird gleich teuer. Kann das was ich brauch.

Da bewege ich mich doch schon im 1000 Watt Bereich?

Was willst du den betreiben?

bei mir auf drei Rechnern über insgesamt 9 multilane (x4) ohne Probleme.

Hast du einen Link zu deinen Kabeln?

 

[ivans89]

Bin damals beim https://geizhals.de/intel-rs25db080-a649614.html?hloc=de hängen geblieben, alles mit mehr Anschlüsse wird gleich teuer. Kann das was ich brauch.

Wieviele Festplatten kann ich an diesen anschließen?

Was willst du den betreiben?

Threadripper
64GB Ram, mit Option der Erweiterung.
8x4TB Western Digital Red
2x1TB SSD
Im Gehäuse sind ja auch noch ein paar Lüfter
2x GPU - vermutlich wird es hier in Richtung RX 5700XT gehen.