Neuer Homeserver - Proxmox/Truenas mit Dampf

[Davidq656]

Hardware für Proxmox mit vielen PCIe gesucht.

1. Möchtest du mit dem PC spielen?
NEIN.

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
INDIREKT - Proxmox als Hypervisor, diverse VM's mit Linux, Windows, docker etc, zu denen eine Grafikkarte durchgereicht werden soll

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
IRRELEVANT

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
HEADLESS

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

• Prozessor (CPU): Xeon E5-2640v4
• Arbeitsspeicher (RAM): 128GB DDR4 ECC
• Mainboard: ASRock Extreme 4
• Netzteil: 850W BeQuiet Straight Power 11
• Gehäuse:
• Grafikkarte:
• HDD / SSD: 512GB Seagate NVME als Cache, 2x480GB Datacenter SSDs, 20x4TB Seagate Ironwolf HDD's

6. Wie viel Geld bist du bereit auszugeben?
So viel wie nötig - nicht unnötig teuer. ROI sollte sich mit Stromeinsparungen erzielen lassen.

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Das ganze muss nicht am Knie abgebrochen werden, ist eher eine langfristige Planung mein bestehendes System abzulösen.

Hintergrundinfos:

Aktuell betreibe ich einen die Oben genannte CPU/MB Combo als Server.
Tendenziell benötige ich mehr als 128GB RAM- 256GB wären Ideal. ECC ist muss.
CPU muss nicht Überragend sein, aber ein Celeron oder Consorten ist definitiv zu lahm für mehrere 40 Gigabit Netzwerkkarten
Ich brauche massiv viele PCIe Slots für 40GBe NIC, 4x1G NIC, HBA, Grafikkarte sowie für die NVMe
Optimal wäre ein Board, mindestens 3-4 Fullsize x16 PCIe (auch elektisch) hat.
Das aktuelle Board hat:

• 3 PCIe 3.0 x16, 1 PCIe 2.0 x16, 1 PCIe 2.0 x1

Damit komme ich gerade so aus. Nachdem das aktuelle System keinen Headless Start unterstützt, muss ich zum Reboot mittels Mining Adapter ne Grafikkarte im x1 Slot anschließen. Das ist so nicht praktikabel.

Der SAS Expander braucht zum Glück nur Strom und wird einfach mit einem Mining USB/PCIe Adapter darüber versorgt. Das ganze wandert in mein JBOD und stört mich da nicht.

Ich bin schon länger auf der Suche nach einer Mainboard/CPU Combo, die das ganze Setup ersetzen kann. Entweder scheitert es an den PCIe Slots oder der Bezahlbarkeit des Setups. Ich will dafür keine 3k ausgeben. Dann kann ich das bestehende Setup auch weiter betreiben und mit den Stromkosten leben. Aktuell liege ich bei ca 120-150W im 24/7 Betrieb. Schön wäre es, wenn ich das unterbieten kann.

Ich bitte darum, keine Diskussionen anzufangen, wozu ich denn so viel Hardware im Homelab brauche und warum keine größeren Platten. Danke

 

[whats4]

nun, du definierst die ansprüche.
und die sind, stichwort anzahl der pci-e lanes, halt weit jenseits von consumerplattformen.
und das, wast hast, gehört ja auch in hedt. halt alt inzwischen.
aber darüber diskutieren wir ja ned.

insofern: sei froh, wennst mit 3K davonlommst.

 

[Davidq656]

Ich komm um die PCIe halt nicht herum
Grafikkarte, 2 NIC's, HBA. Ich könnte zur not eine NIC weglassen, sind aber immernoch minimum 3 Fullsize Slots plus NVME.

Die Hardware ich ich aktuell habe ich Consumer grade. Dass das Board RDIMM's frisst ist halt ein netter effekt, den ich nicht mehr missen kann/möchte. Wenn es das perfekte Nachfolger Board gäbe, kann ich auch ohne ECC leben. Aber da muss schon viel Stimmen. x299 hat schon ein paar Nette boards, aber da lohnt sich der Sprung in meinen Augen nicht.

Könnte ja sein, dass jemand den perfekten Nachfolger kennt. Ich muss ja nicht neu kaufen. Meine Erwartung ist auch nicht, dass die Hardware grad frisch raus gekommen ist. Nur neuer als mein bestehendes, gleiche/mehr Power und weniger Stromhungrig. 19" Server sind da halt raus..

 

[derchris]

puh, das aktuelle Setup klingt schon nicht schlecht.

Wieviel Computing Power brauchst du denn? Wieder Xeon oder i7, gar AMD?
Server Board mit Management Port? Was für ein Gehäuse? kommen die 20x4TB wieder da rein?

So viel wie nötig - nicht unnötig teuer. ROI sollte sich mit Stromeinsparungen erzielen lassen.

Nehmen wir mal 150 Watt an, dann sind das pro Jahr 1314 kWh bei 30 Cent = 400 Euro.
Wenn du nun nur die hälfte verbrauchst, dann sind das 200 Euro - nach wie viel Jahrzehnten soll sich das rechnen? (oder habe ich mich verrechnet?)

 

[Davidq656]

Meine CPU Last ist tatsächlich überschaubar. Problem ist ne CPU zu finden, die noch genug Computing Power hat aber auch genug PCIe Lanes.

Management Port wäre Nice to Have, aber kein muss. Case ist auch irrelevant.
Case aktuell ist ein Phanteks P400, da sind mit eigens 3D-Gedruckten Mounts 10 HDD's drin. Dazu 4 SATA SSD's. Die restlichen Platten sind in einem eigens Entwickelten 3D- Gedruckten 19" JBOD Case. Da passen 12x3.5" Platten rein.

Das mit den ROI war eher so gemeint, dass sich das neue System schon irgendwie merkbar abheben sollte im Verbrauch. Wenn ich genau die gleiche Stromaufnahme habe, hab ich ja nix gewonnen.
Ich merk mit dem Aktuellen Setup schon 20-30W unterschied, wenn ich den CPU Governor anpasse. Kann aber auch nicht das Ziel sein, einen Cronjob laufen zu lassen, der den Governor nachts auf Powersave stellt. Dann laufen die Backups evtl. wieder nicht sauber durch.

 

[washieiko]

@Davidq656 hast du die printdaten irgendwo uploaded? oder kann man ein bild sehen von dem jbod case? klingt spannend!

 

[Davidq656]

Last ist doch immer sehr unterschiedlich. Aber da laufen eben ein haufen VM's die richtig Power fordern, wenn sie genutzt werden. Grundlast sind ne Sophos XG Firewall + Schatten Firewall (HA Cluster um bei Updates Online zu bleiben), Truenas, Nextcloud, AccessPoint Management Server, PiHole, Docker Host, Jellyfin und 2 Windows VMs. Das zeug muss immer laufen. Rest bei bedarf.

Ergänzung (10. Juli 2023)

Ich hab das JBOD Case noch nicht fertig. Mein aktuelles ist sehr Prototyp. Aktuell sind die Platten noch verschraubt, alles ist eher rudimentär.
Vorne sind 3x120mm Lüfter drin, die Magnetisch per Blende gehalten werden. Aktuell bin ich am Design der Festplatten schlitten. Soll ja Hotswap fähig sein. Zudem muss ich mir noch gedanken machen, welche SATA/Strom Kombi ich hinten als art Backplane verbauen kann.
Ziel ist es, dass man eben keine Sackteure Server Hardware nehmen muss, sondern es bezahlbar bleibt.
Das Case wird von selbst nicht in einem 19" Rack halten, geplant ist es, dass es auf einem 19" Einlegeboden steht. Zudem ist es mittels Carbon oder Alustreben im Druck verstärkt. Gedruckt wird aus 2 hälften, dann die Stäbe rein und Verkleben.

 

[whats4]

nein, ist nicht consumer grade.
weil der xeon nach arc.intel in die schublade "server/enterprise" gehört.
intel baute und baut nix, was rdimm kann und consumersparte ist.

 

[Davidq656]

Ich find Grad nur den Screenshot. Aber das ist ein uralter Stand. Wenn das ganze fertig ist und auch reproduzierbar, werd ich die STLs zum schmalen Taler zum Kauf anbieten. Waren dann doch ein paar Stunden Arbeit 😉 Oder die Option es bei mir gedruckt zu kaufen. 😂

 

[DerNiemand]

Nutzt du ballooning oder LXC?

Dein aktuelles Board hat laut Website von Asrock nur 2* PCIe 16x 3.0, der andere 3.0 Port ist elektrisch 8x.

Hast du schonmal über Bifurcation nachgedacht? und dann z.B. der Grafikkarte nur 4-8 Lanes geben?
Was für RAM hast du? Reg ECC?

Für viele PCI-E Lanes kommst du entweder um ein Dual-CPU system (z.B. Dell >R730), Threadripper oder Epyc nicht drum herum. Oder du teilst es auf zwei Server auf.

 

[Davidq656]

Ich bin kein freund von Ballooning, da hab ich wenig gute Erfahrungen. LXC nutze ich auch für ein paar Anwendungen. Ja, Bifurcation kann nur mein aktuelles Setup nicht. Zumindest hab ichs nie zu laufen bekommen.
RAM sind 8x16GB DDR4 ECC RDIMMs von ich glaube Samsung - Hab ich mal für unter 80€ geschossen. War ein No-Brainer das zu kaufen.

Ein Dual CPU-System möchte ich vermeiden. Threadripper wäre CPU Technisch mMn. echt übertrieben. Epyc hab ich mal ein bisschen geschaut, aber die brauchbaren Board haben entweder nen scheiß Formfaktor oder ich komm in CPU/MB Kombi ganz schnell sehr teuer

 

[Tornhoof]

Was hält dich davon ab einfach nen single CPU Intel Xeon Board mit 4189 Socket zu kaufen + kleinen Intel Xeon silver?
Also zb
https://www.asrockrack.com/general/productdetail.de.asp?Model=SPC621D8-2T#Specifications

Mit MB+CPU landest bei etwa 1200€ oder so.

 

[Davidq656]

Das ist tatsächlich ein guter Hinweis, danke. Da schau ich mich Mal um. Hab Grad nochmal gecheckt, ich könnte sogar mit weniger elektrischen x16 auskommen. Da kommt evtl doch das ein oder andere in Betracht. Muss ich morgen Mal genauer ansehen.

 

[DerNiemand]

Was für Probleme mit ballooning? Ich hatte nie welche

 

[HerrRossi]

Ich würde mich auch mal bei Serverboards umschauen, da kannst du evtl. auch die NIC und HBA weglassen.