Kaufberatung: Server für OpnSense und Proxmox mit bestehender Hardware

aGoat

Cadet 3rd Year
Registriert
Mai 2025
Beiträge
38
Hallo zusammen,

über Jahre habe ich mir mit gebrauchter Hardware ein kleine Serverlandschaft aus Spaß an der Freude zusammengekloppt. :hammer_alt:

Nun möchte ich das Sammelsurium (Auflistung weiter unten) gerne zusammenfassen und das Thema professioneller angehen. Dabei soll möglichst viel der bestehenden Hardware genutzt werden, soweit es die Anforderungen zulassen.

Ich bin für jede (Teil-)Antwort und jeden Hinweis in die richtige Richtung dankbar. Leider ist Hardware nicht mein Spezialgebiet. Korrekturen meiner Annahmen sind immer gerne gesehen.

Konkrete Fragen und Anforderungen habe ich grün markiert.

Ziel
Am Ende möchte ich zwei Server übrig haben:
  • Server für OpnSense mit genug Ressourcen für
    • mehrere VLANs
    • Firewall
    • mind. vier VPN-Verbindungen
    • DNS und DynDNS, AdGuard Home, ...
    • mind. 4x RJ45 mit je > 1 Gbit/s für WAN- und LAN-Ports
=> Ein System mit mindestens 8 GB RAM, besser 16 GB, und genug Hirn für mehrere WireGuard-VPN-Verbindungen sowie mehrere RJ45-Ports.​
  • Server für Proxmox mit genug Ressourcen für
    • Consul/Vault/Nomad-Cluster
    • TrueNAS-VM
    • Etwaige selfhosted Anwendungen für den Alltag (zehn bis zwanzig Container)
    • Transcoding mit bspw. Handbrake (mit Resourcenlimit, um Platz für die anderen Workloads zu haben)
    • Nach Bedarf Spielserver (Minecraft, Terraria, WoW, ...)
    • Sonstige VMs/Container für Hobby und Arbeit
=> Ein System mit mindestens 16 Kernen (32 Threads) sowie 32 GB RAM, um eine gewisse Anzahl an moderat dimensionierten VMs (nicht mehr als 4 Cores und 4 bis 6 GB RAM je) und Container (Resourcenlimits nach Anwendungs-Anforderungen).​

Ich möchte OpnSense ungerne virtualisieren. Da sehe ich den Mehrwert für mich nicht wirklich und bevorzuge daher Baremetal für meinen Router, auch wenn das einen Server einsparen würde.

Grundsätzlich bin ich immer für gebrauchte Hardware, wenn man so ein paar Euronen sparen kann. Summa summarum möchte ich nicht wesentlich mehr als 1.000 € für die Umstellung ausgeben. Danach soll mit dem Verkauf nicht mehr verwendeter Hardware ein Teil wieder reingeholt werden, damit ich trotz dieses Projekts meine Organe zur späteren Verwendung behalten darf.

Aktueller Bestand
GerätGehäuseMotherboardCPURAMStorage
4x Fujitsu Futro S920StockStockAMD GX-415GA1x Samsung DDR3-1600 SoDIMM 4GB
(M471B5173QHO-YKO)
Transcend 128 GB MSA220S mSATA
(TS128GMSA220S)
Storage ServerInter-Tech 4U-4416SuperMicro X11SSH-FIntel® Xeon® CPU E3-1220v62x ATP DDR4-2400 8GB UDIMM ECC
(X4C08QD8BNRCSE-7-TN1)
Boot: 2x MSI SPATIUM S270 480GB SSD
Bulk: 6x 4.0 TB Seagate IronWolf (ST4000VN008)
Application Server (alter Storage Server)Inter-Tech 4U-4088-SMSI H110M ECOIntel® Core™ i7-67002x G.SKILL Ripjaws V DDR4-3200 8GB UDIMM
(F4-3200C16D-16GVKB)
Boot: SanDisk 240G SSD
Bulk: 4x 3.0 TB WD Reds (WD30EFRX)

Gedanken zum Proxmox-Server
Aktuell laufen die Thin Clients mit dem Application Server als Proxmox-Cluster, doch habe ich gemerkt, dass ich die Zusatzfunktionen nicht wirklich benötige, deswegen soll es ein einzelnes System mit genug Recheleistung und Storage werden.

Zu Gehäuse und Storage: Ich möchte das Inter-Tech 4U-4416 als Gehäuse nutzen, was es mir ermöglicht ein E-ATX-Mainboard und bis zu 16 HDDs in den Einschüben unterzubringen (HBA vorhanden und schon im Betrieb). Die HDDs aus dem Application Server sind schon umgezogen. Die SSD aus diesem wird vermutlich verkauft.

Zum RAM: Da es mehr als ausreicht, soll das System auf DDR4 bleiben und die beiden 8 GB UDIMM ECC Module aus dem Storage Server weiterverwenden. Diese sollen mit kompatiblen Modulen erweitert werden, sodass ich mindestens 32 GB RAM mit ECC zur Verfügung habe.

Zur CPU: Die oben aufgeführten Anforderungen legen die Verwendung einer CPU aus dem Server-Segment nahe, also ein AMD EPYC zum Beispiel. Ich muss gestehen, dass ich bei Intels Produktreihen maximal verloren war und mir nicht sicher bin, welche Reihe da für mich in Frage kommt, aber da DDR4 gesetzt ist, bedeutet das, dass bei Intel bei Ice Lake Schluss ist, richtig? Aufgrund der Verwirrung habe ich mich mehr auf AMD konzentriert.

Für AMD kommen also die CPUs der EPYC 7001 bis 7003 Serien mit mindestens 16 Kernen in Frage, wenn man günstig einen gebrauchten auftreiben kann, nicht? Welche Prozessoren kommen bei Intel in Frage oder gibt es ganz andere Möglichkeiten für mich?

Zum Motherboard: Das ist natürlich abhängig vom erforderlichen Sockel der gewählten CPU. Für AMD wäre das dann eines mit einem SP3-Sockel. Auf jeden Fall möchte ich einen Management-Port, aber der sollte bei Modellen für Server-CPUs ja in der Regel dabei sein.
An Motherboards mit SP3-Sockel habe ich zum Beispiel die Modelle Gigabyte MZ31/32-AR0 gefunden, aber sicherlich gibt es noch reichlich andere. Die TDP der gewählten CPU ist auch ein Faktor, den ich leider noch nicht wirklich einbeziehen konnte, da ich mich noch nicht auf ein Modell festlegen konnte.

Welche Motherboards für AMD SP3-Sockel oder entsprechende Intel-Sockel kommen in Frage, die man im besten Fall gut gebraucht auftreiben kann?

Gedanken zum OpnSense-Server
Im Prinzip könnte ich für den OpnSense-Server den Arbeitsspeicher aus zwei Futros kombinieren und somit ein S920 mit 8 GB RAM haben, welcher noch mit einer NIC mit vier RJ45-Ports erweitert wird.
Aus etwaigen Blogs und Kommentaren auf Reddit und hier habe ich schon mitbekommen, dass die S920 (vor zwei bis vier Jahren) eine solide Basis für OpnSense bildeten, aber man ihnen ihr Alter nun langsam anmerkt. Vor allem bei (mehreren) VPN-Verbindungen und weiteren Anwendungsfällen neben Routing kommt die CPU an ihre Grenzen, sodass anscheinend schon bei einer einzelnen VPN-Verbindung der Throughput stark zurückgeht.

Daher hatte ich überlegt, einen Mini PC mit bspw. einem neueren Intel N100 oder N150 zu nutzen. Diese haben zwar auch nur 4 Cores und Threads, aber deutlich mehr Taktfrequenz bei geringerem Stromverbrauch.

Nur bin ich mir aufgrund der - so nehme ich das wahr - schieren Menge an Mini PCs und sonstigen Barebones auf Amazon & Co. überfordert und unsicher, welches Gerät es dann doch werden soll. Und woher ich es beziehen soll, wenn man keinen Amazon-Account hat.

Darum bitte ich um konkrete Empfehlungen für Mini PCs oder vielleicht sogar 19"-Geräte, die ich gleich in meinen Netzwerkschrank schrauben kann, ohne vorher eine Halterung zu drucken.

Leider sind Modelle, die in Blogs gezeigt und empfohlen werden, aufgrund der aktuellen Engpässe oft nicht mehr verfügbar oder kosten mich dann doch meine Niere.



Vielen Dank im Voraus für eure Beiträge!

aGoat
 
Geht beim Budget nicht mehr, wenn Du Dir schon eine WoW-Serverlizenz für ein paar Millionen Euro leisten kannst?
Für die sonstigen Anforderungen würde ich unter 64GB RAM nicht anfangen, eher 128+
 
  • Gefällt mir
Reaktionen: nutrix und aGoat
Also ich würde dir empfehlen auf mindestens 64GB Ram zu gehen bei der Anzahl Container die du betreiben willst.

Zur Einordnung - bei mir sieht es aktuell so aus:
1793041357842.png


Ich habe auf diesem Host momentan 10 Container laufen und 7 VMs und damit schon knapp 80GB in Nutzung.
Es ist zwar sehr individuell, welche VMs und Container aber bei 10-20 Containern + zusätzliche VMs z.b. Truenas wirds mit 32GB einfach zu eng.

Insbesondere Truenas profitiert sehr stark von viel RAM, stichwort ZFS ARC.

Mein Truenas ist auf Baremetal gehostet und da habe ich alleine 96GB Ram drinnen.
Das Truenas hab ich mir auch aus gebrauchter Hardware zusammen gestellt und ich könnte mir vorstellen, dass sowas in die Richtung auch für dich interessant sein könnte.

Als CPU ein Intel Core i9-7900X (20 Cores) als Board ist ein ASUS X299 Deluxe und RAM (DDR4) hab ich mir wild aus Kleinanzeigen zusammen gekauft. Wichtig, immer das gleiche Modell und Eigenschaften.
Vorteil hier das es noch die alte Intel HEDT Plattform ist, damit hast du 8 RAM Bänke.
Ich würde mindestens 16GB Module kaufen, da kannst du mit 64GB anfangen und später bei bedarf weiter upgraden.
 
  • Gefällt mir
Reaktionen: aGoat
Ich hab 20 Container mit 16GB RAM laufen gehabt...also ja...Sehr individuell...
Für das meiste brauchs deutlich weniger und alles was geht, gehört heutzutage, in einen Container und nicht in eine VM. Ob das nun Docker oder Proxmox LXCs sind ist erstmal egal.

Gerade für den OPNsense reicht ne kleine Maschine. Das bisschen was man privat zu routen ist..
Just my 2 Cents.
Wenn du spass hast klar kann man machen, klingt für mich aber nach ein bisschen Overkill
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: aGoat und ququ
MetalForLive schrieb:
Insbesondere Truenas profitiert sehr stark von viel RAM
Jedes moderne Dateisystem profitiert von viel RAM, weil Cache und so (freier RAM ist verschwendeter RAM), da ist ZFS nicht anders (abseits von Deduplizierung). Bei ZFS sieht man es nur prominenter, weil sich ZFS selbst darum kümmert und nicht die üblichen Kernelmechanismen dafür nutzt. Man sieht also Prozesse mit viel Speichernutzung.
Bei ext4 und Co hast du dafür große Zahlen bei "buff/cache" in der Speicherübersicht.
Am Ende gibt auch ZFS Speicher ab, wenn das System den anfordert, wobei das zugegeben manchmal etwas träger passiert, als via Kernel.
 
  • Gefällt mir
Reaktionen: aGoat
KillerCow schrieb:
wobei das zugegeben manchmal etwas träger passiert, als via Kernel.
Also das war sogar so träge, dass ich den ARC unter Proxmox von RAM/2 (was dem Default entspricht) auf 8GB hart begrenzt hatte (gesamter RAM war 96GB). Immerhin ging es hier nur um nen einfachen ZFS Mirror aus 2x 2TB NVMe SSDs und da sollten ja auch noch VMs drauf laufen, die auch gern noch RAM haben würden. Der Default führte nämlich dazu, dass man immer ne voll genutzte SWAP-Partition sah :/.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: aGoat
Ich habe aktuell ein 2 Server Backup:

Hypervisor:
Lenovo M920x mit 8700T, 64GB RAM, 10GBit - Proxmox mit ca. 20 Containern (OPNSense, PiHole, Omada, Home Assistant, Jellyfin, Immich und ein paar andere) Proxmox als OS
Sehr stromsparend und die Power reicht recht gut

Fileserver:
Gigabyte MC12-LE0 mit AM4, Ryzen 4650G, 128GB ECC RAM, 4x16TB. TrueNAS als OS

Immich läuft auf dem Hypervisor, aber der Speicher liegt auf dem Fileserver. Ich kann den Fileserver auch mal abschalten, auch wenn ein paar Dienste dann nicht mehr 100% funktionieren, aber diese sind nicht die essenziellen.

Optional:
Aus Resten habe ich einen Backup-Server gebaut und ich mache einen monatlichen snapshot vom Fileserver. Sind 10x 4TB in RAIDZ2 unter TrueNAS. Ist eine gute Möglichkeit alte Hardware sinnvoll zu nutzen.

Mein Empfehlung:
Einen (Mini-) PC mit vielen Kernen und max RAM. DDR4 SO-DIMM sollte besser zu bekommen sein. Darauf alle wichtigen Container.

https://www.mydealz.de/share-deal-from-app/2857433

https://amso.eu/en/products/compute...hz-16gb-512gb-ssd-wifi-windows-11-home-295718

Evtl. Den jetzigen Fileserver weiter verwenden. Mehr RAM ist immer gut und ECC ist natürlich auch besser, aber optional wenn man tolerant hinsichtlich Gedenksekunde ist. Proxmox mit TrueNAS VM + sekundäre Container, oder TrueNAS als OS.

Ich habe 2x Optane P1600X für die Metadaten meines Storage arrays und die Gedenksekunde ist spürbar kürzer und es fühlt sich wie ein lokaler Storage an.
 
  • Gefällt mir
Reaktionen: aGoat
Danke für die Antworten und Einblicke in eure Umgebungen. Auf jeden Fall nehme ich mit, dass 32 GB RAM doch etwas niedrig angesetzt ist.

Die anderen Hinweise nehme ich mal so mit und schaue, was sich auf eBay und Kleinanzeigen zusammenkaufen lässt.

Wie oben gesagt, müsste ein S920 für einfaches Routing usw. ausreichen würde, obwohl ich mir unsicher bin, wie er mit mehreren VPN-Verbindungen klar kommt. Ich probiere es mal mit einem und hole einen Riser und eine NIC und teste das mal. Mit einem generischen Riser (der Originale von Fujitsu ist unverschämt teuer) sollte ich diese neu zugekaufte Hardware ja auch in anderen Thin Clients einsetzen können, wie bspw. in denen, die der Dig. Minimalist erwähnt hat, wenn dieser nicht ausreicht.

Mindestens einen weiteren Thin Client werde ich behalten, falls mal ein kleines System brauche, um etwas zu testen.

Die Hardware des alten Application Servers wird vermutlich restlos verkauft, während aus einem passenderen Gehäuse und MB, CPU und RAM des aktuellen Storage Servers ein Backup Server gebastelt wird, der in ein Nebengebäude kommt, so habe ich zumindest minimale Georedundanz.

Für das neue Innenleben des finalen Proxmox-Server liebäugele ich nach wie vor mit den EPYCs von AMD. Da findet man auch günstige gebrauchte CPUs und MBs in Deutschland und muss nicht auf die ganzen Angebote aus China zurückgreifen. Spart immerhin die Einfuhrgebühren.
Konkret denke ich an einen AMD EPYC 7452, 32 Kerne bei nur 155 W TDP. Taktet zwar nicht so hoch wie der i7-6700 aus dem aktuellen Application Server, aber im Grunde habe ich keine kritischen Anwendungen, die davon profitieren würden.

Beim RAM werde ich wie geraten nach mehr Kapazität schauen und anstatt der 8 GB auf 16 GB Module setzen. 64 GB DDR4-2666/3200 RDIMM scheinen preislich nicht die Welt zu kosten.

Wenn ich die konkret von mir geplaten Upgrades überschlage, komme ich auf etwa 700 €.

Ich werde am Ende mal so frei sein und eine Antwort mit einer Zusammenfassung aller Umbauten schreiben, wenn alles über die Bühne gelaufen ist.
 
  • Gefällt mir
Reaktionen: MetalForLive und metallica2006
aGoat schrieb:
aber im Grunde habe ich keine kritischen Anwendungen, die davon profitieren würden.
Ich würde lieber auf Kerne verzichten und mehr Takt/IPC nehmen. Solange wir hier nicht von zig gleichzeitigen Client-Zugriffen auf deine Dienste reden, bringt mehr Takt/IPC in den meisten Fällen mehr als mehr Kerne. Spätestens wenn du VMs erstellt, wo Nutzer interaktiv mit arbeiten sollen (z.B. per RDP), will man eigt. immer mehr Takt/IPC haben.
 
  • Gefällt mir
Reaktionen: aGoat
Vodafone Glasfaser
Zurück
Oben