Home low-power Coffe-Lake ESXi

/root

Lt. Commander
Registriert
Okt. 2007
Beiträge
1.285
Hallo,

Ich würde gerne ein paar Netzwerkgeräte/-services für mein Heimnetzwerk bereitstellen und bin nach einiger Überlegung auf die Idee eines VMWare ESXi Servers gekommen.

Wofür ein ESXi zu Hause?
Ich benötige aktuell eine Firewall mit IPSec (pfsense) und ein NAS (Samba Share).
Derzeit habe ich keine Firewall und mein Mediacenter PC (Kodi mit Ubuntu) hat einfach eine Freigabe eingerichtet => etwas lästig weil der Mediacenter PC nicht durchgehend läuft.

Zuerst dachte ich an eine kleine Firewall Appliance auf i3 (Selbstbau) Basis oder eine PC Engines.
Wenn man sich das mal durchrechnet:
i3 Coffe-Lake Firewall ~€400, Leistung gut, Stromverbrauch ~34Watt Idle
PC Engines x86 Firewall, €200, Leistung nur ausreichend für Firewall, ~10Watt Idle

Alles nicht schlecht aber wenn ich da noch €150 auf einen i5 drauflege kann ich damit einen vernünftigen ESXi Server betreiben der auch in Zukunft noch ordentlich Luft hat (Filehoster Download Server, IDS/IPS, ...) und auch nur ~36 Watt braucht im Idle. Vom Stromverbrauch sollte sich das schon bei Firewall + NAS amortisieren. Jedes physische Gerät dass ich mir danach durch Virtualisierung einspare wäre dann schon strom gespart. Die Technik wird ja in Zukunft grundsätzlich nicht weniger im Haushalt.

1 Kingston SSDNow UV400 120GB, SATA (SUV400S37/120G)
1 Intel Core i5-8400, 6x 2.80GHz, boxed (BX80684I58400)
1 G.Skill NT Series DIMM 8GB, DDR4-2400, CL15-15-15-35 (F4-2400C15S-8GNT)
1 Gigabyte Z370P D3
1 Intel PRO/1000 GT Desktop Adapter, 1x 1000Base-T, PCI 66MHz, bulk (PWLA8391GTBLK)
1 Inter-Tech IPC 4U-4098-S, 4HE (88887177)
1 be quiet! System Power B8 350W ATX 2.4 (BN257)

Was meint ihr zur Hardware für diesen Einsatzzweck?
Netzwerkkarte habe ich keine Ahnung, da habe ich einfach die erstbeste Intel genommen und hoffe dass sie mit ESXi OS kompatibel ist.

LG
 
Nimm eine kleinere CPU und dafür mehr RAM davon hat ein ESX deutlich mehr. Die Netzwerkkarte wird funktionieren.
 
Für so ein Projekt würde ich ein Board wie dieses nehmen:
https://geizhals.de/asus-p10s-c-4l-90sb0530-m0uay0-a1369786.html?hloc=at&hloc=de

+ 4x Intel GB LAN (damit dedizierte NICs für die virtualisierte PF)
+ ESXi 6.5 zertifiziert: https://www.asus.com/Static_WebPage/Virtualization/
+ Remote Management

Für ESXi selbst eine billige 16GB mSATA M.2 SSD (wie Transcend MSA370 um 25€). Alles andere auf 1 - 6 SATA HDDs (Datastore).

Und als CPU ein Intel Pentium Gold G4560 boxed (2C/4T für 50€)
https://geizhals.de/intel-pentium-gold-g4560-bx80677g4560-a1558362.html?hloc=at&hloc=de

RAM 1x 8GB DDR4. Je nach Anspruch auch ECC. Bei Bedarf (VMs) kann (evtl. auch später) noch erweitert werden.

PS: Eine CPU wie 6C CFL ist viel zu viel. Das Geld steckt man besser in die Plattform ;)
 
Zuletzt bearbeitet:
Danke für die Rückmeldungen!

Masamune2 schrieb:
Nimm eine kleinere CPU und dafür mehr RAM davon hat ein ESX deutlich mehr. Die Netzwerkkarte wird funktionieren.
8GB RAM sollte fürs erste dicke reichen, 2-3 UNIX VMs brauchen ja fast nix an Speicher
RAM Upgraden ist einfach, CPU dagegen ...

YforU schrieb:
Für so ein Projekt würde ich ein Board wie dieses nehmen:
https://geizhals.de/asus-p10s-c-4l-90sb0530-m0uay0-a1369786.html?hloc=at&hloc=de

+ 4x Intel GB LAN (damit dedizierte NICs für die virtualisierte PF)
+ ESXi 6.5 zertifiziert: https://www.asus.com/Static_WebPage/Virtualization/
+ Remote Management

Für ESXi selbst eine billige 16GB mSATA M.2 SSD (wie Transcend MSA370 um 25€). Alles andere auf 1 - 6 SATA HDDs (Datastore).

Und als CPU ein Intel Pentium Gold G4560 boxed (2C/4T für 50€)
https://geizhals.de/intel-pentium-gold-g4560-bx80677g4560-a1558362.html?hloc=at&hloc=de

RAM 1x 8GB DDR4. Je nach Anspruch auch ECC. Bei Bedarf (VMs) kann (evtl. auch später) noch erweitert werden.

PS: Eine CPU wie 6C CFL ist viel zu viel. Das Geld steckt man besser in die Plattform ;)

Board scheint wirklich super zu passen! Danke!
Warum genau diese CPU? Warum nicht die aktuelle Coffe-Lake Architektur?
Schon klar dass 99% der Zeit eine kleine CPU ausreicht, nachdem ich den Server aber gerne lange verwenden möchte (auch als Spielwiese) und ein paar Euro auf oder ab mich nicht stören würde ich sonst zu einem i3/i5 greifen.
 
Das Board hat einen Intel C232 Chipsatz. Dieser ist nicht zu Coffee Lake kompatibel. Aktuell wird dieser nur von Z370 unterstützt. Alles andere inkl. neuer Server Chipsätze (und auch LGA 1151 Xeons mit 6C) kommt erst noch.

Kompatible CPUs:
https://www.asus.com/de/Commercial-Servers-Workstations/P10S-C-4L/HelpDesk_CPU/

Zum Pentium Gold G4560:
Die CPU entspricht nahezu einem KBL Core i3 (da 2C/4T), unterstützt ECC Speicher, niedrige Verlustleistung, ordentliche Performance und der Preis ist fair.

Alternativen:
https://geizhals.de/?cat=cpu1151&xf=12099_Server~820_1151
https://geizhals.de/?cat=cpu1151&xf=12099_Desktop~12114_Kaby+Lake~12114_Skylake~25_2
 
Zuletzt bearbeitet:
Eine Software Alternative zu VMware ESXi wäre unRAID.
https://lime-technology.com/what-is-unraid/

Grundsätzlich kann man sagen, das man bei einem Single Socket Mainboard mit mehr logischen CPU Cores deutlich länger glücklich ist und gleichzeitig die Skalierbarkeit über längere Zeiträume im grünen Bereich bleibt. Vor allem wenn man in den Genuss von guten Virtualisierungsumgebungen gekommen ist und mehr Dienste haben möchte.
Den RAM muss man einfach an seinen Bedarf/Anzahl/Art/Aufgabe der VM's anpassen.
Nutze selbst einen i7-6700k und 48GB Ram für meine privaten Laborumgebungen in VMware Workstation auf einem Debian Host. Bei 6 VMs muss man dann schon etwas länger warten.
 
Das Einzige, was bei Deiner Maschine wahrscheinlich limitiert ist die Festplattenleistung.
Ich habe einen Rootserver bei Hetzner mit einem 1245V2 32GB DDR3 sowie 2x2TB 7200RPM HDDs
Als Hypervisor nutze ich Xenserver 6.5.
Als VMs laufen eine PFsense, ein Debian 8 für meinen Zarafa Mailserver und meine Webseiten, ein Ubuntu 16.04 für meinen DNS, ein Win7 für einen Kunden als Virtueller Arbeitsplatz, ein weiteres Ubuntu für einen Kumpel als MP3 Cloud sowie ein Server 2016 fürs AD ... und ich habe keine Performanceprobleme. Xenserver kann den Ram dynamisch verwalten so dass ich sogar noch 13GB frei habe, obwohl ich bei vielen Maschinen sehr großzügig war ...

Kurzum @n0_o-0wl- wenn Dir die Maschinen zu langsam laufen solltest Du eher an einen SSD Cache denken, als an mehr Kerne, denn Dein Skylake schlägt ja meinen Ivy Xeon um Längen ...
 
Nun, der Satz 'man muss schon etwas länger warten' interpretiert jeder der es gelesen hat für sich selbst, da ich absichtlich ziemlich sparsam mit Spezifikationen war, nur um /root ein Beispiel/eine Richtung zu nennen.
Aber wo du es gerade ansprichst, möchte ich gerne ein kleines Beispiel machen, um zu zeigen, dass alle Details eines Systems für eine gute Deutung wichtig sind und genannt werden sollten, damit die Community gute Beratung/Hilfestellungen geben können.
Nimm nur erstmal die genaueren RAM Specs mit dazu: 48GB DDR4 3200MHz CL16 ( tested Vendor XMP 2.0 Profil) - DualChannel. Schon ist eine völlig andere Interpretation möglich, nicht wahr? Aber wir legen noch einen drauf. Festplatten sind obsolet und dienen nur zur Archivierung.
VM's mit hohem Workload/Durchsatz kommunizieren über eine NVMe PCIe x4 Anbindung pro Medium und die kleineren VM's über eine SATA 6Gbit/s Anbindung pro Medium mit elektrischer Speicherung (SSD). Und eine weitere Interpretation. Aber dafür sind mögliche weitere unbekannte Faktoren nicht mehr so sehr ausschlagebend und beeinflussen das Ergebnis. Wobei, die einzelnen Anbindungen der PCIe Lanes innerhalb der CPU und des Chipsatzes....Spaß. :D

Ein kleines Gedankenspiel und ich hoffe ein positives. :)

Xenserver durfte ich leider noch nie testen. Virtualisierungsprodukte von Citrix sollen nicht schlecht sein.


@/root
sry das ich dein Thread dafür missbraucht habe. :)
Ist deine Anfrage noch aktuell oder hast du ein Setup gefunden?
 
n0_o-0wl- schrieb:
@/root
sry das ich dein Thread dafür missbraucht habe. :)
Ist deine Anfrage noch aktuell oder hast du ein Setup gefunden?
kein Problem, ich lese ja mit :D
ja, Anfrage ist noch aktuell, ich kann mich aber irgendwie nicht so richtig entscheiden ...
Eventuell warte ich noch bis Coffe Lake von mehr Mainboards unterstützt wird, 2 Cores sind mir doch ein wenig mager
Eine andere Möglichkeit wäre ein normales 1x Ethernet-Port Mainboard mit einem kleinen managed Switch dazu, mit Trunk + vLANs kann ich dann auch alles schalten so wie ich es möchte
 
Das Netzteil würde ich gegen ein z.B.

https://www.mindfactory.de/product_...nic-Prime-Ultra-Modular-80--Gold_1220947.html

tauschen. Ist für den Serverbetrieb besser geeignet. Gleichzeizig setzt es im Idle und unter Last die benötigte Leistung des Systems sehr gut um, sodass noch ein paar Watt gespart werden können in Bezug auf Low Power. Wenn du noch etwas mehr Geld ausgeben kannst, hätte ich auch ein noch effizienteres Netzteil im Angebot. Das BeQuiet wäre eine schlechte Wahl, wenn Wh gespart werden sollen.

Die Netzwerkkarte sollte einen Kühlkörper haben, wenn dein ganzer Traffic einmal durch die Firewall geht, je nach Durchsatz. Wobei ich sogar soweit gehen würde, dass pfsense 2 eigene Netzwerkkarten bekommt, damit die NAS mit vollen 1Gbit's kommunizieren kann. Wenn sich zu viele VM's einen Port teilen, entwickelt sich das schnell zum Flaschenhals. Am besten ist immer wenn jede VM eine eigene NIC hat. Ob das bei einem Homeserver oversized ist, ich denke nicht :cool_alt: Durch langsame Netzwerke können ziemliche Kopfschmerzen entstehen. :D

Bei der SSD eventuell überlegen gegen Samsung oder Crucial zu tauschen. Mit Kingston SSD's bin ich auf Kriegsfuß. Mit Samsung SSD's habe ich gute Erfahrung im Serverbetrieb gemacht. Crucial fehlt mir die Erfahrung im Server Einsatz, bisher nur in Workstations genutzt.

Als Hypervisor nutzt du ESXi ? Oder hast du dich anders entschieden?

Wie sieht deine Planung aus bzl. Diensten/VMs? pfSense und ein NAS hattest du bereits oben erwähnt. Nimmst du für die NAS ein eigenständiges OS oder setzt du ein SMB/NFS Server auf z.B. Debian auf? Falls ja kann im selben OS das für später erwähnte DownloadCenter z.B. mit einem Apache realisiert werden. Wären zwei Dienste in einer VM. Auf dem Debian kann dann später noch viel mehr bei Bedarf realisiert werden (MediaServer, OpenVPN Server, etc). Bzl. IPS/IDS kann ich nichts sagen, steht noch auf meiner ToDo Liste. Aber jemand anderes vielleicht. :)
Das ganze wäre wegen der CPU und dem RAM interessant. Das Setup sollte auch in Zukunft skalierbar sein, wenn neue Dienste/VMs dazukommen.

Ein anderes Mainboard hätte ich auch noch im Angebot, allerdings auch etwas teurer.
 
Zuletzt bearbeitet: (edit)
So, wieder mal ein Update von mir, das Thema ist nicht eingeschlafen aber hat sich zu einem Langzeit-Planungs-Projekt entwickelt :D

@n0_o-0wl-
Das Seasonic hat 5% mehr Effizienz als das BeQuiet, kostet aber das doppelte. Da erspare ich mir gerade mal 2-3 Watt im Idle Betrieb, das amortisiert sich whs nie :)

Bezüglich Storage habe ich jetzt lange überlegt, auch wie ich nachher die VMs anlege und size etc.

Hab mich jetzt entschieden die vorhandene 5TB + 4TB mit einer weiteren 4TB Platte zu erweitern und diese ohne RAID intern zu verwenden als Speicher für die VMs. ESXi installiere ich auf eine 500GB SSD, die hat Notfalls auch Platz für eine (temporäre) Labor VM falls schnellerer Storage gefragt ist (meistens aber nicht).

Als Fileserver werde ich ein Windows 10 verwenden mit Windows Freigabe - auf das syncen alle Endgeräte ihre Backups und die werden wiederum mit Backblaze verschlüsselt in die Cloud geschoben. Das schöne ist: mit VMware kann ich dem Windows Host auf mehreren physischen Platten Speicher zuweisen und kann daher auf ein RAID verzichten (macht auch alles einfacher/robuster), Ausfallsicherheit brauche ich keine und die Backups liegen ja in der Cloud.

Aktuell geplant ist nur der Win10 Fileserver der SMB, JDownloader und Backblaze bereitstellt und eine pfSense Firewall die auch noch IPSec Server spielt.

Ich bleibe übrigens bei deinem CPU Vorschlag YforU, alles andere ist einfach deutlich schlechter vom Preis-/Leistungsverhältnis.

Aktueller Planungsstand:
1 Western Digital WD Red 4TB, 3.5", SATA 6Gb/s (WD40EFRX)
1 Kingston A400 SSD 480GB, SATA (SA400S37/480G)
1 Intel Pentium Gold G4560, 2x 3.50GHz, boxed (BX80677G4560)
1 G.Skill NT Series DIMM 8GB, DDR4-2400, CL15-15-15-35 (F4-2400C15S-8GNT)
1 ASUS P10S-C/4L (90SB0530-M0UAY0)
1 Inter-Tech IPC 3U-3098-S, 3HE (88887176)
1 be quiet! System Power B8 450W ATX 2.4 (BN258)
~€600
 
Zuletzt bearbeitet:
Falls es noch nicht zu spät ist: Wenn Du schon ein passende Kombination von CPU und Mainboard hast, würde ich gleich noch ECC-RAM (von Samsung oder Crucial direkt) nehmen.

Bin aber persönlich besonders sensibilisiert: Ein defektes Netzteil hatte mal (seltene) RAM-Fehler verursacht, ohne, dass der Computer in irgend einer Form abgestürzt oder eine Anwendung instabil geworden wäre. Allerdings haben diese RAM-Fehler größere Dateien beim Abspeichern zerstört, was man erst später beim Weiterverwenden der entsprechenden Dateien gemerkt hat.

Seit dem nutze ich nur noch Systeme mit ECC-RAM, wenn es nicht gerade ein Notebook oder HTPC sein soll - wenn etwas "unsichtbar" kaputtgent, geht mir das massiv gegen den Strich :-/
 
Zuletzt bearbeitet:
Registered ECC (die Abkürzung "reg" in der Artikelbezeichnung) geht nur bei den großen Xeons und Epycs. Bei Sockel 1151 muss man "Unbuffered ECC" verwenden:

https://geizhals.de/?cat=ramddr3&xf...plz=&dist=&mail=&sort=r&bl1_id=30#productlist

(wenn 8 GB reichen spricht auch nichts gegen das günstige Kingston-Modul, persönlich bevorzuge ich jedoch Samsung, da sie die besten DRAM-Chips produzieren und da Kingston kein DRAM-Chip-Hersteller ist, weiß man nicht, was sie konkret auf den Modulen verlöten)
 
  • Gefällt mir
Reaktionen: /root
Zurück
Oben