Stromspar ESXi Virtualisierungshost

Der NUC sollte(!) laufen, ggf. musst du in das VMware Image noch die NIC-Treiber einbinden. Anleitungen dazu gibt es genug im Netz. Problematisch wird es eher beim Raid. Ich bin mir nicht sicher ob der ESXi ein pseudo-Raid des Boards erkennt. Damit du dies für VMs nutzen kannst musst ja sowieso den ESXi auf nen Stick installieren.
In 99% der Fälle überschätzen die Leute übrigens ihre Anforderungen
Daher würde ich eher ein Sockel 1151 Board mit notwendigen Anschlüssen heraus suchen, z.B. von Supermicro und dazu ne passende CPU, ein Pentium Gold G4560 reicht schon für deine Anforderungen. Nen Homelab AD kannst problemlos mit einem Kern und 4 GB Ram betreiben als VM. CPU Threads können ja problemlos bis 1:4 überbucht werden, nur RAM sollte in der Menge vorhanden sein wie du in Summer aller VMs vergibst + natürlich etwas Platz für Wachstum in der Zukunft.
Brauchbarer CPU Kühler, leises & gutes Netzteil dazu sowie eben Platten oder SSDs. Gemäß deiner Anforderungen tun es aber auch 2x 2,5" 7200RPM Platten. Die sind recht sparsam und außer beim Backup wirst du vermutlich eh kaum IOPS benötigen. Wenn es etwas mehr sein soll, dann halt 4 HDDs im Raid 10, bräuchtest dann aber nen Raid-Controller, der dies kann aber auch mehr Strom benötigt oder eben doch zwei SSDs, das ist dann natürlich wesentlich performanter aber eben auch teurer.
Bedenke, du kannst mit der kostenlosen ESXi Lizenz nicht wirklich Backups machen außer nicht 100%ig konsistente Full-Backups über Lösungen wie z.B. GhettoVCB. Erfordern aber einen zweiten Datastore oder NAS als Ziel.

Beispiel:
CPU: G4560 ~50€
Board: X11SSL-F ~170€
Netzteil: ~60 €
Case: Passend für Anzahl Disks + Board ~bis zu 100€
RAM: 1x 16 GB DDR4 ECC ~160€
Dann bist schon bei ca 440 €. Hinzu kommen noch Platten oder SSDs und nen brauchbarer USB-Stick für den ESXi und bei Bedarf mehr RAM.

Gute Idee. Der Pentium ist wegen ECC-Fähigkeit recht ideal für kleinere Anwendungen.
Es kann halt sein, dass man ein BIOS-Update für's Mainboard benötigt. Entweder mit Ersatz-CPU oder per IMPI-Update (Lizenz dafür nötig).

Aber statt nem Stick würde ich eine kleine, günstige SSD nehmen. USB-Sticks werden zu schnell kaputt und sind einfach nur billig, in jeder Hinsicht. Früher, als SSDs noch teurer waren, hatten diese noch eine Daseinsberechtigung als Boot-Device.
Aber heute bekommt man schon SSDs unter 50 €, die wesentlich zuverlässiger arbeiten als so'n Stick.
Genauso könnte man eine SSD aus der Bucht holen. Beispielsweise eine kleine Intel 320 gibt's schon für kleines Geld.

SSD ist völlige Verschwendung bei Nutzung des ESXi. Lieber 2x brauchbare 16GB Sticks von Sandisk o.ä. und gut ist. Der ESXi liest seine Daten beim Bootprozess und läuft danach zu gefühlt >95% aus dem RAM, selbst Logs landen in einer RAM-Disk, bis man es anders konfiguriert. Workstation-/Server-Boards haben sowieso idR einen oder mehrere USB-A Ports oder Kartenleser onboard und so muss man keine SATA/SAS/M.2 Ports nur für das OS verschwenden.
Seitdem ich mit ESXi arbeite habe ich nur aus drei Gründen erlebt, dass dies nicht gut ging. Entweder wurden billige HAMA oder sonstwas für Karten/Sticks verwendet oder zu kleine (unter 8 GB) Speichermedien oder weil die Karten/Sticks viele viele Jahre alt sind.
Aber genau dafür hat man ja sein Bootmedium gespiegelt, ähnliches macht ja auch FreeNAS so.

Auch wenn SSDs heute wie gesagt günstiger sind: Warum das Geld aus dem Fenster werfen, wenn es keine ernsthaften Gründe dafür gibt?

Die Entwickler von FreeNAS selbst empfehlen keine USB-Sticks mehr. Die sind gerade dabei die Docs diesbezüglich zu bearbeiten.
Das ist nur mehr eine Notlösung, wenn man wirklich keine SSD-Ports mehr frei hat.

Eine billige SSD alleine ist um Längen langlebiger als 2 gespiegelte USB-Sticks. Und da geht's nicht um Verschwendung, sondern um Zuverlässigkeit. Der "verschwendete", nicht-partitionierte Platz auf der SSD kann für Wear Leveling genutzt werden, was der Langlebigkeit umso mehr zugutekommt.

Und wenn die SATA-Ports ausgehen, gibt es HBA-Karten. Eine gebrauchte HBA-Karte gibt's bei ebay für 50 €.

Ich weiß schon, dass USB-Sticks lange, lange Zeit das übliche Mittel waren um das OS draufzupacken. Aber bei den SSD-Preisen ist das nicht mehr zeitgemäß. 1 günstige SSD kostet in etwa so viel wie 2 SanDisk-USB-Sticks. Was ist denn da besser? Na klar, eine SSD, die mehrere gespiegelte USB-Sticks problemlos überlebt.

Die Docs wurden dahingehend eh schon etwas angepasst:
http://doc.freenas.org/11/intro.html#the-operating-system-device

Im FreeNAS-Forum werden täglich User, die bei den Hardware-Empfehlungen Systeme mit USB-Sticks auflisten, dazu ermuntert statt der USB-Sticks doch lieber SSDs zu nehmen, auch von den FreeNAS-Entwicklern und -Mods.

Sorry aber da lese ich nirgends in der verlinkten Doku, dass von USB-Sticks abgeraten wird. Bitte zitiere doch den Abschnitt, den du meinst. Ich nehme alternativ auch gerne Links zur Mailingliste, GitHub, etc

Ich wage auch mal zu behaupten, dass es mehr ESXi als FreeNAS Installationen gibt und da von dieser Seite bisher ebenfalls nix gegenteiliges zu USB-Sticks/SD-Karten gesagt wird, bleibe ich dabei: Stick tut es wunderbar für einen ESXi.

Ein HBA widerspricht auch wieder dem Ziel des TE: Stromspar-System.

Wir können uns ja gern einigen auf: Ob Stick oder Disk: Beides klappt und beide Varianten haben Vor- und Nachteile. Kann schlussendlich ja jeder selbst entscheiden, was er verbauen möchte.

Ich sagte ja, dass die Docs nur etwas angepasst wurden. Das passierte vor ein paar Tagen, weil abermals Leute nicht glauben konnten, dass USB-Sticks nicht mehr empfohlen werden. Leider hat der Verfasser scheinbar wenig Zeit um noch genauer darauf einzugehen in der Dokumentation.

Direkt abgeraten wird in den Docs NOCH nicht, aber tagtäglich passiert das im FreeNAS-Forum. Das Forum findest du selbst.

Selbstverständlich kann und soll jeder/jede machen, was er/sie für sich für den richtigen Ansatz hält. Ich wollte nur darauf aufmerksam machen, dass sich das Bewusstsein über USB-Sticks/SSDs im Zusammenhang mit Boot Devices gerade ändert und zwar aufgrund des günstigeren Preises von SSDs. Und auch wollte ich sagen, dass 2 gespiegelte USB-Sticks nie und nimmer so zuverlässig sind wie 1 ungespiegelte SSD.
Die ganz Paranoiden unter den FreeNAS-Usern spiegeln auch die Boot-SSDs, was aber eigentlich unnötig ist. Ich benutze selber eine alte Intel 320 mit 120GB, die ich aus meiner Workstation ausgebaut habe.

Nur mal 2 Kommentare aus dem Forum von FreeNAS, die wie hier, Beurteilungen und Empfehlungen zu geposteten Hardware-Listen geben:

4. No. USB sticks suck. We see plenty of random issues on here that crop up when they die. Even a single SSD (I'm using old Intel 320s that I bought off eBay for $25) is faster and way more reliable than USB sticks.

Zum Vergrößern anklicken....

FreeNAS was designed to boot from a small-ish flash device. Historically, that has generally been a USB stick; today we generally recommend an SSD. Doesn't need to be a big one, anywhere from 30 GB - 120 GB. The SSD will be much more reliable, and also considerably faster (which isn't a big issue, but it's nice when you're doing updates).

Zum Vergrößern anklicken....

Gibt jeden Tag solche Hinweise, auch von den Entwicklern. Und nun ist die Sache für mich gegessen.

Voltago schrieb:

Hallo Tom,

was hast du mit dem Host denn vor - also was soll darauf laufen.

Wenn Größe egal ist, dann würde ich persönlich sowieso etwas in Tower-Größe bauen - das sorgt nebenbei noch für eine angenehmere Betriebslautstärke.

Meine aktueller Host setzt sich aus einem Supermicro X11SSH-LN4F mit Xeon E3-1230 v6, 64GB DDR4 ECC RAM, 250GB Samsung 960 Evo SSD sowie insgesamt 8 Festplatten in Größen zwischen 1TB und 3TB an einem Dell H310 im IT-Mode zusammen.
Diese Woche bekommt das Home Lab Zuwachs in Form eines weiteren X11SSH-LN4F, diesmal mit Pentium G4560, 32GB DDR4 ECC RAM, 250GB Samsung 860 Evo und Dell H310 im IT - Mode. Die Festplatten aus dem ersten Host werden dann auf beide aufgeteilt, da ich den Speicher beider Hosts in einem vSAN - Cluster zusammenfassen werde. Verpackt sind beide Hosts in einem Fractal Design Define R5.

Gegenüber meiner vorherigen Stromschleuder, einem Fujitsu TX200 S5 mit 2 4C/8T Xeons, 48GB RAM und 8x146GB SAS - HDDs, hat sich der Stromverbrauch etwas mehr als halbiert. Zusätzlich ist der Eigenbau bedeutend leiser.

Ob sich das Investment in neue, teure Hardware nur um den Stromverbrauch zu senken (Umwelt & Co außen vorgelassen), musst du entscheiden. Mein Eigenbau wird sich trotz zu erwarteten Ersparnissen beim Stromverbrauch im Bereich von 160€-200€ pro Jahr erst in 6 Jahren sozusagen 'selbst bezahlen'.

Für moderaten Bedarf kannst du auch ruhig einen Blick auf die HP MicroServer werfen - für die Gen8 mit Celerons gibt's immer wieder gute Deals auf eBay (<200€). Die neue Gen10 mit Dual-Core Opteron ist auch ab ca. 300€ mit 8GB RAM zu haben.

Zum Vergrößern anklicken....

Hallo Voltgao,
"Meine aktueller Host setzt sich aus einem Supermicro X11SSH-LN4F mit Xeon E3-1230 v6, 64GB DDR4 ECC RAM"
du hast mich mit dem Supermicro sehr neugierig gemacht und ich habe mir diverse Motherboards angeschaut.
So viele Platten wie du brauche ich nicht (und vermutlich komme ich auch mit 32 GB RAM aus - Aufrüstoption auf 64 möchte ich aber haben). ESXi-OS würde ich auf USB/ SD installieren und sonst wie erwähnt lediglich 2 M2 SSD´s als Raid1 betreiben.
Hast du deinen beschriebenen Supermicro-Rechner schon mal gemessen und wieviel Strom braucht er im Idle-Modus?
Danke und liebe Grüße
Tom

snaxilian schrieb:

SSD ist völlige Verschwendung bei Nutzung des ESXi. Lieber 2x brauchbare 16GB Sticks von Sandisk o.ä. und gut ist. Der ESXi liest seine Daten beim Bootprozess und läuft danach zu gefühlt >95% aus dem RAM, selbst Logs landen in einer RAM-Disk, bis man es anders konfiguriert. Workstation-/Server-Boards haben sowieso idR einen oder mehrere USB-A Ports oder Kartenleser onboard und so muss man keine SATA/SAS/M.2 Ports nur für das OS verschwenden.
Seitdem ich mit ESXi arbeite habe ich nur aus drei Gründen erlebt, dass dies nicht gut ging. Entweder wurden billige HAMA oder sonstwas für Karten/Sticks verwendet oder zu kleine (unter 8 GB) Speichermedien oder weil die Karten/Sticks viele viele Jahre alt sind.
Aber genau dafür hat man ja sein Bootmedium gespiegelt, ähnliches macht ja auch FreeNAS so.

Auch wenn SSDs heute wie gesagt günstiger sind: Warum das Geld aus dem Fenster werfen, wenn es keine ernsthaften Gründe dafür gibt?

Zum Vergrößern anklicken....

Ich installiere auch schon seit Jahren das ESXi-OS auf SD oder USB - noch NIE Probleme damit gehabt!

snaxilian schrieb:

Der NUC sollte(!) laufen, ggf. musst du in das VMware Image noch die NIC-Treiber einbinden. Anleitungen dazu gibt es genug im Netz. Problematisch wird es eher beim Raid. Ich bin mir nicht sicher ob der ESXi ein pseudo-Raid des Boards erkennt. Damit du dies für VMs nutzen kannst musst ja sowieso den ESXi auf nen Stick installieren.
In 99% der Fälle überschätzen die Leute übrigens ihre Anforderungen
Daher würde ich eher ein Sockel 1151 Board mit notwendigen Anschlüssen heraus suchen, z.B. von Supermicro und dazu ne passende CPU, ein Pentium Gold G4560 reicht schon für deine Anforderungen. Nen Homelab AD kannst problemlos mit einem Kern und 4 GB Ram betreiben als VM. CPU Threads können ja problemlos bis 1:4 überbucht werden, nur RAM sollte in der Menge vorhanden sein wie du in Summer aller VMs vergibst + natürlich etwas Platz für Wachstum in der Zukunft.
Brauchbarer CPU Kühler, leises & gutes Netzteil dazu sowie eben Platten oder SSDs. Gemäß deiner Anforderungen tun es aber auch 2x 2,5" 7200RPM Platten. Die sind recht sparsam und außer beim Backup wirst du vermutlich eh kaum IOPS benötigen. Wenn es etwas mehr sein soll, dann halt 4 HDDs im Raid 10, bräuchtest dann aber nen Raid-Controller, der dies kann aber auch mehr Strom benötigt oder eben doch zwei SSDs, das ist dann natürlich wesentlich performanter aber eben auch teurer.
Bedenke, du kannst mit der kostenlosen ESXi Lizenz nicht wirklich Backups machen außer nicht 100%ig konsistente Full-Backups über Lösungen wie z.B. GhettoVCB. Erfordern aber einen zweiten Datastore oder NAS als Ziel.

Beispiel:
CPU: G4560 ~50€
Board: X11SSL-F ~170€
Netzteil: ~60 €
Case: Passend für Anzahl Disks + Board ~bis zu 100€
RAM: 1x 16 GB DDR4 ECC ~160€
Dann bist schon bei ca 440 €. Hinzu kommen noch Platten oder SSDs und nen brauchbarer USB-Stick für den ESXi und bei Bedarf mehr RAM.

Zum Vergrößern anklicken....

Vielen Dank für die Antwort, die ich leider bisher nicht gesehen habe (und im Gegensatz zu den ersten Antworten auch nicht benachrichtigt wurde!?).
Diese Konfiguration hört sich sehr interessant an. 7200er PLatten sind aber keine Option (zu lahm und zu viel Strom).
Bzgl. dem Raid-Problem habe ich auch schon nachgedacht, möchte es aber eh nur für den Datastore (ESXi ist in 20 Min. neu installiert und daher ist mir an der Stelle die Redundanz egal).
Richtig geil fände ich übrigens das X11SPM-TF (2x 10Gbit). Es darf schon Geld kosten! Ich will nur auf biegen und brechen das Ding mit max. 15 Watt zum Laufen bekommen (also falls das möglich ist).
Ja, und bezgl. Prozessor habe ich mich auch eingelesen. Abhängig vom Sockel Xeon oder nen I7? Leider gibt es offensichtlich keine (Supermirco)Boards für Mobil-Prozessoren (wo die NUC´s wieder richtig interessant sind, da darauf Notebook-Prozessoren verbaut sind).
Ich gehe doch mal davon aus, dass Notebook Prozessoren nicht nur kleiner sind (falls überhaupt!?) sondern auf Stromsparen optimiert sind!?
Bzgl. Home AD reicht eine vCPU definitiv und das rennt auch mit 2 GB RAM nach der initialen Konfiguration (jedenfalls bis Win 2012 R2). :-)
Liebe Grüße
Tom

Wenn's dir wirklich um die Rechenleistung pro W geht, gibt es noch interessante Alternativen, wie zB das hier:
Supermicro X10SDV-4C-7TP4F

Dieses MB hat 2 Gbe Schnittstellen mit SFP+. Allerdings könnte dir der Takt zu niedrig sein. Mir reicht es für meine FreeNAS-Zwecke.

Überhaupt gibt es mittlerweile eine große Auswahl an attraktiven SoC-Mainboards:
https://geizhals.at/?cat=mbson&xf=3760_Intel~544_Supermicro

Es gibt mehr Mainboards mit 10GBase-T, so wie das von dir erwähnte X11SPM-TF, als mit SFP+. Aber dann wird aus Stromsparen erst recht nix. Diese Controller benötigen richtig viel Strom im Gegensatz zu den Controllern mit SFP+.

Am stromsparendsten bekommst du 10Gbe mit SFP+, entsprechenden Transceivern und optischen Kabeln. Kupfer frisst bei 10Gbe richtig viel Strom.

Und Stromsparen im Idle bei Mainboards mit IPMI ist auch schwer, wenn die BMC-Chips alleine schon einige W schlucken, sogar wenn der Rechner ausgeschaltet ist. Irgendwie muss man ja den Rechner aus der Ferne einschalten können.

Warum willst du dermaßen Stromsparen? Was bringt das? Zahlst du 100 € pro kWh? Rechne mal aus, wieviel ein paar W täglich kosten. Das sind im Jahr ein paar Euros.

Und übrigens ist es oft besser/günstiger die 10Gbe Karten extra zu kaufen und es auf ein 200 € Mainboard zu geben. Mellanox Controller für 10Gbe SFP+ gibt's auf ebay für 50 € und die sind mehr als ausreichend und sehr populär. Also warum bei einem Mainboard einen zu hohen Aufpreis zahlen, wenn man die Komponenten getrennt günstiger bekommt.

Wenn man günstige Transceiver braucht, bekommt man generische Transceiver auf fs.com. Und opt. Kabel sind dort auch nicht teuer. Generell ist dieser Shop eigentlich die beste Anlaufstelle für optisches Netzwerkzubehör. Originale Transceiver kosten gerne mal über 100 €. Dort kosten die generischen Transc. vielleicht 20 €.

Und ich bleib dabei, aber erwähne es jetzt das letzte mal: Wenn du gebrauchte Server-Hardware kaufst, bekommst du für die Kohle die leistungsfähigste Hardware mit der größten Menge an RAM.
So viel Stromsparen kann man gar nicht, dass man mit Neuware irgendwann den Aufpreis reinholen könnte. Frühestens nach 7 oder 8 Jahren würde sich der Preis VIELLEICHT amortisieren, wenn überhaupt.

@TE: Bitte lies meinen Post nochmal, ich sprach von 2,5" HDDs, die sind recht sparsam im Betrieb. Die 1 bis 1,5W die du pro HDD sparst ggü. SSDs verbrennst du instant mit 10 GBit.
Wenn wirklich Stromsparen oberste Prämisse ist, dann kannst kein 10G verwenden, das Board darf keinen extra Storage-Controller onboard haben (z.B. die ganzen LSI-Chips). Ebenso müsstest du dann nach Einrichtung den BMC-Chip deaktivieren, dass geht auf manchen Boards per BIOS oder Jumper auf dem Board.
Bei der CPU würde ich nicht zu knapp bemessen. Eine CPU aus der TDP Klasse bis 15W benötigt für Aufgabe X z.B. 10 Minuten und geht danach in den idle. Eine CPU aus der 50W Klasse schafft die gleiche Aufgabe aber vermutlich in 3-4 Minuten und geht dann wieder in den idle. Was denkst du, ist in diesem Fall effizienter und sparsamer? Zahlen und Beispiele sind natürlich frei gewählt, kommt immer auf den genauen Use-Case an.
Andererseits ist ein ESXi auch nicht auf Strom sparen getrimmt, sondern allen VMs zeitnah Ressourcen bereit zu stellen und viele neigen dazu, die CPU bei Virtualisierung zu hoch zu bewerten.
Ich habe z.B. schon problemlos 1x kleine Win-VM und 8 oder 9 kleine Linux-LXC-VMs auf einem Microserver Gen8 mit dem Dualcore-Celeron und 16 GB Ram betrieben. Als Hypervisor kam allerdings Proxmox zum Einsatz. Das ist (stark vereinfacht gesagt) eine Web-GUI für KVM + LXC.

Hallo Proserpinus,

erneut vielen Dank für deine Ideen und Erleuterungen!

Dass das von mir erwähnte X11SPM-TF viel Strom braucht dachte ich mir schon. Die "2x SFP+ - 10 Gbit/s" Ports wäre für mich eh nur zukünftig interessant gewesen (und bis dahin im Bios deaktiviert, was doch sicher geht!?).

"Also warum bei einem Mainboard einen zu hohen Aufpreis zahlen, wenn man die Komponenten getrennt günstiger bekommt."

Darüber habe ich auch schon nachgedacht und du hast das nun bestätigt.

"Und Stromsparen im Idle bei Mainboards mit IPMI ist auch schwer, wenn die BMC-Chips alleine schon einige W schlucken, sogar wenn der Rechner ausgeschaltet ist. Irgendwie muss man ja den Rechner aus der Ferne einschalten können."

Da ich diese Funktion nicht brauche würde ich das gerne deaktivieren (kann man das im Bios deaktivieren?).

"Dieses MB hat 2 Gbe Schnittstellen mit SFP+. Allerdings könnte dir der Takt zu niedrig sein. Mir reicht es für meine FreeNAS-Zwecke."

Und nur mal als Anhaltspunkt, nachdem du das Teil wohl betreibst. Wieviel Strom braucht es ohne Last?

Bei CPU´s gibt es einen TDP-Wert. Gibt es so etwas auch für Mainboards oder wie kann man das rausfinden?

"Und ich bleib dabei, aber erwähne es jetzt das letzte mal: Wenn du gebrauchte Server-Hardware kaufst..."

Ich auch - ich will unabhängig von den Anschaffungskosten keine alte Hardware! :-)

"Ja, und bezgl. Prozessor habe ich mich auch eingelesen. Abhängig vom Sockel Xeon oder nen I7? Leider gibt es offensichtlich keine (Supermirco)Boards für Mobil-Prozessoren (wo die NUC´s wieder richtig interessant sind, da darauf Notebook-Prozessoren verbaut sind).
Ich gehe doch mal davon aus, dass Notebook Prozessoren nicht nur kleiner sind (falls überhaupt!?) sondern auf Stromsparen optimiert sind!?"

Vielleicht kann jemand noch auf die Punkte eingehen?

Danke und liebe Grüße
Tom

snaxilian schrieb:

@TE: Bitte lies meinen Post nochmal, ich sprach von 2,5" HDDs, die sind recht sparsam im Betrieb. Die 1 bis 1,5W die du pro HDD sparst ggü. SSDs verbrennst du instant mit 10 GBit.
Wenn wirklich Stromsparen oberste Prämisse ist, dann kannst kein 10G verwenden, das Board darf keinen extra Storage-Controller onboard haben (z.B. die ganzen LSI-Chips). Ebenso müsstest du dann nach Einrichtung den BMC-Chip deaktivieren, dass geht auf manchen Boards per BIOS oder Jumper auf dem Board.
Bei der CPU würde ich nicht zu knapp bemessen. Eine CPU aus der TDP Klasse bis 15W benötigt für Aufgabe X z.B. 10 Minuten und geht danach in den idle. Eine CPU aus der 50W Klasse schafft die gleiche Aufgabe aber vermutlich in 3-4 Minuten und geht dann wieder in den idle. Was denkst du, ist in diesem Fall effizienter und sparsamer? Zahlen und Beispiele sind natürlich frei gewählt, kommt immer auf den genauen Use-Case an.
Andererseits ist ein ESXi auch nicht auf Strom sparen getrimmt, sondern allen VMs zeitnah Ressourcen bereit zu stellen und viele neigen dazu, die CPU bei Virtualisierung zu hoch zu bewerten.
Ich habe z.B. schon problemlos 1x kleine Win-VM und 8 oder 9 kleine Linux-LXC-VMs auf einem Microserver Gen8 mit dem Dualcore-Celeron und 16 GB Ram betrieben. Als Hypervisor kam allerdings Proxmox zum Einsatz. Das ist (stark vereinfacht gesagt) eine Web-GUI für KVM + LXC.

Zum Vergrößern anklicken....

"Wenn wirklich Stromsparen oberste Prämisse ist, dann kannst kein 10G verwenden"

Habe es verstanden (wollte es aber wie auch von dir erwähnt eh deaktivieren - war aber nach jetziger Erkenntnis eh eine blöde Idee und kaufe dann lieber bei Bedarf die entsprechenden Karten nach..).

Proxmox kenne ich und ist für mich auch eine Option - aber zunächst bleibe ich bei ESX, da ich mich mit CLI auseinandersetzen möchte...

Danke für deine Gedanken!

Ein Serverboard mit Mobilprozessoren ist auch Schwachsinn, warum sollte jemand so etwas produzieren? Für die paar Leute, die sowas privat betreiben lohnt das nicht.
Wenn ich einen Server kaufen will (als Unternehmen) dann habe ich gewisse Anforderungen an die Leistung und dimensioniere daran Strom und Kühlung etc.
Wenn du weder 10G noch IPMI benötigst dann kannst gefühlt jedes Consumerboard nehmen was die notwendigen Anschlüsse bereit stellt und dazu ne PicoPSU.

tmade schrieb:

Hallo Voltago,

auch dir lieben Dank für deine Antwort und Idee!

Dein Supermicro hört sich interessant an. Eine Anforderung habe ich aber vergessen, denn ich hätte gerne
2 M.2-Steckplätze für SATA3/ PCIe.

"Supermicro" sagt mir bisher auch überhaupt nichts. Sind das spezielle Stromspar-Server?

Und ob bei ATX oder Micro-ATX geht es nur um die Größe? Habe mich privat saulange nicht mehr mit Hardware beschäftigt...

Danke und liebe Grüße
Tom

Zum Vergrößern anklicken....

Hi,

wie bereits erwähnt - M.2 - Slots lassen sich mit PCIe Erweiterungskarten relativ einfach und kostengünstig 'nachrüsten'.
Supermicro ist nichts Spezielles, sondern eher - wie schon erwähnt - 'Standardware'.
Das hat weitgehend Vorteile, wenn definierte Standards verwendet werden anstatt einen definierten Standard in etwas proprietärem zu verschachteln. Außerdem gibt es von Supermicro klare Ansagen bezüglich der Kompatiblität - wie bspw. bei CPUs und RAM.
Letzteres habe ich bspw. bei ASRock Rack vermisst (wollte ursprünglich eine Xeon D Embedded - Lösung) - dort konnte man mir auch auf Nachfrage keine Informationen zu kompatiblen DIMMs zukommen lassen, weshalb ich die Idee dann auch wieder verworfen habe.

Wie auch schon erwähnt - oftmals steckt auch Supermicro drin, ohne dass Supermicro draufsteht.

Hauptkriterium für mich war die klare Definition von kompatiblem RAM und das IPMI.

Zu ATX und µATX wurde sich bereits geäußert - natürlich geht es um Größe, aber damit einhergehend auch um die Anzahl der Erweiterungsslots usw.

snaxilian schrieb:

Darf man fragen, welche vSAN Lösung bei einem 2-Node Cluster du nutzen willst? Ich frage mich ja immer, woher die ganzen Leute mit einem privaten ESXi Zoo ihre ganzen Lizenzen her haben.. Entweder alles IT-Millionäre oder installiert ihr alle 60 Tage neu und nutzt die Testlizenz?^^

Zum Vergrößern anklicken....

Seit vSAN 6.5 (? - kann auch 6.6 gewesen sein) gibt es die Möglichkeit einen 2-Node Cluster unter zu Hilfenahme der vSAN Witness Appliance aufzubauen. Die Witness Appliance ist nichts anderes als ein verschachtelter ESXi, der nicht aktiv Speicher zum Pool beisteuert, sondern die Komponenten der VMs überwacht und bei 'Streitigkeiten' zwischen beiden Hosts bezüglich des Datenzustands eingreift. Die Witness Appliance läuft in meinem Fall im Home Lab eines Arbeitskollegen, die Kommunikation erfolgt über einen IPSec Site-to-Site VPN.

Lizenzen gibt es mehrere mögliche Varianten. Ich kenne viele ITler, welche vom Arbeitgeber Lizenzen für eine private Lab-Umgebung gestellt bekommen, um sich so weiterzubilden. Das ist z.B. bei mir der Fall.
Für die nicht so glücklichen gibt es die VMware User Groups (VMUG). Für 200$ pro Jahr erhält man mit dem VMUG Advantage Abo nebst weiteren Vorteilen Lizenzen für 'die wichtigsten' VMware Produkte, darunter
vCenter Standard
ESXi Enterprise Plus mit Operations Management (6 CPUs)
VMWare Horizon
vSAN
Workstation Pro


Nachtrag 21.02.2018 21:00 Uhr

tmade schrieb:

Hast du deinen beschriebenen Supermicro-Rechner schon mal gemessen und wieviel Strom braucht er im Idle-Modus?
Danke und liebe Grüße
Tom

Zum Vergrößern anklicken....

Ich habe leider weder geeignete Messgeräte zur Hand noch einen Idle - Zustand. Das Grundrauschen der CPU bewegt sich zwischen 8% und 19% (über den letzten Monat) - abhängig davon ob meine 'Bastel-VMs' laufen oder nicht. Das reicht um die CPU zum Hochtakten zu bewegen, die dadurch mehr Spannung erhält und somit mehr Strom verbraucht.

Unabhängig von der CPU ignorieren wir dann noch, dass ich alle 4 Netzwerkkarten aktiv verwende, den HBA-Controller sowie insgesamt 8 Festplatten mit unterschiedlichen Formfaktoren und Drehzahlen (4x 2.5" 7.2K RPM, 3x 3.5" 5.9K RPM sowie 1x 3.5" 5.4K RPM) sowie die Samsung 960 Evo.

Mein primärer Faktor beim Zusammenstellen war mehr die Lautstärke des Systems. Der Stromverbrauch ist für mich nicht unwichtig, kommt aber an zweiter Stelle.

Ich kann dir höchstens eine Schätzung für den durchschnittlichen Verbrauch geben. Da ich ein notorisch schlechter Schätzer bin, erspare ich dir das lieber.

tmade schrieb:

Ich will nur auf biegen und brechen das Ding mit max. 15 Watt zum Laufen bekommen

Zum Vergrößern anklicken....

15W erreichst du vielleicht mit einem Embedded-System á Celeron J1900 im Zusammenspiel mit einer Pico PSU. Dazu maximal zwei SSDs / stromsparende und damit langsame Platten.

Zwischen 20W und 30W dürften aber für den Idle-Betrieb schaffbar sein.

Grüße

Oder eben ein Mainboard mit Denverton CPUs. Aber das sind wiederum Server Boards mit Server-Features, die hier scheinbar nicht gebraucht werden.

tmade schrieb:

Und nur mal als Anhaltspunkt, nachdem du das Teil wohl betreibst. Wieviel Strom braucht es ohne Last?

Bei CPU´s gibt es einen TDP-Wert. Gibt es so etwas auch für Mainboards oder wie kann man das rausfinden?

Zum Vergrößern anklicken....

Diese SoC-CPU haben natürlich alle eine TDP, wie auch auf Geizhals oder auf der Intel ARK zu sehen ist.
Die Intel Xeon D-1518 von mir hat eine 35W TDP.

Wieviel sie im Idle benötigt, kann ich jetzt im Moment nicht genau sagen, da ich derzeit noch kein OS draufhab. Ist noch in der Test- und Konfigurationsphase. Ausgeschaltet braucht das Mainboard vielleicht so 6W.

Hier wurde das MB getestet und dort sind auch Verbrauchswerte zu sehen:
https://www.servethehome.com/supermicro-x10sdv-4c-tln4f-review-xeon-d-1518-mitx/

Mit 6 Festplatten und 3 SSDs erwarte ich einen Verbrauch so um die 60, vielleicht 70W. Diese Regionen sind ok für mich, die jährlichen Kosten damit überschaubar. Der Server wird 24/7 laufen um als ständiger Daten-Pool zu dienen. Die Smart-Werte werden dann regelmäßig überprüft und Stromausfällen begegne ich mit einer USV.

Mit dem integrierten SAS-Controller wirst du wahrscheinlich eh nix machen können, weil man glaube ich ohnehin einen dedizierten Controller bzw. HBA benötigt um die Disks zu den VMs durchzureichen. Aber darüber wissen hier andere mehr.

tmade schrieb:

Ich auch - ich will unabhängig von den Anschaffungskosten keine alte Hardware! :-)

Zum Vergrößern anklicken....

Ist natürlich deine Sache und dein Geld. Aber dann komm nicht wieder mit dem "Umweltargument", was nur ein Scheinargument ist bei dir ^^
Du willst einfach neu. So wie viele andere auch. Leider wird hier "gebraucht" mit minderwertig gleichgesetzt. Aber gut ...
Und dann kannst du gleich auf Stromsparen pfeiffen. Für was? Ach ja genau, der Umwelt zuliebe ^^


Zum Rest hat snaxilian schon ausführlich geantwortet.

Naja, außer: 10Gbe muss nicht mit hohem Stromverbrauch einhergehen. Mein Switch mit 4 x SFP+ braucht im Idle 9 bis 10 W. Und wenn der Switch mal hart rangenommen wird, geht es in die Regionen 25 bis 30 W.
Man muss ganz einfach auf optische Glasfaserkabel setzen. Die DACs, die aus Kupfer sind, brauchen dagegen richtig Strom. Aber mit SFP+ und opt. Zubehör hält sich der Strombedarf ziemlich in Grenzen.
Das Problem dabei waren bisher immer die Kosten für das entsprechende Zubehör.

Doch seit einiger Zeit sind die Switches und die NICs leistbar (unter 200 € gibt's schon Switches mit 2 x SFP+) und dank des Shops fs.com ist das restliche Zubehör auch kein Problem. Nur die originalen Transceiver sind teuer. Die generischen Transceiver bei fs.com kosten vielleicht 20 € pro Stück.

Also ich hab das Upgrade auf 10Gbe sicher nicht bereut. So muss ich mich nicht mehr mit Link-Aggregation herumärgern.

Bezüglich der USB-Sticks in Verbindung mit ESXi hab ich mich etwas informiert und muss meine Aussagen korrigieren und präzisieren:
ESXi verwendet die USB-Sticks lange nicht so intensiv wie FreeNAS und ist scheinbar dafür gemacht von USB-Sticks zu booten. Das erklärt auch, warum die Leute, die einen ESXi-Server am Laufen haben, damit weniger Probleme als jene, die FreeNAS davon booten.
Bei FreeNAS wird wirklich üblicherweise von USB-Sticks abgeraten, weil dort die Sticks regelmäßg verrecken. Einzig und allein, wenn wirklich keine SATA-Ports mehr vorhanden sind und keine weiteren Ports mehr mit Erweiterunsgkarten generiert werden können, bleibt einem nichts anderes übrig.
Bei ESXi kann man scheinbar problemlos qualitative USB-Sticks, zB von SanDisk, verwenden.

proserpinus schrieb:

Ergänzung (22. Februar 2018)

Bei FreeNAS wird wirklich üblicherweise von USB-Sticks abgeraten, weil dort die Sticks regelmäßg verrecken.

Zum Vergrößern anklicken....

Das wird - nicht ausschließlich, aber zu einem großen Teil - wohl auf die regelmäßigen ZFS-Scrubs zurückzuführen sein, die soweit ich mich erinnern kann für das Bootmedium sogar automatisch angelegt werden.

Der ESX liest sein Zeug beim Start vom Stick und läuft dann nahezu ausschließlich aus dem RAM. Die OEMs bieten ja auf den System Boards der Server auch USB-Ports und teilweise sogar (Micro-)SD - Slots.

Hallo zusammen,

vielen herzlichen Dank für all eure Ideen!

@Proserpinus: Eigentlich wollten wir uns ja nicht mehr über diese Thema hier unterhalten:

"Ist natürlich deine Sache und dein Geld. Aber dann komm nicht wieder mit dem "Umweltargument", was nur ein Scheinargument ist bei dir ^^
Du willst einfach neu. So wie viele andere auch. Leider wird hier "gebraucht" mit minderwertig gleichgesetzt. Aber gut ...
Und dann kannst du gleich auf Stromsparen pfeiffen. Für was? Ach ja genau, der Umwelt zuliebe ^^"

Da du aber auch hartnäckig bleibst... :-)

Du hast ja absolut recht mit dem was du schreibst! Ich sage aber nochmal...ich habe mir über 10 Jahre keine Hardware mehr gekauft (im Job habe ich eigentlich genügend Spielwiesen...) und daher sehe ich es nicht als schlimm, wenn ich nach der Zeit etwas mehr Geld anfasse.
Und da ich mir nunmal (aus eurer durchaus nicht nachvollziehbaren Sicht unbedingt meine Stromsparbüchse haben will und sowieso erst seit diesen NUK-Einwurf vom meinem Kollegen über einen "privaten Hypervisor" nachgedacht habe und das nun unbedingt will, da mich meine diversen Raspies regelmäßig an Grenzen bringen und ich auch hier nun konsolidieren werde) in den Kopf gesetzt habe das hinzubekommen und den Gedanken habe, dass alte Hardware mehr Strom bei gleicher Leistung benötigt!
Falsch?

Auch finde ich Klasse, dass du das USB-Thema unter ESXi erörtert hast. Ich habe es eben so gelernt (SD oder USB) und hatte in 10 Jahren Beruf nie Probleme damit und dann natürlich auch nie über andere Lösungen (die alle teurer sind, was auch im Bussiness nicht egal ist) nachgedacht.

Zu meinem Vorhaben bin ich auf

https://www.mini-itx.com/

und das

https://sys.eu.shuttle.com/productListing.jsf

gestoßen und werde dort mal beim Support nachfragen. Die Größe ist mir wie gesagt ganz egal, aber was ich bisher von euch und meiner Recherche so sehe, sind "kleine" Systeme eben prinzipiell eher auf Stromsparen bei max. Perfomance ausgelegt.

Initial hat Loopman geschrieben "Der IDLE Verbrauch der meisten CPUs liegt übrigens fast immer um die 10W rum, da muss man kein NUC für kaufen. ", weshalb ich der Meinung war, dass sich mein Vorhaben umsetzen lässt.

Und diese Supermicroboards und deren Funktion ist auch sehr sehr interessant (und könnte ich alles auch brauchen).
Ich kann mir aber nicht vorstellen, dass diese Boards stromsparend zu betreiben sind (jedenfalls nicht bzgl. meiner Vorstellung).
Mein Chef hat sich nun aber auch ein Supermicro-Sytem (mit super Leistung gekauft) und nächste Woche weiß ich, was das Zeugs Strom braucht und ob das dann für mich eine Option ist (Update folgt..).

Wenn mein Ziel 15 Watt ohne Last nicht möglich ist ok, aber > 30 Watt kommen prinzipiell für mich nicht in Frage, was jeder für sich selber entscheiden muss. Es ist ja auch nicht nur der Hypervisor, sondern die Summe an 24/7 Geräten von denn ich wohl jeder massig rumstehen hat!

Ich weiß, dass der Intel NUC Kit NUC6i7KYK alles macht was ich brauche (und dazu noch mit Hammer Performance!!). Und wenn der Nachfolger NUC8i7NVK (der für mich immer noch nicht abgeschrieben ist) deutlich mehr Strom frisst, dann lege ich auch diese Idee ad acta und habe dann eben kein Raid1.

Die anderen hier aufgeführen Optionen prüfe ich natürlich auch noch im Detail (und werde euch bei Zeit noch ein Feedback mit Ergebnissen zukommen lassen).

Nochmals danke und liebe Grüße
Tom

Yep, Feedback ist immer willkommen. Vor allem, weil es viele Menschen gibt, die Ähnliches vorhaben wie du.
An deinem Vorhaben können sich dann viele orientieren.

Mit der Annahme, dass solche Server-Boards im Idle nicht wahnsinnig stromsparend sind, hast du vollkommen recht. Die ganzen Controller haben auf den Idle-Wert keinen so unerheblichen Einfluß. IPMI, NICs (sind immer mind. 2 GBit NICs vorhanden), eventuell SAS-Controller und noch viele Dinge mehr brauchen halt Strom.

Das Besondere an den kleinen Boards mit Denverton oder Xeon-D ist das Verhältnis aus Leistung und Stromverbrauch, nicht der Stromverbrauch im Idle. Man bekommt halt viel Rechenpower pro W.
Aber ganz ehrlich, das wäre für mich kein Kaufargument. Mit einer ordentlichen CPU hat man potenziell mehr Power, wenn man sie braucht, und unter Idle sind die Unterschiede marginal.

Mir ging es beim Kauf darum, dass alles, was ich brauche, auf einem Mainboard vereint ist, zu einem halbwegs guten Preis. 2 x GBit SFP+, SAS (16 x SATA), 4 x SATA, IPMI, Option auf 128GB ECC, M.2 Schnittstelle, 2 x PCIe x 8. Das alles auf einem einzigen (Micro-ATX) Mainboard ohne einen extra Controller. So hab ich beide PCIe Slots frei für Erweiterungen. Gerade die SFP+ Schnittstellen sind ansonsten schwer zu finden.
Daher fand ich den Preis dann noch ok. Um's Stromsparen ging's mir da weniger.

Wenn du wirklich jeden W sparen möchtest, wär wohl ein NUC die sinnvollste Option.

Und dass du was Neues haben möchtest, kann ich schon verstehen, so ist es nicht. Hardware muss auch Spaß machen.
Wollte dir halt was Ordentliches andrehen, damit deine Stromleitungen nicht verrosten

Und stimmt schon. Manchmal neige ich ein bisschen zur Sturheit ... ein klitzekleines bisschen aber nur. Das sind wohl die Berge, wo ich eigentlich herkomme ^^

Hier noch was für dich:
https://www.servethehome.com/testin...0-with-pfsense-2-4-release-and-freenas-11-u4/

Diese Seite kann ich generell empfehlen, wenn du etwas über Neuerscheinungen von Server-Hardware erfahren möchtest.

ich bin etwas verwirrt...
hier wird über vSan gesprochen was erst so ab 3-4 Hypervisor richtig Sin macht.
Alleine die Lizenzkosten dafür sind so hoch, das dir jeder Händler eine Intel NUC schenken wird wenn du die VMware Lizenzen bei ihm kaufst.

Geht es hier um pure Neugier mit kostenlosen 60 Tage Lizenzen? Und was passiert nach den 60 Tagen?

Hier ein Artikel für eine Stromsparende NAS, kann aber auch mit abstrichen zur orientierung für eine "Test-ESXi" genommen werden.
https://www.technikaffe.de/anleitun...gen_fuer_4_bis_16_festplatten_auf_einen_blick

Aber um himmels willen kein produktives AD mit solchem zeugs laufen lassen

@Skywalker27: Lösung wurde bereits genannt... Gibt VMware Lizenzen für Schulungs- und Testwecke, die sind günstiger oder eben vom Arbeitgeber überlassen. vSAN (direkt von VMware) und auch einige der anderen vSAN-Lösungen funktionieren auch bereits problemlos mit 2-Node-Clustern und oft genug reichen zwei Nodes für eben höhere Verfügbarkeit. Wozu dann also Geld für einen dritten oder mehr Nodes verbrennen wenn man die Leistung nicht benötigt?
Bei (sehr) vielen Nodes wiederum rechnet sich ein vSAN (egal von wem) nicht unbedingt im Vergleich zu einem klassischen SAN.

Skywalker27 schrieb:

Geht es hier um pure Neugier mit kostenlosen 60 Tage Lizenzen? Und was passiert nach den 60 Tagen?

Zum Vergrößern anklicken....

Klar geht es hier auch um Neugier. Es geht aber (für mich) ganz klar auch um Weiterbildung.

Gerade vSAN ist ein Thema, das ich gerne auch in Produktivumgebungen umsetzen möchte. Ohne passende Argumente und Erfahrungen wird das Gespräch mit dem Vorgesetzten aber ein sehr kurzes.

Wie das nach Ablauf der Testlizenz weitergeht, wurde ja bereits erläutert..