HomeLab samt SpieleVM

[Silencium]

Hallo zusammen,


IST-Zustand

3 physische Maschinen

1. [MediaServer] MacMini 2009 @C2D 8GB mit etlichen USB-HDDs dran
2. [Server für Cloud + UTM + HomeLabEnv.] Fujitsu E900 @i5 2500 mit 2xSSD
3. [SpieleMaschine] @i5 3570k (unter NH-D14) mit GTX980Ti (unter Prolimatech MK 26), 2xSSD, Seasonic 520FL

Der Mini und Fujitsu laufen 24/7 und saugen ca. 50 - 60W aus der Dose.
Die SpieleMaschine wird angeschmissen wenn ich zocken möchte, da sie im idle alleine 40 - 50W saugt, trotz gutem PSU.


SOLL-Zustand

Auf kurz oder lang fände ich es schön den Großteil meiner Hardware zu verkaufen und den Rest in eine Maschine zu "stopfen"
Doch dabei ist mir wichtig, dass die neue Maschine unter "idle" möglichst sparsam fährt.

1 physische Maschine mit VMs

1. Sophos UTM 9.x
2. CentOS NextCloud
3. CentOS Zabbix Test
4. CentOS FTP
5. Windows 10 Dev
6. macOS (optional, da das MacBook bleibt)
7. Windows 10 Gaming

Die letzte Maschine sollen nur bei Bedarf laufen. Am besten wäre natürlich wenn die dedizierte GPU bei Nichtnutzung gar keinen bis marginal Strom zieht. Nun weiß ich leider nicht wie genau das mit der ded. GPU läuft, wenn diese vom HyperVisor nicht an ein System weitergeleitet wird, da dieses z.B. ausgeschaltet ist oder sich selbst im idle befindet.

Beispielsystem

i7 6700k (Alternativ wäre ein Xeon denkbar, etwas wie der E5-2623 v4)
ASRock Z170 Extreme7+ (Viele Features = höherer Stromverbrauch -> einige deaktivieren)
32GB DDR4
Seasonic 520FL
EVGA GTX 980Ti
Intel I350-T2 (2x 1GBit)


Kostenrechnung/Strombedarf

(55 W - 35 W) * 8760 h/a * 23 Cent/kWh / 1000 ~ 40 EUR / Jahr
Über den Verkauf der aktuellen Hardware erhoffe ich mir ca. 500 - 600 EUR.
Die Neuanschaffung einiger Komponenten würde mich ca. 700 EUR kosten. Aus der finanziellen Sicht muss die neue Maschine also ca. 3 Jahre halten, was für mich in Ordnung wäre. Bis auf die GPU tausche ich auch aus meinem aktuellen GamingPC seit Ewigkeiten Nix mehr aus.

Wenn das System mehr 50W durchgehend verbraucht, dann kann ich auch meinen aktuellen Gaming-PC 24/7 laufen lassen,
denn der kommt auf ca. 50-60W unter idle.
Ich weiß, dass ist eine sehr kleinliche Rechnung, aber eventuell hat ja jemand Erfahrung mit dem Thema.


tl;dr

Wenn z.B. mit KVM/unRaid oder ESXi (leider schwer mit nVidia-Treibern) eine Gaming-VM ausgeschaltet ist oder sich im idle befindet, wie wirkt sich das auf den Strombedarf aus?

 

[HominiLupus]

Vergiss es. Was du willst wird so nicht funktionieren. Schon gar nicht mit einer "verkrüppelten" i7-6700k CPU: einfach zu wenig Kerne für 7 VMs plus Gaming. Die "Kleinigkeiten" wie der Verlust an GPU Performance, die schrottigen nvidia Treiber, etc.

 

[d4nY]

Gaming und VM ist ein sehr ekelhaftes Thema.

Wenn das auch nur ansatzweise Spaß machen soll, dann brauchst du zwingend VT-d, damit du deine Grafikkarte an die VM durchreichen kannst (die Intel HD kann dann die VMs darstellen, die 980 Ti wird dann in die Gaming VM durchgeschleust). Was heißt du brauchst einen C-Chipsatz

Dann hat man aber immer noch das Problem der Darstellung. Konsole ist nicht wirklich elegant und RDP nicht schnell

Ich würd's lassen...die Graka taktet sich im Idle sowieso schon extrem herunter und verbraucht fast nichts

 

[HominiLupus]

Was heißt du brauchst einen C-Chipsatz

Schon lange nicht mehr. Vt-D ging vom Chipsatz her schon immer und seit Devil's Canyon auch bei den "k" CPUs.

 

[d4nY]

Tatsache, das ist an mir vorbeigegangen

Aber bei den Consumer-Mainboards ist afaik die Funktion fast nie implementiert (ASrock war zu 67/77er Zeiten da mal mit am Start, aber vielleicht hat sich das ja mittlerweile auch wieder gebessert)

 

[Silencium]

Vergiss es. Was du willst wird so nicht funktionieren. Schon gar nicht mit einer "verkrüppelten" i7-6700k CPU: einfach zu wenig Kerne für 7 VMs plus Gaming. Die "Kleinigkeiten" wie der Verlust an GPU Performance, die schrottigen nvidia Treiber, etc.

Danke für Deinen Beitrag!
Zur Zeit läuft auf dem i5 2500 folgende Kombo:

Host ist Windows 2016 Server Beta
VMs darunter sind:

Sophos UTM 9
Ubuntu NextCloud
CentOS PureFTPd
CentOS Zabbix (Test)
Windows 10 Dev-Env mit PHP Storm

Das System läuft 24/7 stabil und saugt sich zwischen 30 - 37W, je nach Lastfall.
Die CPU langweilt sich die längste Zeit dabei. Wenn etwas "fordernd" ist dann in diesem Fall Win10, wenn ich darauf arbeite.

Gaming und VM ist ein sehr ekelhaftes Thema.

Wenn das auch nur ansatzweise Spaß machen soll, dann brauchst du zwingend VT-d, damit du deine Grafikkarte an die VM durchreichen kannst (die Intel HD kann dann die VMs darstellen, die 980 Ti wird dann in die Gaming VM durchgeschleust). Was heißt du brauchst einen C-Chipsatz

Dann hat man aber immer noch das Problem der Darstellung. Konsole ist nicht wirklich elegant und RDP nicht schnell

Ich würd's lassen...die Graka taktet sich im Idle sowieso schon extrem herunter und verbraucht fast nichts

CPU und Board unterstützen VT-d. Groß darstellen muss die Win10 Dev-VM Nix. Der Rest geht eh komplett über SSH/Console.
Was ist denn ein C-Chipsatz? Meinst Du zufällig Z170 (Z im Allgemeinen)?


***EDIT***
Da war ich mit meiner Antwort bezüglich VT-d zu langsam
Aber auch das ASRock unterstützt dies: Siehe hier

 

[HerrRossi]

Unraid soll ja die GPU ganz performant durchreichen können. Probiere es doch einfach mal aus, man kann Unraid ja 30 Tage kostenlos testen.

 

[HominiLupus]

Behalte das i5-2500 System und virtualisiere auch noch dein MacOS darauf (aber schweige hier auf cb darüber....). Undervolte die CPU falls möglich.
Das Gamingsystem weiter zum Gamen, aber natürlich endlich übertaktet falls es das noch nicht ist. Nein, das braucht nicht mehr Strom im Desktop Betrieb, nur wenn man es auch wirklich nutzt, z.B. in Spielen. Wobei 50-60W für das System schon etwas viel ist.

Ein C Chipsatz ist ein C2xx Chipsatz für Xeons auf Servermainboards. Irrelevant.

 

[donativo]

Man Man man ... hier haben ja viele die Weisheit mit löffeln gefressen..

Vergessen solltest du das auf keinen Fall. Deine VM´s solltest du aber ggf. konsolidieren. Clooud & ftp ist ja eh fast das gleiche, warum nicht zusammenführen. Ansonsten brauchen diese VM´s eh kaum ressourcen.

Zum VM gaming kann ich dir nur unraid empfehlen. Da wird die Graka nativ durchgereicht. Genau wie usb und andere pci express komponenten die du evtl. hast. Halt VT-D. Demnach brauchst du Hardware die richtig VT-D unterstützen.

Ich hab es selber am Laufen und es funktioniert einwandfrei. Zudem kannst du mit Unraid auch weg von den VM´s und für ftp und cloud z.b. Docker nutzen.

Hatte meinen i7 4790k mit 32 Gb RAM in der folgenden config:

1x Win10 VM (VT-D mit GTX970)
1x NAS nativ auf Unraid
1x OwnCloud Docker
1x Emby Media Server Docker

rennt wie ne Eins!

Schau dir sonst die Linus Videos bei Youtube dazu an.

 

[HominiLupus]

UnRAID ist nur ein Linux Kernel mit einem proprietären SoftwareRAID Verschnitt. D.h. das ist nicht besser, performanter, etc. als Linux/kvm/Docker/etc. selbst.

 

[HerrRossi]

Läuft Unraid eigentlich komplett vom Stick oder kann man das auf eine Partition installieren?

@HominiLupus: das nicht unbedingt triviale Linuxrumgebastele, um das performant hinzubekommen, fällt mit Unraid aber weg.

 

[Silencium]

Man Man man ... hier haben ja viele die Weisheit mit löffeln gefressen..

Vergessen solltest du das auf keinen Fall. Deine VM´s solltest du aber ggf. konsolidieren. Clooud & ftp ist ja eh fast das gleiche, warum nicht zusammenführen. Ansonsten brauchen diese VM´s eh kaum ressourcen.

Zum VM gaming kann ich dir nur unraid empfehlen. Da wird die Graka nativ durchgereicht. Genau wie usb und andere pci express komponenten die du evtl. hast. Halt VT-D. Demnach brauchst du Hardware die richtig VT-D unterstützen.

Ich hab es selber am Laufen und es funktioniert einwandfrei. Zudem kannst du mit Unraid auch weg von den VM´s und für ftp und cloud z.b. Docker nutzen.

Hatte meinen i7 4790k mit 32 Gb RAM in der folgenden config:

1x Win10 VM (VT-D mit GTX970)
1x NAS nativ auf Unraid
1x OwnCloud Docker
1x Emby Media Server Docker

rennt wie ne Eins!

Schau dir sonst die Linus Videos bei Youtube dazu an.

Sauber! Ich hatte gehofft dass jemand hier schon Erfahrung mit unRaid gemacht hat.
Weißt Du zufällig was Deine Maschine an Watt saugt? Im besten Fall mit Win10 VM an und einmal aus - kaum bekomme ich den Finger, greife ich nach dem Arm, sorry

Konsolidierung ist vollkommen richtig, das ist ein Szenario was folgen wird, so oder so. Ich bin ja schwer gespannt wie die nano von Win 2016 Server ausfallen wird, Stichwort ESXi, HyperVisor allgemein. Docker ist bei Server 2016 ja unter "Container" nativ am Start/wird sein. Diesbezüglich werden die nächsten 12 Monate, in der Windows-Welt, sehr spannend werden.

Ausprobieren kann ich das ganze Szenario mit meiner aktuellen Hardware leider nicht. Keiner meiner beiden i5 unterstützt VT-d, leider.
Wen ich mir aber 3 Maschinen zu einer formen kann, dann ist die Wahrscheinlichkeit enorm hoch, dass ich dieses Projekt umsetze.
Denn das spart etwas Platz und man "braucht" neue Hardware und hat wieder etwas zum Basteln

Die Linus-Tech-Tips-Videos kenne ich schon, auch bezüglich unRaid.
Nur habe ich am Ende keine Lust dass wenn die Hardware hier liegt, der Schlonz am Ende >50 - 80W unter idle saugt.

Ergänzung (20. Juni 2016)

Behalte das i5-2500 System und virtualisiere auch noch dein MacOS darauf (aber schweige hier auf cb darüber....). Undervolte die CPU falls möglich.
Das Gamingsystem weiter zum Gamen, aber natürlich endlich übertaktet falls es das noch nicht ist. Nein, das braucht nicht mehr Strom im Desktop Betrieb, nur wenn man es auch wirklich nutzt, z.B. in Spielen. Wobei 50-60W für das System schon etwas viel ist.

Ein C Chipsatz ist ein C2xx Chipsatz für Xeons auf Servermainboards. Irrelevant.

Das System ist auf 4.0GHz bzw. GPU-Core 1150 übertaktet und läuft unter Luft stabil
Ach so, dass war mit C Chipsatz gemeint, ja, dass ist mir ein Begriff aber kam mir dabei nicht in den Sinn (warum auch immer).
Hatte zwischenzeitlich auch an eine Xeon-SuperMicro-Lösung mit IPMI gedacht (spätestens dort wird der Chipsatz zur "Pflicht").

Ergänzung (20. Juni 2016)

Würdet ihr eher zu einer Xeon-Lösung raten? Ich weiß ehrlich gesagt nicht wie sich das konkret/effektiv auf die Gesamtsituation auswirken würde. Ich denke mal stromtechnisch wäre da kaum ein Unterschied?!
Als Alternative käme zB der genannte E5-2623 v4 in Frage.

 

[donativo]

Ich hatte damals mal gemessen, mal sehen ob ich das noch zusammen bekomme. Habe leider keine Zeit neue Messungen zu machen.

Wobei ich sagen muss, dass es von System zu System unterschiedlich ist. Ich habe zB 7 Festplatten dran. 6x 3,5" und eine ssd als cache.
Wenn alle Platten schlafen, sprich idle mit aktiven Docker (idle) dann liegt das System bei ca 28 Watt.

sobald die platten drehen ists natürlich + 6*6 Watt ca. Wenn die VM mit Graka dazu kommt sinds noch mal plus 50 Watt. (Idle. Gaming ist ja dann zu vernachlässigen, da temporär.

Gruß

Ach so: Ich vermute mal du nutzt MacOs als MediaCenter wegen Itunes und womöglich der Library für Apple TV? Sonst erschliesst es sich mir nicht.

Ich hatte ursprünglich auch eine Itunes Library. Aber seit ich Emby habe ist das eine Wonne. Emby spilet alles ab und transcodiert auch für iOS Geräte zu Laufzeit. Gibt auch Emby Apps für alle Plattformen inkl. dem neuen AppleTV.

 

[Silencium]

Ich habe noch viele HDDs extern mit HFS+ formatiert. Ja, es gibt auch Treiber dafür. Bald kommt ja ein neues FS von Apple. Alternativ wäre auch etwas Linuxnahes denkbar oder NTFS. Aber das bedeutet ja alles Arbeit - hin und her schaufeln.
Am liebsten hätte ich Platz für ca. 4 - 6 3,5" im Server + 2 - 4 2,5".

Beim mini nutze ich ferner die ServerApp für TM, Git ist auch drauf und zwei drei kleine andere Apps die aber auch unter Linux ein neues Zuhause finden könnten. Ich habe gestern noch einmal recherchiert. Es scheint einige Leute zu geben die mit unRaid durchaus enorm hohe Performance-Probleme haben. Wenn ich da lese dass es bis zu 30 oder gar 40% Einbußen gibt. Ich sage mal 10% Overhead würde ich noch akzeptieren aber darüber ist mir das zu viel. Dafür kauft man sich ja dann keine Hardware in diesem Euro-Bereich.

Die günstigste Alternative ist wirklich den i5 2500 zu behalten und dort die externen Platten vom Mini einzubauen.
Dann gibt es die Option nur einen Server neu anzuschaffen.
Natürlich bleibt weiterhin offen HomeLab und Gaming in einer Maschine zu verbauen. Wäre mir beinahe die liebste um ehrlich zu sein.
Es ist schade das in den USA nicht auf Stromverbrauch geachtet wird. Bei deren Preisen kein Wunder aber schade bleibt es allemal.

 

[donativo]

Wenn du viele Platten hast und mehr oder weniger meist auf Linux unterwegs bist, würde ich dir ein ESX oder unraid empfehlen ohne der windows gaming maschine. hierzu würde ich dir die folgende stromsparende hardware empfehlen. habe ich letztens hochzogen, da jedoch mit server 2012 als Datengrab.

Unraid hat in deinem Fall die besseren Stromsparfunktionen, denn es fährt nur die Platte hoch auf dem die Daten gerade liegen bzw. geschrieben werden. In einem Raidverbund fahren immer alle Platten gleichzeitig an. Zudem kannst du in Unraid sogar die Platten von der Kapazität her mischen. Einfacher geht es nicht. Darüber kann man dann ZFS oder BTRFS laufen lassen. Die Größte deiner Platten würde jedoch als Parität flöten gehen. Eine SSD kann ich als Cache nur empfehlen. So halten die Scheiben lange still und spart enorm Strom.

Als Basis dient hier das folgende Konstrukt:

http://geizhals.de/asrock-c2550d4i-a1040154.html?hloc=at&hloc=de
http://geizhals.de/silverstone-ds380-sst-ds380b-a1064122.html?hloc=at&hloc=de

Darin finden 12 Platten ihr neues Heim, 8 davon HotPlug.
Das Board reicht dicke für deine Anwendungen, gäbe es allerdings auch mit 8-core, kostet aber n Batzen mehr.

UNd deine i5 Kiste lässt du als Gaming laufen... on demand


p.s.: wenn du es fummelig magst bekommst du wohl auch macos auf dem unraid installiert
https://macosxvirtualmachinekvm.wordpress.com/guide-mac-os-x-10-11-el-capitan-vm-on-unraid/

 

[Silencium]

Vielen Dank für Deinen Beitrag, genial!
Leider habe ich damit nicht die nötige Power für eine Win10 Dev-VM.
PHP-Storm mit paar Tabs unter Chrome - da kommt selbst der i5 jetzt schon teilweise ins Schwitzen.

Ich denke ich lasse es auf einen Versuch ankommen und überlege gerade folgende Kombinationen:

i7 6700K
ASRock Z170 Extreme4
16GB DDR4
= 520€


i7 4790K
ASRock Z97 Extreme4
16GB DDR3
= 375€


145€ sparen, ja nein? Bin mir da sehr unschlüssig. Mehr als 32GB Ram werde ich vorerst wohl nicht benötigen.
Stromverbrauch - da nehmen die sich wohl beide Nix. Dafür wären die Komponenten nagelneu. Meinungen?