Mini-Server für Docker- und VM-Anwendungen | Wichtig Preisleistung und halbwegs zukunftssicher

[Der Lord]

+1 für MiniPC und Proxmox

Läuft hier zuhause auch, unverschlüsselt um sich das Leben nicht unnötig schwer zu machen.
Darauf HAOS als VM, 10x LXC (darunter ein Debian + podman für diversen Kram den ich nicht händisch aufsetzen wollte - klappt auch im LXC mit aktiviertem nested flag einwandtutti). ich sehe auch viele Vorteile bei podman, z.B. auch dass es nicht selbstständig an den Firewallregeln vorbeischraubt! aber das führt in diesem Thread zu weit.

Ich nutze dafür seit Jahren nen kleinen MiniPC (ZBox Nano, passiv gekühlt, mit nem Celeron N4100). Reicht locker aus und hat noch viele Reserven.

Dennoch mein Rat: bevor du dich nun reinstürzt und richtig viel Geld ausgibst: teste doch vorher erstmal in einer lokalen VM, ob du mit Proxmox und generell Linux zurechtkommst. Denn auch da muss man sich auf der Shell bewegen und die Systeme einrichten und warten, vor allem wenn du LXC ins Auge fasst. Nur weil Proxmox eine WebGUI hat, heißt das eben nicht, dass man alles per Klickibunti erledigen kann.

Wenn du dann merkst: "hey, das schmeckt mir, ich möchte loslegen" kannste immer noch den Geldbeutel öffnen und was passendes holen.

Und wenn man auf den Geschmack gekommen ist, kann man das ja auch noch steigern. Bei mir kam z.B. eine zweite ZBox dazu und seitdem lasse ich Proxmox als Cluster laufen. Zum Einen kann man so die Last verteilen, zum anderen bietet es auch einen Ausfallschutz (wenn man HA einrichtet). Macht schon Spaß...

 

[DHC]

keinen direkten Zugriff auf den Server hat oder Fernzugriff mittels IP KVM

Dafür gibt es Lösungen.
Mit dropbear in initramfs kann man einen SSH-Server zur Eingabe der Entschlüsselung einbinden.

Man kann auch Debian mit Vollverschlüsselung mit Minimalst-Konfiguration installieren und Proxmox, samt Kernel nachinstallieren.

Gemacht habe ich die Sachen selbst noch nicht. Nur darüber gelesen.

Ergänzung (Freitag um 20:40)

teste doch vorher erstmal in einer lokalen VM, ob du mit Proxmox und generell Linux zurechtkommst.

Ich habe vorher schon Proxmox in einer VM (VMware Workstation Pro) installiert. Die läuft auch soweit.
Ich muss mich da erst mal damit auseinander setzen.

Was Linux angeht. Da bin ich noch recht blutiger Anfänger. Ich komme aber halbwegs klar.
Man muss halt viel recherchieren am Anfang oder hier mal nachfragen.

Bei mir kam z.B. eine zweite ZBox dazu

Das habe ich früher oder später auch vor.

zum anderen bietet es auch einen Ausfallschutz (wenn man HA einrichtet)

Das war auch so eine Idee, die ich hatte. Redundanz.
Aber da bin ich noch weit entfernt davon.

Apropos.
Ich habe ähnliche Anwendungen, wie du. Das hatte ich ja schon geschrieben.
Unter anderem möchte ich mich etwas unabhängiger machen von gewissen Sachen.
Letztens ist in DE für einige Stunden das Internet lahmgegelegt gewesen, weil da bei DENIC irgendetwas schiefgelaufen ist.
Wenn ich das richtig verstanden habe, sollte man das halbwegs mit Unbound, etc. in den Griff bekommen.
Außerdem möchte ich noch AdGuard oder Pi-Hole als Werbe-/Trackingfilter einsetzen.
Beide sollen wohl gleichwertig sein, wobei Pi-Hole sehr minimalistisch daher kommt, während man bei AdGuard viele Einstellmöglichkeiten auf der Oberfläche hat und einfacher zu bedienen, bzw. handzuhaben ist.

 

[Der Lord]

Pihole läuft bei mir auch seit Jahren in einem dedizierten LXC Container. Paar wichtige Dienste lasse ich so getrennt laufen, damit sie bei anderen Wartungen unangetastet bleiben.

Den Denic Ausfall könnte man mit einem eigenen Resolver umgehen, ja. Aber auch da nur mit einem Workaround, weil dnssec kaputt war.

Da du schon erste Erfahrungen mit Proxmox gesammelt hast, steht einer eigenen Kiste ja nichts im Weg. Wirst als Linuxanfänger noch einiges lernen müssen, aber da sehe ich bei dir genug Lernbereitschaft

Aber wir driften vom eigentlichen Thema ab ^^ hast schon eine Tendenz? Kleiner NUC oder doch was großes?
Wie schon gesagt wurde, unterschätz die kleinen stromsparende CPUs nicht. So ein N100 oder N300 dürfte für deine Anforderungen dicke langen.

 

[DHC]

hast schon eine Tendenz? Kleiner NUC oder doch was großes?

Eigentlich hatte ich mir ein Minis Forum ausgekuckt.
Sowas, wie z. B. UM890 Pro.

Aber auf Grund der vielen Reaktionen hier, ist es wohl besser erst mal kleine Brötchen zu backen.

Also werde ich mir für den Anfang zum Kennenlernen eher etwas kleineres und günstigeres holen.
Kann auch gebraucht sein.

Ich möchte halt ein System, wo man NVMEs einsetzen kann.
Und ausreichende Leistung (Lieber etwas mehr als zu wenig) sollte es auch haben.

Jetzt kann ich Proxmox ja erst mal in der VM kennenlernen.

DietPi wurde ja als Minimalst-OS genannt. Da habe ich schon Videos dazu angeschaut. Das werde ich dann wohl auch mal zum Kennenlernen als VM installieren.

 

[Der_Dicke82]

Immich geht nur als Container,

gibt nen geilen DEB port auf github ;-)

Ich habe lange proxmox genutzt und bin jetzt komplett zu incus gewechselt!

Also Debian mit incus für lxc, eine UI gibt es, nutze ich persönlich aber gar nicht mehr.
Wenn etwas nur oder deutlich einfacher/besser in docker läuft, dann läuft podman mit network=host im lxc.

@DHC ich dachte erst auch ich bräuchte viele Kerne und viel RAM, aber wenn man mal rafft, das Ressourcen außer bei einer VM gar nicht fest vergeben werden müssen, ist das nicht mehr der Fall.
Das Host System kann wunderbar flexibel CPU Zeit und den RAM verteilen. Hilfreich sind Maximale Grenzen bei Diensten die mal richtig rattern können, wie immich bei der Gesichtserkennung.

Mein i7 6700 ist ein 4 Kerner und schafft easy alles was ich ihm an den Kopf schmeiße. RAM habe ich 64 GB und brauche nicht einmal 8 GB
Wahrscheinlich ist es sinnvoll ein kleines system um ein zweites kleines zu erweitern.

 

[Mente]

Hallo TE,
ich würde erstmal dein Setup so bauen wie aktuell, und dann würde ich Pihole oder Adguard in einer Docker Testen und kleinere andere Sachen auch im Docker testen und betreiben. Den deine VM ist ein OS was du "kaputt" machen kannst daher würde ich in der nur das betreiben was bisher da auch drauf war.
Zu LHX oder VM ist eigentlich naja LHX ist einfacher zu händeln aber ist weniger Verbreitet aber auf den gängigen OS Proxmox Unraid usw. ist es verfügbar. Ich für meinen Teil habe die HA aber auch über eine separate VM laufen mit zugewiesenen min Ressourcen. Mann muss halt beachten eine VM benötigt deutlich mehr Ressourcen wie ein Docker.

lg

 

[DHC]

@Mente
HAOS muss ich sowieso trennen und somit in einer VM betreiben.
Oder ich müsste dafür ein zweites Gerät separat hinstellen, wo dann HAOS ohne VM direkt darauf läuft. Aber das will ich nicht.

Wenn möglich, will ich alles unter einem Dach haben. Alles was problemlos möglich ist in Podman (Docker), alternativ LXC. Was nicht anders geht in VMs.

Wie das Ganze schlussendlich umgesetzt wird, kann ich in VMware in einer VM durchtesten und -simulieren. So mache ich das meist. Erst mal testen und Erfahrungen sammeln. Dann hat man hinterher in der Regel weniger Ärger.
Wenn dann alles tut, dann wird auf echte Hardware umgezogen.

Ich wollte mich einfach im Vorfeld informieren.
Deshalb habe ich mal recht hoch angesetzt, was CPU (Kerne) und RAM angeht.
Was mir halt auch sehr wichtig ist. Äußerst geringer Verbrauch bei entsprechend geforderter Leistung.

 

[boeck]

Dafür gibt es Lösungen.
Mit dropbear in initramfs kann man einen SSH-Server zur Eingabe der Entschlüsselung einbinden.

Weiß ich und hätte ich auch fast gemacht. Am Ende war es mir das „Risiko“ nicht wert, dass es dann irgendwann zu Problemen kommt.

 

[foofoobar]

Einmal hab ich es bei baugleichen Systemen mit umstecken von der System- und Daten-SSD gemacht, da musste ich noch einmal händisch die NIC-Config anpassen (glaub die MAC war vom alten System drin).

Den Heckmeck den Windows da abzieht ist auch in keinster Weise technisch begründet.
Und zu NT4-Zeiten war Windows in dieser Hinsicht sehr pflegeleicht.

Und man muss unter Linux die NIC auch nicht zwingend an MAC kleben.

Nach einem Reboot des Servers verbinde ich mich über SSH und führe mein „unlock“ Skript aus welches die verschlüsselten Bereiche mountet und die VMs und LXCs startet.

Denk daran den swap zu verschlüsseln. Da geht auch /dev/urandom als key :-)

Wie das Ganze schlussendlich umgesetzt wird, kann ich in VMware in einer VM durchtesten und -simulieren. So mache ich das meist. Erst mal testen und Erfahrungen sammeln. Dann hat man hinterher in der Regel weniger Ärger.
Wenn dann alles tut, dann wird auf echte Hardware umgezogen.

Ich installiere gleich auf der richtigen Platte die ich an eine VM durchreiche, dann braucht man nur noch umstecken und kann sich den Umzug sparen:

<disk type="block" device="disk">
  <driver name="qemu" type="raw"/>
  <source dev="/dev/sda"/>
  <target dev="vda" bus="virtio"/>
  <address type="pci" domain="0x0000" bus="0x04" slot="0x00" function="0x0"/>
</disk>

 

[DHC]

Ich installiere gleich auf der richtigen Platte die ich an eine VM durchreiche

Ich habe keine NVMe zur Hand, sonst hätte man das so machen können.

 

[boeck]

Denk daran den swap zu verschlüsseln.

Ist bereits verschlüsselt. Danke für den Hinweis.

 

[thrawnx]

Docker ist weit verbreitet und genau das stellt den Vorteil da. Wenn mal irgendwas ist, dann findet man dafür eher Hilfe als für LXC & Proxmox. Auch Software in Form von Docker-Containern findest du eher als in der LXC-Form, häufig sogar direkt vom Hersteller.

Und wenn du irgendwann mal dein Zeugs auf ein neues System umziehst, z. B. ein NAS oder auch einfach nur ein Betriebssystemwechsel machst, dann wird es Docker dort mit 99%er Sicherheit geben oder nachträglich installierbar sein. Bei LXC sieht die Sache anders aus.

https://community-scripts.org/ <- Hier gibts massiv pre-made LXC Container, aber ja es stimmt, nicht alles. Da kann man aber immer noch eine VM einrichten mit Docker. Abgesehen davon, führen immer mehr Projekte LXC Support ein, Truenas so als Beispiel, aber es gibt mehr.

Was die Hardware angeht... Viele hier nähen gerne Hardware auf Kante und dann gibts viel QQ wenn die Hardwarepreise auf einmal anziehen und sie doch mehr RAM/HDD etc. bräuchten. Es ist ziemlich absehbar dass beides die nächsten Jahre nicht viel günstiger wird und ein ZFS mit 8GB Ram ist halt eher uncool. Auch sonst will man die Kiste vielleicht nicht ständig auf 40%+ Last laufen haben, die Lautstärke ist da sicher nicht so toll. Sprich wenn man das Geld hat und es investieren möchte, verstehe ich nicht warum es den Leuten immer ausgeredet wird.

 

[DHC]

@thrawnx
Ich habe mal zum Testen die Apps, die ich aktuell nutze mal in eine VM gepackt.
Dazu habe ich noch Unbound und AdGuard eingebunden, was ich zukünftig nutzen will.
Die nächste Option, die ich gerne umsetzen würde, wären: NetBird, Authentik und evtl. Caddy.

Man sieht jetzt schon, im Leerlauf, dass das Ganze schon mal gerne RAM konsumiert.
Aktuell läuft da nichts produktiv darauf. Ich habe das alles erst mal so mit den Community-Skripten, die du verlinkt hast ausgeführt.

Hier mal ein Screenshot der aktuellen Installation (VM / LXCs).

Proxmox selbst benötigt ca. 1,6 GB RAM nach Neu-Installation.

Wenn jetzt alle Instanzen (VMs / LXCs) beschäftigt sind, Dann werden wohl schon Kerne und RAM in Anspruch genommen.
Deshalb war meine Eingebung mit viel Kernen/Threads (CPU) und RAM bei so einem Anwendungsszenario nicht falsch.

Alle Varianten, die es für solch ein Szenario gibt haben ihre Vor- und Nachteile.
Für äußerst versierte User sind viele der genannten, ressourcenschonenden Beispiele super zu handeln.
Für weniger bis kaum versierte User kann sowas wie Proxmox schon sehr interessant sein, auch wenn das Ganze ressourcenhungriger ist.

Im Endeffekt muss jeder für sich entscheiden, auf was für ein System man setzt.

Was mir bei der ganzen Sache mit den Community-Skripten, bzw. den LXCs noch nicht klar ist,
Wo liegen da denn überhaupt die Daten?

Bei mir auf dem NAS laufen aktuell zwei Instanzen von Paperless-ngx in Debian 13 als Pod-Container.
In Debian habe ich noch zusätzlich Samba installiert und konfiguriert, um die eingescannten Dokumente über Netzwerk direkt vom Scanner in die entsprechenden Paperless-Instanz in den Consume-Ordner zu schreiben, damit diese gleich verabeitet werden können.
Wie realisiert man sowas hier in Proxmox mit den LXCs?

Proxmox an sich ist sehr sympathisch.
Auch die Möglichkeit mit Backups, Cluster und Hochverfügbarkeit (Ausfallschutz), etc.
Aber auch hier muss man wie überall erst mal sehr viel Zeit investieren.
So einfach mal schnell hoppla hop etwas umzusetzen ist da auch nicht gegeben.

Ein Frage hätte ich noch zu Paperless-ngx ln den Commuinty-Skripts-Version der LXCs.
Ist da Tika, Gothenberg mit drin?
Ich habe da nichts gefunden.
Auch weiß ich nicht, mit welchem Benutzername und Passwort ich mich da auf der Weboberfläche anmelden soll.
Gibt es da irgendwelche Standard-Anmeldenamen und -passwörter?
OK. Das habe ich nun herausgefunden. Komplizierter geht es wohl nicht mehr.

 

[JumpingCat]

Wenn jetzt alle Instanzen (VMs / LXCs) beschäftigt sind, Dann werden wohl schon Kerne und RAM in Anspruch genommen.

Wie häufig kommt das vor?

Das kritische ist in der Regel erst der RAM. Das wird mit KSM abgefangen. Danach sind oft die Datenträger am Limit.

Wenn jetzt alle Instanzen (VMs / LXCs) beschäftigt sind

Du hast mit einer VM schon eine gute Grundlast damit die überhaupt nichts tut. Bei LXC ist die zusätzliche Last nicht ganz so hoch.

Versteh mich nicht falsch, ich will dir VMs nicht ausreden oder so. Aber der aktuelle Standard sind halt docker Container weil diese alle nach dem gleichen Grundprinzip funktionieren und extrem schlank sind. Schlank in jeder Hinsicht: RAM, CPU und Festplatte. Du kannst dich gerne in die Besonderheiten von VMs und LXC einarbeiten, aber damit investiert du 0% in die Funktionsweise von Containern wie docker / podman die auf aktueller Technologie basieren.

 

[boeck]

Man sieht jetzt schon, im Leerlauf, dass das Ganze schon mal gerne RAM konsumiert.

Wenn jetzt alle Instanzen (VMs / LXCs) beschäftigt sind, Dann werden wohl schon Kerne und RAM in Anspruch genommen.

Glaube vor allem beim RAM kann das täuschen. RAM ist da um konsumiert zu werden. Manche Programme (z.B. Datenbanken und ZFS) nehmen sich gerne mal so viel RAM wie da ist. Wenn nicht so viel RAM verfügbar ist laufen die Programme aber trotzdem. Natürlich gibt es eine gewisse Untergrenze und auch einen Wert unter welchem die Performance leidet.

Kannst mal der VM und den LXCs weniger RAM zuweisen und schauen ob du einen Unterschied merkst.

Persönlich würde ich auf Grund der aktuellen Preise beim RAM ein wenig niedriger als die 64GB ansetzen und schauen wie es läuft. Nachkaufen kannst immer noch. Außer natürlich du willst dein Geld beim Fenster rauswerfen 🤷‍♂️

 

[DHC]

Wie häufig kommt das vor?

Aktuell ist das noch überschaubar.
Aber es wird immer wieder mal Situationen geben, wo deutlich mehr gefordert wird.

ich will dir VMs nicht ausreden

Eine VM benötige ich. Da komme ich nicht drum herum. HAOS muss in einer VM laufen.

Was man in Containern realisieren kann, wird realisiert. Ressourcen schonen.

Wenn man mein Anwendungsszenario minimalistisch betreiben möchte, müsste man wohl folgendes machen müssen, wenn ich das alles richtig verstanden habe.

• Host-System, z. B. Debian
• Virtualisierung im Host für HAOS
• Alles andere könnte über Pod-Container realisiert werden.

Um Backups, etc. muss man sich selbst kümmern. Ausfallschtuz, etc. gibt es so nicht.
Habe ich da einen Denkfehler?

Proxmox macht ja das Ganze recht ähnlich, wenn ich das richtig verstehe.
Zusätzlich hat man mehr Möglichkeiten. Z. B: Ausfallschutz (Zweiter Reserve-Server).

Ich bin erst mal nur in der Findungsphase und schaue mir mal alle Möglichkeiten an, die für mich Sinn machen könnten.

auf Grund der aktuellen Preise beim RAM

Das wird in Zukunft wohl nicht mehr besser werden.
Wenn man jetzt noch 5 oder 10 Jahren zahlt man wahrscheinlich das doppelte oder dreifache, wie jetzt aktuell.

 

[JumpingCat]

Eine VM benötige ich. Da komme ich nicht drum herum. HAOS muss in einer VM laufen.

Das höre ich immer wieder. Und ich sage immer wieder nein. Leider kann mir niemand sagen wieso man unbedingt HAOS braucht.

Wenn man mein Anwendungsszenario minimalistisch betreiben möchte, müsste man wohl folgendes machen müssen, wenn ich das alles richtig verstanden habe.

• Host-System, z. B. Debian

Es spricht nichts gegen ein Proxmox um mal eben Dinge in einer VM testen zu können. Man kann auf Proxmox problemlos Docker laufen lassen. Als Vorteil hast du zum Beispiel native zfs Integration. Das hat Debian nicht.
Bei Proxmox machst du diverse Sachen wie Backup halt einfach in der GUI. Auch Dinge wie ein Cluster und Container / VM migrieren ist ein nettes Feautres. Was man zuhause vielleicht nicht wirklich braucht.

Wenn man mein Anwendungsszenario minimalistisch betreiben möchte

Es gibt hier im Forum diverse Threads wo Leute auf Minimalismus getrimmt haben und sich fragten wieso xyz nicht funktioniert oder das sic System komplett anders verhält. Das wurde dann aber erst auf Seite 3 erwähnt das man mit z.B. "OS: Linux Debian" nicht Debian normal meinte sondern eine extrem abgespeckte Variante. Mache dir das Leben nicht unnötig schwer.

Ich bin erst mal nur in der Findungsphase und schaue mir mal alle Möglichkeiten an, die für mich Sinn machen könnten.

Dann macht es eher Sinn mit einem Mainstream Setup zu beginnen anstatt in einer Nische. Beim Mainstream findest du viel online und viele Personen können dir helfen und Tips geben. In der Regel finde ich zum Beispiel schon Bug-Reports für meine Probleme obwohl das Software Release 24h alt ist. In einer Nische findest du da teilweise Monate später nichts oder Kommentare in "fremden" Bugs mit "ja ist halt so seit dem Release".

 

[DHC]

Leider kann mir niemand sagen wieso man unbedingt HAOS braucht.

Add-Ons gehen z. B. nicht in Containern.

Warnings
Containerized version doesn't allow Home Assistant add-ons.

If the LXC is created Privileged, the script will automatically set up USB passthrough.

WARNING: Installation sources scripts outside of Community Scripts repo. Please check the source before installing.

Siehe: Home Assistant Container

Ergänzung (Sonntag um 19:53)

Als Vorteil hast du zum Beispiel native zfs Integration

Auch Dinge wie ein Cluster und Container / VM migrieren ist ein nettes Feautres

Was man zuhause vielleicht nicht wirklich braucht.

Wer sagt, dass ich das als Hobby, nur zum Spaß mache?
Ich möchte das Ganze später produktiv nutzen können.

Da ich kein Oberguru in Sachen Linux, etc. bin suche ich eine halbwegs einfache und praktikable Lösung, um das umsetzen zu können, was mir vorschwebt.

Ergänzung (Sonntag um 19:55)

auf Minimalismus getrimmt haben

Der Minimalismus war erst mal nur nötigt, damit ich das Ganze erst mal zum Kennenlernen auf dem NAS installiert habe. Da wollte ich nicht unnötig Ressourcen verschwenden.

Nun soll ja ein neues leistungsfähigeres System her.

Ergänzung (Sonntag um 19:56)

mit einem Mainstream Setup zu beginnen

Was ist für dich Mainstream?
Zählt Proxmox auch dazu oder ist das auch eine Nische?

 

[JumpingCat]

Add-Ons gehen z. B. nicht in Containern.

Siehe: Home Assistant Container

Du brauchst mir das nicht zu erklären. Ich nutze das 6 Jahren. Es funktioniert. Mir reicht das mit Grafana + Zigbee + Mosquitto u.s.w.

 

[DHC]

Es funktioniert.

Es freut mich sehr für dich, dass du das alles zum Laufen bekommen hast.
Aber das kann halt wohl nicht jeder.
Deshalb gibt es eben überall den Hinweis zu den Unterschieden zwischen HAOS und Conatiner, auch bei Home Assistant.