empfehlenswerte Literatur zu Proxmox?

[Mickey Mouse]

ich bin gerade "am Spielen" mit Proxmox, halb privat weil es mich interessiert aber auch um zu erkunden, ob das eine ernsthafte Alternative zu den (teuren) VMware Installationen in der Firma wäre.

nun habe ich festgestellt, dass Proxmox nicht wirklich "zum Spielen" taugt. Es kann schon eine Menge und man kommt ganz schnell zu dem Punkt: gehen sie direkt ins Gefängnis, gehen sie nicht über Los...

z.B. habe ich mir mal eben schnell einen Cluster aus zwei Rechnern gebaut, in der festen Überzeugung (ohne überhaupt darüber nachzudenken), dass die Rechner sich zu zweit zwar "unterstützen" aber "natürlich" auch autark alleine laufen können. Aber nee, sowie ein Rechner aus/down ist, steht der gesamte Cluster. Nimmt man einen Rechner aus dem Cluster raus, muss man ihn hinterher neu installieren usw. usf.

die Anleitung ist ja schon ganz gut, lässt aber "das große Ganze" etwas vermissen.

zum Punkt:
dementsprechend gibt es bei Amazon einen ganzen Haufen Bücher zu Proxmox, das Problem scheint also "bekannt" zu sein.
nur welches kann man mit gutem Gewissen empfehlen? Ich will mich nicht durch 10 Bücher wühlen müssen nur um heraus zu finden, dass ich doch lieber der Geschäftsleitung empfehlen werde, bei VMware zu bleiben.
mir schwebt so ein "was kann man alles machen?" für den großen Überblick vor, das "wie" kann ich dann im Manual finden.

nur so als Beispiel: wie würde man eine Node mit zwei Ethernet Interfaces sinnvoll anbinden? Auch wenn eine andere Node nur ein Interface hat? Oder wie viele Interfaces muss/sollte jede Node haben, wenn man sie z.B. in einem 5er Cluster mit Ceph einsetzen möchte?

 

[G-Red]

ob das eine ernsthafte Alternative zu den (teuren) VMware Installationen in der Firma wäre.

Ist es. Hab von einger Zeit mitbekommen, dass ein paar der mehr oder minder bekannten Hoster auf Proxmox setzen. Glaub Netcup war einer davon.

nun habe ich festgestellt, dass Proxmox nicht wirklich "zum Spielen" taugt.

Ja, ab einem bestimmten Komplexitätsgrad, muss man sich Gedanken machen was man da tut.

dementsprechend gibt es bei Amazon einen ganzen Haufen Bücher zu Proxmox, das Problem scheint also "bekannt" zu sein. Nur welches kann man mit gutem Gewissen empfehlen? I

Da mußt du leider selbst durch, um es für dich zu entscheiden. Den jeder Autor geht da spezifisch auf bestimmte Aspekte ein. Ob das dein gewünschtes Scenario wiederspigelt, läßt sich nur beim durchblättern feststellen.

 

[konkretor]

Also ich setze beides bei uns in der Firma ein.

Proxmox setzen wir bei den Entwicklern ein. Die nutzen eh nur Linux. Kvm super hypervisor.
3 Cluster mit AMD epyc...
100 TB HDD und 8 TB SSD als ceph.

HCI ist das Buzz Wort

Ceph und SSD caching mit HDD ist nicht wirklich gut. Habe das mit dem Heinlein Support durch gekaut. Bei Interesse kann ich gerne den Kontakt per pn nennen. Entweder oder ist da angesagt.
Ceph zu verstehen ist auch nicht gerade ohne. Hier muss viel Wissen aufgebaut werden.

Alternative ja und jetzt kommt das aber

Viele Software ist nur für VMware oder hyper v freigeben. Hälst du den zertifizierungs Pfad nicht ein sagt der Hersteller Pech gehabt.
Beispiel SAP oder sfirm etc.

Vsan ist einfacher zu handhaben wie ceph. Meine Meinung.

Nachteilig ist auch das Netzwerk bei Proxmox dort gibt es keinen distributed Switch. Sprich einmal einrichten auf alle esxi verteilen. Proxmox ist das Handarbeit oder du setzt auf Tools wie Puppet etc.

Bei den Berechtigungen kannst du aktuell keine Rechte auf Netzwerk Ebene vergeben. An oder aus. Somit können sich Leute Netzwerke zu teilen wo sie nichts zu suchen haben. Das soll irgendwann kommen.....

Ja es kann eine Alternative sein. Planung und Support ist ein muss.
Ich setze beides gerne ein. Es muss klar definiert sein für was. Proxmox ohne Support in einer produktiv Umgebung ist keine Lösung oder Kosten Ersparnis.

 

[Art Vandelay]

Proxmox aus Kosten Ersparnis in einer Firmen Umgebung einzusetzen ist, wenn man da nicht wirklich weiss was man tut, ein absolutes Harakiri Kommando.
Und wenn die Support Kosten für einen Dienstleister die gesparten Lizenzkosten für VMWare oder Hyper-V auffressen hat man auch nichts gewonnen.

Ich habe zwar auch nur mal mit Proxmox etwas rumgespielt, aber heutzutage ist IT zu wichtig und die Infrastruktur muss laufen.

Für große Hoster, die viele Hosts einsetzen mag Proxmox ja vll eine Option sein, aber ich wollte es in keiner Firma für lokale Services einsetzen.

Und wie konkretor es schon schrieb, ich kenne es auch, dass man von Software Herstellern vorgegeben bekommt welche VM Plattform man nutzen soll, da ist man auf einmal doch ganz schnell auf eine Welt festgelegt.

 

[snaxilian]

Rechner sich zu zweit zwar "unterstützen" aber "natürlich" auch autark alleine laufen können. Aber nee, sowie ein Rechner aus/down ist, steht der gesamte Cluster.

Jain. In deinem konkreten Fall mit einem 2-Node-Cluster ist dies korrekt, ab 3 Nodes aufwärts kein Problem. Das liegt aber nicht an Proxmox selbst sondern in der Art und Weise des darunter laufenden Clusters.
Bisschen Literatur: https://pve.proxmox.com/wiki/Cluster_Manager#_quorum
Jeder Host bekommt eine Stimme und solange eine Mehrheit sich abstimmen kann läuft der Cluster. Ist dies nicht mehr gegeben geht es in den read-only Modus um die Integrität der Daten zu erhalten.
Ein anschauliches Beispiel dazu: Stell dir vor du hast deine zwei Hosts und auf jedem läuft ein LDAP oder von mir aus auch ein Domain Controller. Jetzt fällt das Netzwerk zwischen den zwei Hosts aus und die VMs würden weiter laufen. Jetzt könnte theoretisch auf dem einen LDAP/DC bei einem User ein Kennwort geändert werden. Würde im Anschluss die Verbindung zwischen beiden Hosts wieder da sein, wären die Daten in den VMs inkonsistent (altes vs. neues Kennwort für den User).
Ja, ich weiß, dass mein Beispiel Fehler hat und die Tatsache, dass LDAP/DCs da andere Mechanismen haben um genau so etwas zu verhindern ignoriere ich jetzt mal weil eben nicht jede Software dies hat.
Ein ähnliches Verhalten hast du aber bei fast allen Cluster-Lösungen egal ob Unix, BSD, Linux oder Windows. Entweder brauchst du ein unabhängiges drittes Quorum oder eben mindestens 3 Nodes.

Nimmt man einen Rechner aus dem Cluster raus, muss man ihn hinterher neu installieren usw. usf.

Wenn man hier anfängt und etwas herunter scrollt ist auch beschrieben, wie man Nodes ohne Neuinstallation aus dem Cluster entfernt: https://pve.proxmox.com/wiki/Cluster_Manager#_remove_a_cluster_node

Grundlegend: Ich würde mich nicht zu sehr auf Proxmox versteifen. Der Anbieter hat das Rad auch nicht neu erfunden oder verwendet da Raketentechnik. Der Mehrwert liegt in der grafischen Oberfläche zur leichteren Verwaltung von bestehenden Lösungen wie Qemu/KVM, LXC, corosync, $insert_storage_solution, etc
Wenn du über den Aufbau dieser Technologien etwas lernen willst kann ich dieses Buch empfehlen da es alle möglichen Aspekte und die notwendigen Grundlagen anschaulich erklärt: https://www.rheinwerk-verlag.de/linux-hochverfuegbarkeit-einsatzszenarien-und-praxisloesungen/

wie würde man eine Node mit zwei Ethernet Interfaces sinnvoll anbinden? Auch wenn eine andere Node nur ein Interface hat? Oder wie viele Interfaces muss/sollte jede Node haben, wenn man sie z.B. in einem 5er Cluster mit Ceph einsetzen möchte?

Darauf gibt es keine pauschalen und immer gültigen Antworten. Hast du stackable Switches zur Verfügung sodass man LACP über zwei Switche machen kann? Dann wäre LACP deine Antwort auf die erste Frage. Auf das LACP dann entsprechend mit VLANs arbeiten. Eins fürs Management des Nodes, ein weiteres für die inter-Cluster-Kommunikation und weitere nach Bedarf für die VMs/Container.
Für letzteres würde ich auf mindestens sechs Interfaces setzen. 2x Ceph Storage Backend als LACP, 2x für Management & Cluster-Traffic wobei ich da noch unschlüssig bin ob ebenfalls LACP oder besser zwei getrennte simple und redundante Netze für den Cluster Heartbeat und 2x als LACP für das Public Network, sprich Zugriff auf die VMs. Du solltest natürlich in dem Fall auf stackable Switches setzen sonst kannst nur LACP an einem Switch machen und hättest dann dort den Single Point of Failure...
Diese Antworten beziehen sich aber nicht exklusiv auf Proxmox. Ich würde es genau so machen bei einem ESXi vSphere Cluster oder bei HyperV wenn ich es müsste^^
Naja nicht ganz, bei HyperV würde ich auf SMBv3 MultiChannel setzen und bei VMware ist meine Erfahrung mit HCI und vSAN zu lange her.

@konkretor Distributed vSwitches sind toll aber in kleineren Umgebungen aufgrund fehlender Lizenzen nicht immer vorhanden. Aber mit ein paar Zeilen Powershell oder Bash und dem vmware sdk oder Ansible/Puppet etc lassen sich neue Netze, VLANs, etc auch schnell so ausrollen.

Ansonsten bin ich bei der Meinung der bisherigen Kommentatoren: Am Ende kommt es drauf an welches Produkt dir und den anderen Admins am vertrautesten ist, wie gut man ggf. Support bekommt und vor allem ob es zwingende Gründe für oder gegen eine Lösung gibt und leider gibt es oft genug irgendwelche Appliances oder Software die nur unter den großen bekannten Hypervisoren läuft (vSphere, HyperV, ggf. Nutanix, OpenShift oder Citrix XenServer). Andererseits kann man die Hersteller dann ja noch fragen ob es denn auch auf AWS unterstützt sei und wenn ja dann als zweite Frage warum es denn auf AWS unterstützt sei aber nicht auf qemu/kvm denn AWS nutzt defacto einen angepassten KVM-on-steroids.

 

[Mickey Mouse]

danke für die ganzen Antworten, aber einige gehen schon weit über das Thema hinaus bzw. daran vorbei...

es geht mir jetzt nicht direkt um konkrete Lösungen, sondern mehr um eine "praxisorientierte Funktionsübersicht".

nehmen wir die "Zwei-Rechner Situation" als Beispiel.
bei VMware kann ich zwei ESXi nehmen und VMs dazwischen hin und her schieben. Bei drei Rechnern (und meines Wissens nach zumindest bei dem alten VMware das ich noch kenne, GENAU drei Maschinen) kann ich einen HA Cluster aufbauen (das war in der alten Firma Standard für die Core Infrastruktur wie NIS, DNS usw.).
aktuell will/brauche ich gar kein HA, darum geht es mir nicht! Ich möchte wissen, WAS ich alles machen kann, mit zwei oder drei Rechnern oder mit ganz vielen.

Genau das gleiche für die Netzwerk Konfiguration. Ich brauche kein konkretes Beispiel, sondern möchte einen Überblick bekommen was geht (und was nicht). Auch hier scheint mir Proxmox "rechtwas anders" zu sein als was ich von VMware in Erinnerung habe.
ich könnte dieselben Fragen auch zu XCP-ng stellen, das ist im Moment allerdings "unterhalb des Radars", weil es sich auf meinem privaten Rechner (uraltes Standard Asus Workstation Board mit 2x Ethernet (inkl. BMC sogar 3x) nicht installieren lässt und sich damit selbst disqualifiziert.

wie gesagt, ich möchte einen Überblick über die Möglichkeiten bekommen, gerne anhand konkreter Beispiele "veranschaulicht" aber ich brauche jetzt (noch) keine konkreten Lösungen.

 

[snaxilian]

Du stellst Metafragen, darauf kann man nicht sinnvoll antworten....

Was du alles machen kannst steht im Datasheet: https://www.proxmox.com/en/downloads/item/proxmox-ve-datasheet oder auch im Wiki bzw. der Dokumentation: https://pve.proxmox.com/wiki/Main_Page
Aber am Ende sind die Limits durch corosync, qemu/kvm und open vSwitch gesetzt sowie was auch immer du als Storage verwendest. Die Grenze ist da eher die eigene Vorstellungskraft und das KnowHow wie man den eigenen Wunsch mit den gegebenen Mitteln umsetzt.

Dein VMware wissen ist nicht mehr zeitgemäß, vSphere Cluster inkl. HA & DRS gehen bis zu 64 Hosts pro Cluster wobei es noch eine Handvoll anderer Limits gibt.

Ich möchte wissen, WAS ich alles machen kann, mit zwei oder drei Rechnern oder mit ganz vielen.

Du kannst virtuelle Maschinen erstellen, verschieben, sichern und wieder löschen.
Du kannst LXC Container erstellen, im ausgeschalteten/pausierten Zustand verschieben, sichern und wieder löschen.

Genau das gleiche für die Netzwerk Konfiguration.

https://pve.proxmox.com/wiki/Network_Configuration