ESXi VM's im SAN oder auf Festplatten?

drmiu

Cadet 4th Year
Registriert
Juni 2011
Beiträge
126
Hallo Leute,

ich hätte ganz gerne mal eure Meinung zu folgendem Thema gehört:


Virtuelle Maschinen per SAN (z.B. iSCSI) auf NAS-Systeme (z.B. QNAP, MSA) auslagen -> JA / NEIN ?

Beispielhafte Rahmenbedingungen - mittelkleines Netzwerk:
Hosts: maximal 3 ESXi-Hosts
Server: Standard-Kram wie AD DS, Exchange, SQL, ERP-System, Terminalserver
Replica: Keine
Datensicherung via externen Programmen wie Nova, vRanger, Acronis
Storage: MSA oder QNAP


Vorteile / Nachteile?



Bin gespannt auf die Diskussion :freaky:
 
Zuletzt bearbeitet:
normalerweise iSCSI aber ich bin mir jetzt nicht sicher, ob damit auch ein Handover im Fehlerfall bei einem Cluster aus mehreren ESXi Hosts funktioniert.
Wenn du "nur" einen Host hast, dann würde ich iSCSI nehmen.
 
Naja, das Thema kann man fast beliebig komplex machen. Mit einer simplen Ja/Nein Frage kann man das nicht abhandeln. Es kommt auf die Umstände und die können vielfältig sein. Es macht gar keinen Sinn jetzt anzufangen darüber zu diskutieren, weil du die Rahmenbedingungen nicht definiert hast. Welche Lösung welche Vor- und Nachteile bringt hängt erheblich vom Umfeld ab.

Lokaler Storage skaliert z.B. nicht beliebig bei Kapazität und Performance und er ist nicht shared, die VMs darauf können also nur auf dem einen Host laufen. Das sind alles Nachteile. Wenn du aber das alles nur zum Spaß betreibst und keinerlei Anforderungen an das System hast, dann wäre das vielleicht völlig ausreichend.

Du siehst also, dass das so nicht funktioniert. Und das ist nun nur ein einzelner Punkt in einer ganzen Reihe von Aspekten, die man bei dieser Frage betrachten kann und muss. Und das kann nur dann funktionieren wenn klar ist worüber wir überhaupt reden.
 
Zuletzt bearbeitet:
Okay, habe mal beispielhafte Rahmenbedingungen hinzugefügt ;D

Bei VM's ist die Kapazität ja relativ egal, Daten werden natürlich ausgelagert und bei Datenbanken sollte sowieso im vorne herein geklärt werden, wie viel Platz man braucht, um darauf mit entsprechenden Festplattengrößen zu reagieren. Lagert ihr eure Datenbanken im SAN aus?

Was ist denn für die allgemeine Netzwerk- Anmelde- und Bedienperformance schneller? Lokales Storage? iSCSI? Gibt es sonst noch Technologien, um solche Sachen auszulagern?
 
es gibt halt nicht DIE EINE Lösung, sondern du musst das halt schon auf deine Bedürfnisse anpassen!!!

wofür brauchst du denn überhaupt die VMs?
wenn ich EINEN Rechner/Dienst brauche, dann spare ich mir den Overhead.

Bei uns ist für "kleinere Installationen" das hier der 08/15 Standard:
3x HP DL560 als ESXi Cluster jeder mit "ein bisschen" lokalem Plattenplatz
dazu dann NFS Space auf NetApp Filern, damit beim Ausfall eines der drei ESXi Hosts die beiden anderen dessen VMs übernehmen können.

Das Problem ist ja, wenn man die gesamte Infrastruktur virtualisiert, dann schafft man sich automatisch Huhn/Ei Probleme!
Die NetApps kommen nicht hoch solange der NIS Server noch nicht da ist, wenn aber der NIS Server auf einer VM auf der NetApp liegt, dann...
Daher muss immer ein NIS-Server lokal auf einem der ESXi Hosts liegen, im "eingeschwungenen Zustand" laufen dann mehrere, da tut es nicht mehr weh, wenn dieser lokale Server webbricht.

Und so muss man sich das halt für jeden Service überlegen, wie und wo man seine VMs unterbringt. DIE Lösung gibt es nicht...
 
Kurz Form

SAN = :daumen:
NAS (ISCIS) = :skull_alt:
NAS = :skull_alt:
lokale Festplatten = :)

NAS sind zum Auslagern von Virtuellen Betriebssystemen nicht geeignet, die Performance ist einfach schlecht. Eine einzelne Virtuelle Maschine ist OK, aber spätesten ab 3-4 Virtuelle Maschinen mit vielen Schreibzugriffen (TS, SQL, Exchange) ist die IO nur noch beschissen.

Um Kosten zu sparen haben, wir für unsere Testumgebung ein Qnap TVS-EC1080+ (per iSCSI eingebunden). Zum Testen OK, im Produktive System viel zu langsam. Ein Vorgang im ERP System zu erfassen dauert statt 10 Sek ungefähr 40 Sek und das, wenn nur 4 Mitarbeiter testen (Produktive System ca 150 Mitarbeiter).

Falls eine kostengünstige Ausfall sichere Möglichkeit gesucht wird, kann ich folgendes empfehlen:

Wenn keine ESXi Lizenzen gekauft werden, ist der Hyper-V von MS die bessere Alternative.
Wird auf dem Host ein Hyper-V betrieben, kann ab Windows Server 2008 Standard, 2x Virtuelle Maschine betrieben werden.
Also z.B. 3x Windows Server 2012 R2 Standard kaufen und 6 Virtuelle Maschine damit betreiben.
Hyper-V kann alle Virtuelle Maschinen auf einen zweiten Host replizieren. Sollte dann ein Host ausfallen, kann der 2 Host die Maschinen einfach starten. (ja es entsteht eine Ausfall Zeit und ja es werden Daten verloren, aber die Ausfall Zeit beträgt ca 10 Min und der Datenverlust liegt bei ca. 5 min) Vor allen in kleineren Firmen (bis ca 50 Mitarbeitern) ist die oft Kostentechnisch besser zu Verkraften als ein Hochverfügbarkeitssystem aufzubauen.
 
QNAP ist toll, wenn die Daten nicht wichtig sind. Also fürs temporäre Auslagern, Backup vom Backup usw. Mich stört an den Dingern, dass die Benutzeroberflächen und Features selbst auf den größten Kisten auf den Heimanwender zugeschnitten sind. Da ist viel zu viel Kram drin, der im Unternehmenseinsatz überflüssig ist, der das System aber nur unnötig komplex macht.
Dazu kommt noch die schlechte Ersatzteilversorgung. Wir haben vor kurzem über sechs Wochen auf neue Lüfter und Netzteile gewartet. Und das war kein Uraltmodell von QNAP, sondern ein NAS das aktuell noch verkauft wird. Begründung war: Die Teile sind nirgens in Europa lagernd und müssen erst aus Asien verschifft werden. In meinen Augen ein absolutes Unding.
 
Ein NAS im klassischen Sinne? Direkt die Idee verwerfen und nie wieder anfassen!

Es gibt ja nun verschiedene SANs und unterschiedliche Technologien (Flashcache, Flashpool, Smart Array, vSAN) etc.
FC, FCoe, iSCSI hierbei gibt es auch schon bedeutende Unterschiede.

Generell liegen bei meinen Kunden die VMs auf einem SAN. Im Small Enterprise Bereich auf einer HP MSA SAN. Im Enterprise Bereich nutze ich gerne einen Netapp Metrocluster.

Der Hypervisor wird nur auf einer dual SD-Card installiert, somit werden lokale Festplatten nicht benötigt.


Kurz:
VMs auslagern -> klares ja.

Vorteile:
- geht die Hardware vom Host übern Jordan, sind die VMs davon unbeeindruckt.
- Spiegel der LUNs möglich
- Clustern der Speicherlösung ist generell möglich
- Datensicherung über FC o. iSCSI möglich
- Performanter zu herkömmlichen Raid-Lösungen
- generell wartungsarm


Nachteil:
- Kostenintensiv
- Konfiguration ohne Schulung und Feld Erfahrung eher schwierig
- meistens ein externer Dienstleister von Nöten
- teurer Service
- Troubleshooting erfordert Expertise
 
Was ist denn bei euch 0815 Netzwerk? 20000€ nur an Hardware? Ich will eure Kunden haben xD

Aber gut ich denke ich habe eine kleine Vorstellung bekommen was die Vor- und Nachteile an SAN sind. Vielen Dank.
 
was spricht den gegen NAS? Bei uns liegen 95 % der VMs auf IP Storage Datastores ...
 
ist halt immer eine Frage was die Leute als NAS ansehen!
Wenn ich von NAS (NFS) rede, dann meine ich Network Appliance "Schränke", immer zwei Heads von denen jeder seine shelves verwaltet aber jeweils der andere Head die shelves übernehmen kann, falls es zu einem Ausfall kommt.
Nur mal so als Beispiel über was wir reden (allerdings zahlt kein Mensch diesen Preis) und das gilt als "Midrange" System!!! Eine kleine EMC läuft bei uns als ULCS (Ultra Low Cost Storage), wenn jemand mit QNAP oder Synology ankommt, dann ist das wirklich absolutes Kinderspielzeug dagegen: Beispiel Konfiguration NetApp FAS3250 mit 1272TB brutto

von den drei ESXi Hosts in einem Cluster hat jeder Rechner Minimum 6x1Gbit Netzwerkanschluss.

unter solchen Bedingungen ist es absolut gar kein Problem seine VMs auf NFS Storage abzulegen, es müssen nur die Rahmenbedingung passen!
 
Wie ich hier auch schon mal schrieb, das Thema ist komplex. Es spricht nichts grundsätzlich gegen NAS, aber auch nicht grundsätzlich dafür. Gleiches gilt für alle verfügbaren anderen Storage Technologien.

NAS ist vom Konzept her erstmal alles was nicht lokal ist, sondern über ein Netzwerk angebunden ist. Und das ist grundsätzlich gar kein Problem NAS zu verwenden. Im Gegenteil, das ist sogar der Standard in allen Umgebungen ab einer gewissen Größe. Die NAS Geräte gibt es aber eben in vielen Größen, von ganz klein für zu Hause bin hin zu richtig groß für Enterprise Umgebungen mit diversen Zwischengrößen, die alle ihre eigenen Performance Charakteristiken haben.
Gängige NAS Implementationen sind z.B. FibreChannel (über LWL) oder iSCSI über TCP/IP in Ethernet Netzen (über LWL oder Kupfer), beides sind daher auch verbreitete SAN Technologien. Darüber wird Block Storage bereitgestellt, d.h. den Clients werden Storage Devices präsentiert, die sie nutzen können. NFS ist ebenso möglich, allerdings ist das File Storage und kein Block Storage, d.h. die Clients kriegen ein Dateisystem und kein Device. Und Block Storage bevorzugt man meistens, ist aber nicht Pflicht.

Wenn wir statt von dem Konzept "NAS" von der Gerätekategorie "NAS" sprechen, dann ist das für viele mit eher kleinen Geräten von zu Hause, bestenfalls noch aus dem SOHO Bereich, belegt. Die sind grundsätzlich ebenso geeignet als Storage für VMs, allerdings skalieren die nicht sonderlich gut was die Leistung angeht mit der Anzahl der VMs. Zu wenige Platten, zu langsame Controller. Performance ist also recht schnell ein Problem. Und Redundanzen gibt es auch nicht. Ob das in Frage komm muss man im Einzelfall beurteilen, könnte man für kleine und nicht kritische Umgebungen verwenden.
 
Inwiefern "fehlt" Objektstorage? Du meinst in der Betrachtung der Storage Konzepte?

Wenn man über Storage für VMs redet, dann spielt Objektstorage meines Erachtens nach nur eine untergeordnete bzw. gar keine Rolle. Objektstorage findet man im Backend der meisten "Cloud" Dienste, im HPC Bereich, im Archiv Bereich und im Backend für einige richtig große Applikationen, deren Storage Architektur von Objektstorage profitieren kann. Facebook wäre so ein Beispiel.
Als typischen bzw. generischen "Everyday Storage", eben z.B. für VMs, in gewöhnlichen Enterprise Umgebungen, wie sie in den meisten kleinen, mittleren und großen Firmen stehen, kenne ich Objektstorage eigentlich kaum.
 
Lass dir von den alten Neckbeards aus Deutschland hier nix erzählen ;-)

SAN ist tot, der Verkauf von EMC an Dell war der vorletzte Sargnagel. Mal sehen wie lange NetApp noch strampelt.
Die Zukunft ist software defined storage und storage virtualization also Sachen wie cepth, gluster... ja selbst VMware bastelt mit vSAN in die Richtung, da kannst du Skalieren bis zum gehtnichtmehr.
 
Naja, ganz so würde ich das nicht sehen. Natürlich ist auch die Storagelandschaft im Wandel, aber so grundsätzlich sehe ich das noch nicht.
Ceph ist eine interessante Geschichte, die ich mir zu Hause mal ansehen will, aber im Enterprise Umfeld sehe ich aktuell nicht, dass das auf weiter Fläche in der nächsten Zeit ein Thema wird.
vSAN ebenso, wir sind gerade dabei unseren ersten vSAN Cluster in Betrieb zu nehmen. Ja, das ist natürlich eine interessante Technik, allerdings gibt es da ein paar neue Hürden, die es sonst mit klassischem Storage nicht gäbe. Unabhängig davon skaliert das aber eben nicht bis sonstwohin, das ist eher was für kleinere Umgebungen. Da bietet es dann aber auch einen echten Mehrwert, weil du den Storage selbst in der Hand hast und z.B. auch Rackspace effektiver nutzen kannst, weil du den Storage lokal in den Servern hast die du eh brauchst.

SAN ist ja auch nur ein Konzept und keine konkrete Technologie. Ich sehe keinen Grund warum das also so gut wie tot sein sollte. Man muss halt nur auf die richtige Technologie innerhalb seines SAN setzen.
Ich beobachte in meinem Umfeld eigentlich zwei Strömungen hauptsächlich:

1. Low End und Mid Range SAN Implementationen, auf welcher Technik sie auch immer basieren, werden weniger. Das mag zum einen an wachsenden Betriebsgrößen liegen, aber auch an so Produkten wie vSAN, die da einfach in den Markt eindringen. "SAN" verschiebt sich in Richtung High End, d.h. große NetApps, HP 3PAR und so weiter.

2. Rückkehr zu lokalem Storage im Server, das geschieht auch wegen so Geschichten wie vSAN, aber auch für Exchange ist das beispielsweise ein Thema und für diverse andere Geschichten ebenso. Ein weiterer Aspekt sind da natürlich auch die Kosten, weil so klassische FC SAN Infrastrukturen sind teuer, insbesondere, wie in 1. beschrieben, wenn sie sich Richtung High End verlagern.

Wenn man unter SAN also nur ganz klassische FC Umgebungen sieht, dann hast du größtenteils wohl Recht. Eigene Infrastruktur, teurer Storage, höherer Personalaufwand und so weiter machen das zusehends nicht mehr rentabel. Da formieren sich gerade (und seit einiger Zeit schon) andere Technologien.
Und was ich nicht unbedingt bei uns, aber jetzt immer öfter bei einigen Kunden sehe, ist das Interesse an Windows iSCSI Clustern. Mit relativ günstiger Hardware und recht wenig Aufwand baust du dir redundanten iSCSI Storage auf Basis vorhandener Infrastruktur.
 
ich nannte Objektstorage nicht im Bezug auf VM Ware, da ist etwas fehl am Platz. Jap vScan, cloud etc. hört sich alles toll an und wird auch irgendwann produktiv sein ... ich hoffe das ich in 1.5 Wochen in Berlin mal sDot kennen lernen darf.
 
Zurück
Oben