ESXI ServerFarm erweitern=> Shared Storage

[boffystar]

Hallo liebe Forumsgemeinde,

wir haben in unserem Unternehmen 4 ESXI Systeme. (5.5U2)
Leider haben wir kein Shared Storage in Form von SAN oder ähnlichen systemen sonder nur Direct Attached Storage, also die lokalen Raid Systeme im jeweiligen Host.

Ich wollte nun Ein Cluster aus drei Hosts erstellen um HA zu realisieren dazu ist logischer weise Shared Storage zwingend erforderlich.

Nun Bin ich auf der suche nach einem Vernünftigem aber auch bezahlbarem SAN System.
Über die Anbindung bin ich mir noch nicht sicher ob iSCSI 1 bzw 10gb, Fibre Channel oder Fibre Channel over ethernet.

Die Host Server müssten dann dementsprechend die passenden NIC´s bekommen, am besten Dual Port und 2 Switche wegen der Mehrpfadigen Redundanz.

Budget: 10.000€

Also im Prinzip benötige ich:

- SAN (Ohne Platten)
-2 Switche
-3Netzwerkkarten
~10.000€

P.S. Vmware bietet auch eine interessante alternative die VSphere Virtual SAN heißt an, hier werden die lokalen platten mit hilfe des VCenter Servers zu shard Storage vereint. Jeder Host benötigt dazu noch eine SSD als Cache und über eine dedizierte NIC werden die Daten Synchronisiert, klingt wirklich sehr interessant. Was mich aber abgeschreckt hat, sind die extrem hohen Lizenzkosten, da VSan zusätzlich Lizensiert werden muss und Pro CPU ~2.500€ kostet, und bei den Host/CPU´s die ich einsetze würde mich das soviel wie ein richtiges SAN kosten.

Hier mehr Infos zu dem ganzen: https://www.thomas-krenn.com/de/tkmag/allgemein/vmware-vsan-appliance/

Hier ein Bild von Vspherre VSan:
http://blogs.vmware.com/tribalknowledge/files/2014/02/VMW-DGRM-VIRT-SAN-OVERVIEW.png


Danke für eure Beiträge im Voraus! Bin gespannt auf eure Meinungen und Aussagen.

 

[Lawnmower]

Was für Zugriffe werden den auf den Storage erwartet? Und wieviel Speicherplatz wird benötigt?
Bei dem Budget müsstest ja fast auf SATA Speicher gehen und könntest nicht auf Lösungen mit SAS und/oder SSD Flash Kombi setzen; generell halte ich 10K für Switch, Karten und Storage und das alles auch noch redundant für sehr optimistisch (auch ohne Platten).

Wir haben eine ähnliche Vmware Umgebung mit 3 Hosts, 2 Switchs und 2 SANs (je 12 x 600 GB 15K SAS) und mit 10Gbit Verkabelung (SANs und Switchs, Hosts je 2 x Gbit) - aber das hat damals um die 60K (CHF) gekostet, 2/3 davon nur für die SANs.

Damit HA und vMotion funktioniert, würde eine entsprechende Lizenz benötigt (Essentials kann es nicht und Essentials Plus würde mit 4 Hosts ja schon nicht mehr reichen da m.W.n. auf 3 Hosts bzw 6 CPUs beschränkt, also entfällt das bei deinem Fall); die anderen Lizenzen (Enterprise, etc) sind ziemlich teuer.

 

[hatschki]

Ok ~ doch nicht

 

[SOCKEN]

SAN:
HP P2000 mit zwei AW592A Controllern

Das wird dann über Mini SAS an die VM Ware Server Angeschlossen
Für die Server brauchst du dann noch ensprechende Host Bus Adapter


Wir haben vor 2 Jahren für das San 5200€ bezahlt
Dazu noch die Mini SAS Kabel --> Stück 96€

Und die Host Bus Adapter je Stück 181€


Ein Carepack mit 3 Jahren Vor Ort Service schlägt mit rund 2500€ zu Buche

Festplatten lagen damals bei rund 450€ Pro Stück (900GB SAS 10k)

Das Ganze rennt wie Sau :-)

 

[lakekeman]

Warum willst du denn unbedingt shared Storage einsetzen? Gibt es da einen speziellen Grund?
Ein SAN ist eigentlich immer schlechter in kleineren Umgebungen. Langsamer, teurer, unsicherer.

Schöner Artikel dazu

So etwas wie vSAN macht dagegen Sinn. Es gibt auch eine "günstigere" Variante. https://www.starwindsoftware.com/

Wenn du es HyperConverged einsetzen willst zahlst du aber auch Lizenzen. Auf dedizierten Storage Servern kannst du es kostenlos einsetzen.

 

[boffystar]

Danke für das feedback, ich schaue mir mal die links an und mache mich mal schlau!

 

[Q-wulf]

Eventuell interessant:

Proxmox+Ceph+openVswitch auf Commodity Hardware:
--> Kein dediziertes San
--> HA
--> Hohe Ausfallsicherheit
--> geringere Kosten durch Commodity (Consumer) Hardware
--> Reduzierung der Failure Domänen.
--> wichtig: min. 2x 10G pro Node sonst gibt es Netzwerk Sättigung beim Ausfall von HDD's und den Rebalancing von Ceph
--> tagged + untagged Traffic - normale + Jumboframes - Portbonding
--> Cluster leicht erweiterbar durch Server + 2x10G Nic


Edit: Ob sich Proxmox+Ceph für dein Problem eignet, und du mit dem Budget auskommst hängt imho von deinen Ansprüchen an die Anzahl der Festplatten für das "proxmox-Ceph-NAS" und/oder dem Willen von Vmware auf Proxmox zu Wechseln.


minimal brauchst du:

1. mindestens 3 Nodes (min Quadcore + HT -würde jetzt nicht unbedingt Atom-Cpu's wählen)
   • a. 2x SSD OS (min. 60GB)
   • a. 2x SSD (min 120 GB - für SSD-CacheingTier)
   • a. Sets aus 1x SSHD + 1x HDD [für schnelle Leseraten via Primary-Affinity] oder 1x HDD [langsamer] (Anzahl entspricht der Menge an Daten die Auf den Storage sollen)
   • a. min. 1x 10G für Frontend + Ceph (mit steigender Anzahl an HDD's steigt der Ceph Traffic) - ich würde gleich dual 10G Karten oder 40G-karten mit 40G-->4x10G nehmen. (Alle Nics 1G + 10G + 40G)
   • a. min. 16 GB-Ram ECC ( 2 GB fürs OS, 2 GB pro Virtuelles NAS, 2 GB für Ceph, 0,5-1GB pro HDD, Rest wenn eine HDD ausfällt und Ceph in den Rebalancing mode geht)
2. min. 1x Switch mit genügend 10G-Ports (Proxmoxnodes + Vmware-Nodes + Uplink
3. Alle Nics (1G + 10G + 40G ) pro Node in per in einen OVS-Bond, dem Bond eine OVS-Bridge zuweisen, Jumbo Frames (Grösse = maximum vertretbar Switch + Karte) einstellen.
4. OVS Interne Ports festlegen und eventuell Vlans taggen ( IP des Servers im entsprechenden Netz)
5. MTU-Size pro Internen einstellen (z.b. mt u 1500 für das ungetaggte client Netz auf 10.x.x.x/192.169.x.x, Maximum fürs VlanTag=1 Proxmox netz, Maximum fürs VlanTag=2

Ich würde ein Mainboard mit maximum an Sata3-Slots für die SSD's nehmen (bspw. 10x)
Bei grösserer HDD-Anzahl . min. einen HBA + Backplane für die HDD's verwenden (darauf achten dass der gesamte Backplane Speed <= (Anzahl_HDD * HDD_Bandwith)) ist.
Soweit wie Möglich auf teure Enterprise-Hardware, - Festplatten, -etc verzichten.


Dann ist das ganze um ein Vielfaches günstiger, flexibler und toleranter als sich ein "0815 San" anzuschaffen. Speziell bei grösserer Menge an Nodes/HDD's wird es interessanter.






Kostet dich mindestens:

• 3x150€ 19" Gehäuse (6 HDD)
• 3x2x60€ 60GB-OS SSD
• 3x2x80€ 120GB SSD
• 3x600€ Xeon D-1520 mit onboard dual 10G NIC
• 3x140€ 16 GB ECC DDR4
• 3x 120€ passendes Netzteil
• 1x 1000€ 12-Port 10G Switch (2x3 Ceph/Proxmox, min. 3x Clients)
• <100€ Kabel

4970 + 6x HDD (a 28€/TB bzw. 36€/TB für SSHD)

1. Je mehr Platten du brauchst, desto teurer wird das Gehäuse/HBA/Mainboard/CPU/RAM etc.
2. Je mehr Platten du einsetzt, desto grösser die Performance / Kapazität / Fehlertoleranz.
3. Je mehr Platten du einsetzt, desto geringer die "Basis-Kosten" pro TB.
4. ps.: das Ganze ist auch Nodeweise erweiterbar.

Als Beispiel: Wir nutzen im Unternehmen momentan folgendes (Proxmox + Ceph +Openvswitch für Storage und VM's):


Strassenseite Rechts (1x Diesel-Notstrom):
Gebäude A --> 1 Node
Gebäude B --> 1 Node

Strasenseite Links (1x Diesel-Notstrom):
Gebäude C --> 2 Nodes


Clients:
30x Windows Clients
20x OSX/BSD/Fedora Clients
ca. 35+ IP-Telefone
ca. 30+ Security Cams zur Gebäude-Überwachung
3x Dokumentscanner
2x Cold-Storage Server (a. 3x LTO-6 Streamer)
ca. 60 Remote Clients (Notebooks, Tablets, Smartphones, Homeoffice)





Proxmox4 Nodes mit HA und Ceph


Node 1: (noch von vor der Modernisierung)

• 1x I7 3939k,
• Single PSU
• 32 GB DDr3
• 2x 120GB SSD ZFS Mirror (Raid-1) fürs OS
• 4x Sata3 256GB SSD's
• 10x 4TB SSHD
• 10x 4-6TB HDD
• 4x 1G Nic (onboard)
• dual 10G Nic

Node2:

• 1x E5-1650 V3
• Single PSU
• 32 GB DDr4
• 2x 120GB SSD ZFS Mirror (Raid-1) fürs OS
• 4x Sata3 256GB SSD's
• 10x 4TB SSHD
• 10x 4-6TB HDD
• 6x 1G nic
• dual 10G nic

Node3:

• 1x Dual E5-2640 V3
• Redundantes PSU
• 128 GB DDr4
• 2x 120GB SSD ZFS Mirror (Raid-1) fürs OS
• 6x Sata3 256GB SSD's
• 10x 4TB SSHD
• 20x 4-6TB HDD
• 4x 10G nic (2x onboard, 2x dual 10GB nic)

Node4:

• 1x dual E5-4620 v3
• Redundantes PSU
• 256 GB DDr4
• 2x 120GB SSD ZFS Mirror (Raid-1) fürs OS
• 8x Sata3 256GB SSD's
• 10x 4TB SSHD
• 40x 6-8 TB HDD
• 4x 10 GB Nic (onboard)
• Dual 40 GB Nic mit 2x40G auf 2x4x10G fanout cables.

Netzwerk:

• 2x Netgear ProSAFE XS728T (24x 10G)
• 3x ZyXEL XS1920-12 (12x 10G)
• 6x ZyXEL XGS1910-48 (4x 10G, 48x 1G)
• Diverse Clients haben zusätzliche dual 10G Nics , sonst Dual/Quad Gbit Nics
• 2x Telekom 100 Mbit/S down / 40 Mbit/s up
• 2x Kabel Deutschland 100 Mbit/s Down, 12 Mbit/s up
  

Ceph (keine Journals auf SSD, jedes Journal auf dem eigenen Laufwerk):
HDD-OSD:

• 80x HDD (Primary Affinity 0)
• 40x SSHD (Primary Affinity 1)

HDD-Pools:
- 4x replicated Pool (Host) --> VM-Daten (Rechnungen, Geschäftsdaten, laufender Betrieb)
- 3x replicated Pool (Gebäude) --> VM-OS (geringe IOPS)
- 2x replicated Pool (USV) --> Temporäre Dateien.
- Erasure Coded Pool (OSD) K=100 M=20 (verträgt Ausfall von bis zu 20 HDD/SSHD) - 20% overhead --> Archive, Backups, Videodaten, sonstige grosse Dateien)

SSD-OSD

• 20x SSD

SSD-Pools:
- 3x Replicated (Host) --> VM OS (Hohe Iops)
- 4x Replicated (Host) --> CacheTier: 4x Replicated HDD
- 3x Replicated (Gebäude) --> CacheTier: 3x Replicated HDD
- 2x Replicated (USV) --> CacheTier: 2x Replicated
- 4x Replicated (host) --> CacheTier: Erasure Coded Pool




VM's (teilweise mit HA)
10x OpenMediaVault (Diverse NAS-Laufwerke für Clients, Proxmox und Backups/BackupSoftware)
3x Dokumenten Management (Cluster)
12x Datenbank-Server (3 Cluster a 4 Nodes)
3x FreeIPA Cluster)
3x Zimbra (Cluster)
1x Projektmanagement
3x FreePBX (Cluster)
10x Unternehmens-Software
12x Monitoring + IPS +IDS + Squid + VPN (externe Einwahl) + Security
20+ KVM FreeBSd/Windows VM's bzw LXC-Conatainer für Tests und sonstiges
2x Pfsense


StorageSpace-HDD: Raw ca. 700 TB (Tendenz steigend, je mehr 4TB platten den Geist aufgeben und durch 6/8TB Platten ersetzt werden.
Genutzt:
-4x HDD-Replicated Pool: ca. 8TB Daten - 32 TB auf Platte
-3x HDD-Replicated Pool: ca. 2TB Daten - 6 Tb auf Platte
-2x HDD-Replicated Pool: ca 10TB Daten - 20 TB auf Platte
-Erasure Coded Pool : ca. 400 TB Daten - 480TB auf Platte
HDD- Frei: ca 160TB

StorageSpace-SSD: raw ca. 5TB
-3x Replicated Pool: ca 400 GB - 1,2 TB auf Flash
- Cache 4x 100 GB - ca 1,3TB auf FLash
SSD-Frei: ca 2,5 TB


Bei den Day-to-Day Daten verkraften wir einen Ausfall von 3-Nodes (Betrieb aller VM's wird Heikel sollte die älteste Machine "überleben"), Den Ausfall von 1. Notstromaggregat (obwohl man dann schon fast den Halben Betrieb nach Hause schicken kann). Und bei den Langzeit-Daten den Ausfall von 20 HDD's. (Die sollten nicht alle zur gleichen Zeit ausfallen) und können den Betrieb aufrecht erhalten.

Erst wenn uns mindestens 21 Festplatten gleichzeitig "sterben" tritt Datenverlust ein.

 

[Simon]

Die Lösung von SOCKEN dürfte in diesem Fall wohl die einfachste und kostengünstigste Lösung sein. Eine kleine SAS-basierte Lösung wie die genannte HP MSA oder vergleichbar auch Dell MD3420 erspart einem viel Aufwand im Netzwerk-Bereich und bietet dank redundanter Controller trotzdem eine Redundanz.

Und ganz wichtig: im Ernstfall hat man einen vernünftigen Hersteller-Support. Bei solchen Flickwerken, wo Dutzende verschiedene Komponenten von X verschiedenen Herstellern wie der Beitrag über mir werkeln, mögen vielleicht in der Anschaffung günstiger sein, aber wehe es tritt mal ein unvorhergesehener Fehler auf, wo es zufällig keinen Beitrag in irgendeinem Forum zu gibt. Dann ist der Geschrei immer groß.

 

[lakekeman]

Ich verstehe den Sinn nicht, einen einzelnen Storage Array unter mehrere ESX Hosts zu setzen. Ja er mag mit 2 Controllern redundant aufgebaut sein, trotzdem ist es ein einzelnes Gerät welches ganz unten im Konstrukt steht. Und es ist eben auch 1 Gerät mehr was Anschaffung und Support kostet, gewartet werden muss und kaputt gehen kann.

Der TE nennt als Ziel der Anschaffung ein HA Cluster aufzubauen. Mit so einer Lösung bewegt er sich aber davon weg.

 

[Q-wulf]

[...]
wo Dutzende verschiedene Komponenten von X verschiedenen Herstellern wie der Beitrag über mir werkeln, mögen vielleicht in der Anschaffung günstiger sein, aber wehe es tritt mal ein unvorhergesehener Fehler auf, wo es zufällig keinen Beitrag in irgendeinem Forum zu gibt. Dann ist der Geschrei immer groß.

- Proxmox bietet paid Support. In meiner Erfahrung ist der schnell und kompetent.
- nicht nur die Anschaffung ist günstiger, sondern auch die laufenden Kosten.
- Geringere Downtimes durch mehrfach Redundanz.


höre mich ja schon beinahe wie ein Marketing-Fanboy an.

 

[boffystar]

Danke für den detailierten Beitrag! Q-Wolf

Aber Proxmox ist ja eine eigen Virtualisiserungslösung (Die ich bis zu deinem Post nicht kannte), verstehe ich das richtig das ich damit mein Esx System ersetzten müsste!?

Das ganze wäre bei einer Neuplanung wirklich eine alternative, aber in meinem Fall ist mir das ganze zu komplex, trotzdem danke dafür.

@ Lakekeman, Wenn das San oder ähnliches durch ein Mainboardfehler aussteigt ist natürlich der Ausfall gegeben, um dieses Problem zu lösen müsste ich ja ein zweites San haben wo die Daten ebenfalls redundant sein müssten. Das ganze würde ja ins unendliche gehen und ausarten. Aber irgendwas muss an der Spitze der Pyramide stehen. Klar wäre ich gegen den Ausfall eines Nodes safe aber nicht wenn die Datenquelle ausfällt. Vielleicht wäre in diesem Fall wirklich Vsphere VSan oder StarWind Virtual San hier die bessere Lösung.

 

[Evil E-Lex]

lakekemann hat völlig Recht. Shared-Storage ohne Redundanz ist nicht gut. Und nein, Dual-Controller sind keine Redundanz. Software-SAN-Lösungen bieten sich in diesem Szenario geradezu an. Einfacher zu administrieren und man muss nicht die Mondpreise für Ersatzfestplatten zahlen.

 

[SOCKEN]

Warum habe ich mit Dualcontrollern keine Redundanz?
Es geht von jedem Controller ein mini SAS Kabel in jeden Server. Fällt ein Controller aus übernimmt der zweite die Arbeit.

Mit Ersatzplatten hast du natürlich recht das die Teuer sind bei HP...allerdings deckt man diese mit einem Carepack ab und hat so die Folgekosten sehr gut im Blick.

 

[lakekeman]

@ Lakekeman, Wenn das San oder ähnliches durch ein Mainboardfehler aussteigt ist natürlich der Ausfall gegeben, um dieses Problem zu lösen müsste ich ja ein zweites San haben wo die Daten ebenfalls redundant sein müssten. Das ganze würde ja ins unendliche gehen und ausarten. Aber irgendwas muss an der Spitze der Pyramide stehen. Klar wäre ich gegen den Ausfall eines Nodes safe aber nicht wenn die Datenquelle ausfällt. Vielleicht wäre in diesem Fall wirklich Vsphere VSan oder StarWind Virtual San hier die bessere Lösung.

Naja es muss nicht ausarten, es wurden ja Lösungen gezeigt die HA bieten und nicht ganz so teuer sind.
Ich würde aber auch einmal hinterfragen ob HA wirklich nötig ist.
Gerade bei kleinem Budget macht es keinen Sinn.
Du kannst mit deinen Servern mit lokalem Speicher, einer guten Backuplösung und einer asynchronen Cross-Replikation minimale Ausfallzeiten und minimalen Datenverlust erreichen.

Wenn man dann mal rechnet was kostet mein Unternehmen ~ 15 Minuten downtime im Desasterfall gegen HA ...
rechnet sich oft nicht. Zumindest im SMB Bereich. Aber kommt natürlich auf das Unternehmen an.

 

[TheCadillacMan]

Wenn das San oder ähnliches durch ein Mainboardfehler aussteigt ist natürlich der Ausfall gegeben, um dieses Problem zu lösen müsste ich ja ein zweites San haben wo die Daten ebenfalls redundant sein müssten. Das ganze würde ja ins unendliche gehen und ausarten.

Naja, bis ins unendliche muss man das nicht absichern.
Einfache Redundanz (z. B. zweites gespiegeltes SAN-Array) reicht in den allermeisten Fällen. Der Ausfall beider Systeme gleichzeitig durch einen Hardwaredefekt ist mit einem recht überschaubaren Risiko verbunden (Brände o. Ä. mal außen vor gelassen).

Warum habe ich mit Dualcontrollern keine Redundanz?

Die Backplane und alles andere was nicht im Controller sitzt kann dir ausfallen.
Dein Ausfallrisiko ist durch die zwei Controller zwar deutlich verringert, HA würde ich das aber auch nicht nennen. (Was aber nicht heißt, dass es nicht völlig ausreichend sein kann.)

 

[Evil E-Lex]

Warum habe ich mit Dualcontrollern keine Redundanz?
Es geht von jedem Controller ein mini SAS Kabel in jeden Server. Fällt ein Controller aus übernimmt der zweite die Arbeit.

Soweit die Theorie. Ich kenne den Fall eines HP-Storagesystems (das Modell ist mir entfallen), dass durch spontane Fehlermeldungen auffällig geworden ist. HP-Techniker kam vorbei, um das Problem zu prüfen und den Fehler zu beheben. Es stellte sich heraus, dass wohl ein Lüfter defekt war. Der Techniker tauscht den Lüfter und das Storagesystem steht. Woran es letztendlich lag, weiß ich nicht mehr (die ganze Sache ist fünf-sechs Jahre her). Wichtig ist nur: Es ist ein Stück Hardware, fällt das aus, ist alles down.

 

[Eggcake]

Würde hier noch ACNC / JetStor in den Raum werfen.
http://www.acnc.com/

Kommt halt draufan inwiefern man Herstellersupport (à la Dell/HP) überhaupt will.

Vom Budget her weiss ich nur, dass ein 16er iSCSI 10Gbit mit redundanten Controllern vor einigen Jahren grob 10k€ gekostet hat. Also eventuell leicht über Budget.

 

[boffystar]

Wann kann man eine IT-Infrastruktur als "HA" bezeichnen? Eine schwierige frage, wie man an euren Diskusionen ablesen kann (gut gemeint).

Dank dieses Threads bin ich jedenfalls mit meiner Entscheidung zurückhaltender geworden um nicht gleich das "nächst beste" SAN zu kaufen.

Der Fokus geht immer mehr in Richtung VSan, wobei auch hier noch nicht alle Bedenken aus dem Weg geräumt sind.

Neue Ideen oder Anregungen gerne weiter!

Weitergeholfen hat es bis jetzt alle male!

 

[lakekeman]

MS bietet ab Server 2016 eine eingebaute Software-Defined-Storage Lösung an, kostenfrei.
Da man meist ja eh Datacenter Lizenzen im Einsatz hat kann es dann schon reizen auch auf Hyper-V als Hypervisor umzusteigen.
Storage Spaces Direct nennt sich das. Hört sich auf jeden Fall interessant an. Und lässt sich Hyper-Converged einsetzen.

 

[TheCadillacMan]

Storage Spaces Direct nennt sich das. Hört sich auf jeden Fall interessant an. Und lässt sich Hyper-Converged einsetzen.

Hab ich mir auch schon angesehen, scheint aber erst ab 4 Maschinen zu gehen (weniger wollen sie evtl. später unterstützen). Zudem braucht man wohl NICs mit RDMA, die eher rar gesät scheinen.
Mit 3 Hosts Minimum und ohne RDMA wäre das ein vSAN-Killer.