Terminalserver 2012 etwas träge

[leon_20v]

Hallo zusammen,

ich betreue einen Terminalserver mit aktuell 15 User.
Wir haben drei Hypervisor HP G9 mit ausreichend Leistung (Jeweils 2 CPUs mit 10 kerne). Als Storage ist ein Netapp über NFS und 10Gig angebunden. Leistung ist also genug da. Ich habe zwei Session Hosts sowie einen Broker. Die sind alle auf verschiedenen VMs getrennt. Jeder Session Host hat 32GB reservierten RAM der aber in keinster weise ausgenutzt wird. Laut VM sind maximal 6-9GB in Benutzung pro VM.

Das Problem ist jetzt, dass den Usern mit neueren i5-Prozessoren & SSD bemängeln, dass es auf dem Terminalserver träger zu geht wie auf Ihrem alten Computern. Diejenigen die allerdings noch Rechner aus 2010 haben freuen sich über die Mehrleistung.

Es gibt hier z.B. mehrere große Excel-Listen. Diese benötigen zum öffnen auf dem besagten i5-8500 ca. 8 Sekunden. Auf dem Terminalserver können schon mal 25-30 Sekunden vergehen bis die Datei offen ist. Auch das Arbeiten mit den Listen wie z.B. mehrere Zeilen kopieren und woanders einfügen sowie die Scripte in den Excel-Listen laufen spürbar träger. Der Terminalserver kommt halt jetzt bei den Usern und auch beim Chef nicht so gut an.

Ich habe bereits alle Einstellungen mehrfach geprüft. Auch bin ich mit dem Kollegen der für das Netapp + Server zuständig ist, die Installation durchgegangen. Das sieht soweit alles gut aus.

Ich vermute das Bottleneck am zentralen Netzwerkstorage (Netapp).
Hier sind alle 50 Server beheimatet.

1. Idee Hypervisor mit SSDs bestücken
Meine erste Idee war einen Hypervisor mit 2x SSDs (Raid0) zu bestücken. Jetzt kosten mich aber 2x 500gb SSDs von HP gut 1000 euro. Die SSDs von Intel benötigen eine spezielle Firmware. Normale SSDs werden nicht unterstützt. Das Risiko es mit Consumer SSDs in dem Produktivsystem zu probieren ist keine Option.
--> Ob lokale SSDs die Lösung sind?
-->Die anderen beiden Hypervisor müssten dann auch nachgezogen werden.

2. Session Host auf Consumer Blech
Da die HP SSDs schon 1000 euro kosten, kam ich auf die Idee ein Blech mit starker CPU (AMD 2700 oder 2600) und 32GB Ram zu besorgen (Eigenbau). Eine 2012er Lizenz ist sogar unbenutzt vorhanden.
Sollte das Blech ausfallen, kann man immer noch auf den Hypervisor ausweichen bis das Blech repariert ist.

Habt ihr noch eine Idee wo das Bottleneck sein könnte?
Warum könnte meine Blech Idee keine gute Idee sein?

Danke für nette Antworten!

 

[Grugeschu]

Moin, versuch es mal mit HDTune zu messen wie lange die Access Time im Storage ist und vergleiche die mal der SSD Access Time. Meist ist dies bei Virtualisierung das Bottle neck. Die Leistung ist da, aber halt immer Latenz. Das selbe ist perfekt bei Datenbanken zu bemerken ob on Bare Metal oder Virtuell.

Sonst koof doch Nimble Storage

 

[DRAKO1337]

habt ihr einen Balance-Loader ?

 

[kamanu]

Beim Öffnen von großen Tabellen nutzt Excel häufig nur einen Kern. Dein "aktueller" i5 taktet da im Zweifel wesentlich höher als deine Server-CPUs. Daher ist es dann auf dem Laptop teilweise schneller.
Je nach dem ob Excel bei den genannten Skripten Singlethreaded arbeitet oder nicht, hast du da dasselbe Problem.

 

[roaddog1337]

Die Netapps sind wahrscheinlich der Flaschenhals. (Hatte ich schonmal bei einem Arbeitgeber)

Wieviel Platz ist auf denen noch frei? Ab 50% Füllgrad werden die langsamer.

 

[gaym0r]

@dRako1337 Meinst du Load-Balancer?

@leon_20v Was erhoffst du dir von den SSDs im Host, wenn das Storage extern ist?

 

[kamblars]

@leon_20v Was erhoffst du dir von den SSDs im Host, wenn das Storage extern ist?

Das dachte ich mir auch. Außer er plant die RDS Server dann Lokal laufen zu lassen (was ich auch so empfehlen würde).

 

[leon_20v]

Moin, versuch es mal mit HDTune ..

Gute Idee! Das werde ich gleich mal machen. Ich vermute da wird sich meine Vermutung bestätigen und die Latenz ist einfach zu hoch.

Zum Nimble sag ich jetzt nichts, ich möchte schon ungern wegen den 1000 euro SSDs zu meinem Chef gehen
Der wollte den Terminalserver eigentlich eh nicht unbedingt haben, eben weil ein lokaler Rechner mit SSD einfach performanter ist.

Balance-Loader

Der Terminalserver macht das automatisch. VM-DRS ist nicht aktiviert / lizenziert. Wir haben nur HA implementiert.

Beim Öffnen von großen Tabellen nutzt Excel häufig nur einen Kern. Dein "aktueller" i5 taktet da im Zweifel wesentlich höher als deine Server-CPUs. Daher ist es dann auf dem Laptop teilweise schneller.
Je nach dem ob Excel bei den genannten Skripten Singlethreaded arbeitet oder nicht, hast du da dasselbe Problem.

Die Scripte hat ein Mitarbeiter aus dem Internet zusammen kopiert. Ich fasse die Scripte nicht an. Diese Liste crashed ständig, da will ich nicht auch noch schuld sein.

Die Netapps sind wahrscheinlich der Flaschenhals. (Hatte ich schonmal bei einem Arbeitgeber)
Wieviel Platz ist auf denen noch frei? Ab 50% Füllgrad werden die langsamer.

Puhh etwas über 50% haben wir schon. Ich bin für das Netapp nicht zuständig das macht mein Kollege. Jedenfalls hat das Netapp 2 Controller und ist redundant aufgebaut. In Zukunft soll evtl. noch SnapMirror dazu kommen.

@dRako1337 Meinst du Load-Balancer?
@leon_20v Was erhoffst du dir von den SSDs im Host, wenn das Storage extern ist?

Natürlich soll der Terminalserver(Session Host) dann lokal auf den SSDs Raid1 laufen. HA und DRS geht dann natürlich nicht mehr, aber wir haben auch Veeam im Einsatz, dann mach ich eben ein Instant Recovery auf einem anderen Hypervisor. Das wäre schon in Ordnung wenn wirklich mal was ausfallen würde.

 

[roaddog1337]

Schau mal im Taskmanager -> Ressourcenmonitor -> Übersicht -> Disk die Response Times (ms) an.

 

[DRAKO1337]

@dRako1337 Meinst du Load-Balancer?

@leon_20v Was erhoffst du dir von den SSDs im Host, wenn das Storage extern ist?

hahahahahaha Danke sorry war leicht daneben .

 

[leon_20v]

Schau mal im Taskmanager -> Ressourcenmonitor -> Übersicht -> Disk die Response Times (ms) an.

Zwischen 5 und 15 ms.

Was man dazu sagen muss, es werden Benutzer-Profildatenträger benutzt die wiederum auch auf einer 2012-Instanz liegen, der auch auf dem Netapp läuft. Aber ich wüsste jetzt nicht direkt wie ich das mit meinen Mittel besser machen sollte.

 

[nosti]

Moin,
was sind denn "große" Exceltabellen?
Laufen da vielleicht noch irgendwelche SQL Abfragen oder Macros drüber?

Um die gefühlte Geschwindigkeit verbessern zu können, kannst du schauen was du an den RDP-Übertragunseinstellungen optimieren kannst.

Ansonsten hast du bei drehenden Platten immer eine gewissen Verzögerungszeit...die kannst du nur mit Cache oder SSD umgehen

EDIT: du kannst auch Mal schauen ob du eine RAM Disk als Cache Device nutzen kannst. Da gibt es entsprechend Software

Grüße

 

[ayngush]

Als Storage ist ein Netapp über NFS und 10Gig angebunden.

Sind das dedizierte Netzwerkports Server<->Netapp oder ist das irgendwie mit weiteren Netzwerkfunktionen, gar mit dem Virtuellen Netzwerkadaptern geteilt? Ist da noch ein Switch zwischen? Ist das ein eigenes VLAN?

Wir haben hier auch ein Netapp SAN und die Spikes der Latency liegen so bei circa 10ms Read.
In der Regel ist das zwischen 1 und 3 ms Read und ~0.3 ms Write.

Allerdings ist die Netapp über 2 * 2 Mini-SAS HD mit Multipath I/O als HBA an die Server angebunden.
Und zwar, weil man uns aus Performancegründen davon eher abgeraten hat das SAN über Netzwerk an die Server anzubinden. Bzw. das Stand nie so richtig zur Debatte, da es immer hieß, dass man das über Mini-SAS macht. Hatten mehrere Systemhäuser diesbezüglich (Virtualisierte Serverarchitektur mit SAN Storage) angefragt, alle hatten das SAN über Mini-SAS angebunden.

Edit: Über Performance hat sich noch niemand beklagt. Allerdings machen wir keine Terminalservices Da sind nur so rund 20 Server drauf virtualisiert, bissel Windows, bissel Linux. Nichts besonderes eigentlich.

 

[N4zGuL]

Ciao,

kannst du die Storage Kollegen bitte Fragen ob sie ein Perfstat ziehen können und auf Latx hochladen?

Offene Fragen:

• VSC installiert?
• Best Practise Values auf den Hosts gesetzt?
• Auf welchen Bios Settings laufen die Hosts?
• MTU?
• NFS Version?
• HW Version?
• ESXi Version?
• Ontap Version? 9.5 bringt noch mal n mächtigen Schub.
• Was für Filer von NetApp verwendet ihr genau? Da reicht die Spannweite vom kleinen Pizzablech bis zum 1 TB RAM Monster.

Der Punkt vom Ayngush noch bitte beachten, habt ihr ein dedicated Storage L2 zwischen Storage und Hosts?
Mancher Einkäufer versucht da Geld zu sparen in dem er Storage und Prod Traffic über die gleichen Interfaces schickt.

Von den Tests mit HDtune oder von ATTO halte ich nix, ich würde eher mir n kleines Bash mit parallen DDs schreiben.

Ontap bzw. Wafl hat erst über 90 % langsam Performance Probleme, dies kannst du im Perfstat nachschauen wie viel partial Stripes du hast im Verhältnis zu Full Stripes und mit sysstat -m auf der Node Shell.

Gruss,

N4z

// Nachtrag
habt ihr nur bei Office Files Probleme?
Du kannst bei eurem NetApp Accounti mal wegen Maxdata nachfragen, fürs Troubleshooting kannst du ein Datastore im RAM vom Host laufen lassen, ist aktuell nur für SAN verfügbar, soll aber den Monat noch für NFS verfügbar sein, die Lizenz gilt ein Jahr als PoC.

// 2. Nachtrag zur Performance Messung ESXi <- > Storage

Habe mir ein paar Gedanken bzgl. Performance Messung gemacht, da man recht oft als Service Provider damit konfrontiert wird:

vdbench (Oracle Workload Generator)

https://www.oracle.com/technetwork/server-storage/vdbench-downloads-1901681.html

Vorteil:

- Einfache Installation auf Windows und Linux

- Workloads können einfach mittels Parameterfile definiert und ausgeführt warden

Somit können Standardtests einfach koordiniert und ausgeführt warden.

- Möglichkeit auf mehreren VM’s die Tests parallel auszuführen.

Voraussetzung:

- Genügend CPU-Leistung auf der VM vorhanden

- Standard Workloads müssen vorgängig definiert warden.

- Erwartetes Performance Verhalten muss dokumentiert sein um Vergleiche ziehen zu können.


Was kam den als Causer in diesem Fall raus?

 

[leon_20v]

@N4zGuL also ich bin ja auch vom Fach aber du wirfst hier die Begriffe so in den Raum da kann man als Admin der jetzt nicht täglich damit befasst etwas mit den Ohren schlackert. Ich kann damit leider fast nix anfangen. Bis auf ESXi 6.5 kann ich dir sonst nichts beantworten. Bei uns ist alles ziemlich standard, denn das funktioniert Erfahrungsgemäß. Soweit ich meinen Kollegen kenne hat das Netapp genug Leistung und ist auch über 2x 10Gig Interfaces Glasfaser angeschlossen.

VSC, Ontap und Best Practice Values muss ich erst mal googlen. Kann ich absolut nichts anfangen.

 

[slsHyde]

1000 euro SSDs

So teuer müssen Server-SSDs nicht sein. Ich betreibe auch Terminalserver mit vergleichbarer Clienanzahl und habe solche Dinger hier drin:
https://geizhals.de/?cmp=1796963&cmp=1843329

Ergänzung (12. März 2019)

Die Scripte hat ein Mitarbeiter aus dem Internet zusammen kopiert. Ich fasse die Scripte nicht an. Diese Liste crashed ständig, da will ich nicht auch noch schuld sein.

Darum ging es ja nicht. Schau mal auf die CPU-Auslastung. Excel macht nämlich tatsächlich viel auf einem Kern - und Serverkerne drehen nicht so hoch wie ein i5.

 

[leon_20v]

Danke für deine Antwort, das Problem an diesen SSDs ist, das HP G9 Server nur die eigenen SSDs supported. Das Risiko eine Samsung ohne HP Firmware zu benutzen ist mir fast zu hoch.

 

[nosti]

Moin,
das ist bei fast allen HP Servern so, dass nur HP zertifizierte Hardware unterstützt wird. Beim Einbau von nicht zertifizierter Hardware verhalten sich die Geräte teilweise sehr verrückt, drehen die Lüfter voll auf, melden Fehler, oder erkennen die Hardware gar nicht.

Grüße

 

[slsHyde]

Merke: kann man nicht kaufen.

 

[nosti]

Das kommt ganz drauf an was du vor hast.
Im zertifizierten RZ Betrieb ist das überhaupt kein Thema, da wird eh nur entsprechende Enterprise Hardware eingesetzt.
Für daheim würde ich was anderes nehmen...

Grüße