ESXi seltsames RAM-Verhalten einer VM

[second.name]

Hallo Zusammen,

hier mal etwas "Spezielles" an die ESXi-Experten:

• Ich hoste auf meinem ESXi-7.0 eine virtuelle Maschine (Debian-11)
• Diese Debian-VM stellt in meinem Netzwerk NFS- und SMB-Freigaben bereit und sollte eigentlich mit 2-3GB Arbeitsspeicher gut auskommen. (Dennoch habe ich es mal mit 8GB getestet. --> Zu sehen im Screenshot.)
• Wenn ich nun aber größere Dateien über NFS oder SMB verschiebe, zeigt mir der Taskmanager der Debian-VM eine stabile RAM-Belegung von ca. einem GB an, ABER im ESXi-Host sieht man, dass die RAM-Belegung im Host pro Kopier-/Verschiebevorgang stetig anwächst. --> Wieso denn das???

Zudem wird die Übertragungsgeschwindigkeit auf ca. 1/3 reduziert, sobald der RAM der Debian-VM erschöpft ist (was er nach eigenem Taskmanager aber gar nicht ist!?).

 

[madmax2010]

Zeig Mal nen Screenshot von htop, wenn der RAM laut vcenter voll ist. Da sollte man zeigen können 2as da passiert

 

[wern001]

Normales Verhalten von Windows.
Wenn man etwas auf den Win oder Linux-Server kopiert wird einfach der verfügbare RAM als Cache benutzt. Siehe Zwischenspeicher (3,7 gb belegt) und schon verbrauch der ESXi mehr RAM. Windows/Linux schreibt das auf die Platte und gibt das wieder frei.
Wenn es mich nicht täuscht kann man das aber in SAMBA einstellen.

 

[xammu]

Scheinbar verwendet dein Debian neben 1GB Arbeitsspeicher noch 3,7 GB Pufferspeicher. Macht 4,7GB die ESXI bereitstellen muss.

 

[snaxilian]

Ich würde ja sagen wer viel misst, misst Mist aber in diesem Fall hast du einfach das falsche Tool genommen zur RAM Auslastung unter Linux. Verabschiede dich von Klickibunti denn die Auslastung von Buffers und Caches wird da unterschlagen.
Dieser Klickibunti "Taskmanager" ist für Windows-Anwender um diese nicht zu verschrecken^^
htop, atop, top oder auch vmstat solltest du dir ansehen.

Das wird normales buffern und cachen des NFS bzw. SMB Servers sein und wenn die Dateiübertragung einbricht wenn der RAM voll ist, dann ist das ein klares Zeichen, dass du IO-Probleme hast, sprich der NFS- bzw. SMB-Server die Daten nicht schnell genug lesen und/oder schreiben kann.

 

[second.name]

(Zur Info: ESXi läuft standalone ohne Management-Server)

...Auch nach htop nur ca. 1GB belegt.

 

[Natriumchlorid]

Soweit ich weiß wird beim Kopieren von Dateien im Netzwerk der verfügbare RAM als Cache / Buffer verwendet. Das passiert deshalb, weil die Daten nicht schnell genug auf das permanente Speichermedium kommen. Wenn der Buffer voll ist, dann bricht auch deine Datenrate ein.

Ergänzung (24. August 2021)

(Zur Info: ESXi läuft standalone ohne Management-Server)

...Auch nach htop nur ca. 1GB belegt.

Hier sieht man aber sehr gut, dass der ganze RAM gelb ist. Wenn du F1 in htop drückst, siehst du auch die Beschreibung. Dort steht geschrieben, dass der gelbe Bereich vom RAM als Cache verwendet wird.

 

[snaxilian]

Guck dir den RAM-Balken an.
Grün = genutzter RAM von Programmen
Blau = Buffers
Gelb = Caches

Im Klickibunti-Taskmanager von Gnome siehst nur den grünen Anteil.
Wie gesagt: Wenn dein Storage die Daten nicht schnell genug liefern oder schreiben kann, wird das im RAM zwischengespeichert bis der RAM eben voll ist.

 

[PHuV]

Der Hypervisor selbst muß ja auch cachen, und vielleicht ordnet er dann den verwendeten Cache pro VM separat zu? Vielleicht deshalb sieht man es nur im ESXi, aber nicht nicht der VM selbst.

 

[second.name]

Danke für eure Antworten, es liegt aber dennoch an etwas anderem - Problem gerade gefunden:

Man muss die VM-Option "Gesamten Gastarbeitsspeicher reservieren (Alle gesperrt)"aktivieren. Erst dies entspricht nativem Host-RAM-Zugriff und jetzt fliegt mein Traffic wieder mit 2,5GBit durchs Heimnetz. 🤘 (Auch bei nur 2GB RAM.)

 

[snaxilian]

http://www.vfrank.org/2013/09/19/understanding-vmware-reservations-limits-and-shares/
Ja, 8 Jahre alt aber immer noch gültig afaik.

Ein schönes Beispiel warum man CPU eher overcommiten kann aber es bei RAM schneller zu Problemen kommt. Durch deine jetzige Reservierung wirst du im Zweifel Probleme bei anderen VMs bekommen oder für den ESXi nur sehr wenig oder zu wenig übrig bleibt und es zu Performanceproblemen an anderer Stelle kommen kann.

 

[second.name]

Durch deine jetzige Reservierung wirst du im Zweifel Probleme bei anderen VMs bekommen

Ja, das könnte in Konsequenz passieren, aber da ist noch Luft nach oben: 64GB RAM im Host.