VM Server Lösung mit GPU für Deep Learning und Co.

[PHuV]

Hat hier schon jemand Erfahrungen gesammelt mit einen VM-Server, einer Grafikkarte und Deep Learning?

Ja, ich weiß, es gibt sowas wie AWS, wo man DL und Co. auch als Services und Co. ansprechend und sogar skalieren kann. Aber das würden wir für anspruchsvolle Kundenprojekte in Anspruch nehmen und entsprechend konfigurieren.

Wir beschaffen gerade einen neuen Dell Server für Virtualisierung, und Kollegen haben schon Anspruch an eine Spielwiese für KI und DL gestellt. Als Virtualisierer werden wir Hyper-V einsetzen. Der neue Dell-Server kann Grafikkarten aufnehmen, z.B. eine Nvidia Tesla.

Wie muß ich mir das dann vorstellen? Ich baue eine Linux-VM mit Cuda auf, und kann dann, wie bei bei CPUs, RAM, HDD usw. variabel GPU-Ressourcen zur Verfügung stellen? Muß ich dann auf pro VMs selbst auch immer einen Nvidia-Treiber installieren? Oder reichen dann nur die CUDA-Bibliotheken? Bei AWS gibt es beispielsweise spezielle Deep Learning AMIs mit CUDA, die mit entsprechenden EC2-Instanzen entsprechend Nvidia GPUs ansprechen können.

Über sachkundige und praktische Erfahrungsberichte würde ich mich sehr freuen.

 

[eRacoon]

Du kannst entweder die ganze Karte via PCI Passthrough an EINE VM durchreichen, die erkennt die Karte dann ganz normal als wäre sie nativ im System drin.
Da installierst du dann auch ganz normal den Treiber etc...

Du kannst die Karte aber auch in "Scheiben" schneiden und vGPUs an die einzelnen und dann auch mehreren VMs durchreichen.
Die wird dann als vGPU erkannt und du musst den passenden Treiber installieren.

Gibt da verschiedene Profile die fest den vRAM zugewiesen haben, kannst so z.B. eine 16GB Karte in 4x 4GB Profile stückeln.
Overcommitment geht hier nicht, die GPU Leistung wird geteilt und dynamisch verteilt, wenn nur einer arbeitet nutzt er die ganze Karte.

Das lässt Nvidia sich aber bezahlen, du brauchst dafür extra Lizenzen, je nach Profile sind das unterschiedliche.
https://images.nvidia.com/content/grid/pdf/161207-GRID-Packaging-and-Licensing-Guide.pdf

PCI Passthrough geht ohne Lizenzen, da brauchste nur die Karte kaufen und einbauen.

Was Hyper-V alles kann bezüglich vGPU keine Ahnung, die sind generell was GPU angeht eher die Letzten, da ist VMware und XEN Server meist deutlich weiter.

 

[hroessler]

Hallo,
wir machen auch KI Projekte und wir mieten unsere Rechenzeit in der Cloud. Die Anschaffung, insbesondere der "Grafikkarten" ist schlicht und ergreifend zu teuer.

Wir sind bisher sehr zufrieden...

greetz
hroessler

 

[PHuV]

Welchen Cloudanbieter verwendet Ihr?

 

[Owner5566]

Sorry das ich diesen Thread nochmal hoch hole.
@hroessler Welchen Anbieter nutzt ihr?

@PHuV wie habt ihr das am Ende / inzwischen gemacht?

Ich sehe halt solche sachen:
http://l7.curtisnorthcutt.com/the-b...N8nRA-UeLdlSghNykUqf4-R9hfDhmr8IfEp4X5xb3PPXk

https://lambdalabs.com/deep-learning/workstations/4-gpu/customize

https://bizon-tech.com/us/bizon-g30...;542:1892;555:1939;556:1954;692:2815;706:2867

Oder sollte man wirklich sowas lieber im Serverschrank in einem Server haben?

 

[hroessler]

@Masi5192 Es ist Amazon

greetz
hroessler

 

[PHuV]

@PHuV wie habt ihr das am Ende / inzwischen gemacht?

Wir haben uns in AWS eine EC2 Instanz mit einem fertigem Image Ubuntu 18.04 mit Cuda und einer Nvidia K40 Karte aufgebaut. Preis liegt bei etwas über 1 $ pro Stunde, und wird nur an Arbeitstagen laufen gelassen, wenn die Kollegen es brauchen. Im Monat liegt es so ca. bei 200 €.

Kollege berichtet, das mit Jupyter Notebook Berechungen auf einem aktuellen Notebooks viele Minuten benötigt, und in der EC2 Instanz nur Sekunden. Das hat Begehrlichkeiten in der Firma geweckt und nun werkeln da mittlerweile 5 Leute rum, Tendenz steigend.