NVidia P100 PCIe NVlink/SLI möglich?

[dazzle]

Hallo zusammen,

aufgrund benötigter Double Precision Performance wurden in meiner Firma jüngst zwei NVidia P100 PCIe Karten (gebraucht) erworben mit dem Ziel, diese in eine bestehende Workstation einzubauen, in der derzeit eine 4070ti arbeitet.
Ich kenne mich zwar mit "Consumer Hardware" aus, aber bei Server- oder HPC-Hardware steige ich aus... Ist es möglich, beide P100 über PCIe in den Rechner einzubauen und diese gebündelt, quasi wie mit SLI/NVlink zu betreiben? Macht es überhaupt Sinn, 2 dieser Karten über jeweils PCIe x16 Schnittstellen in eine Windows Workstation einzubauen?

Grüße dazzle

 

[CoMo]

Ja, das macht Sinn und genau dafür gibt es NVlink.

 

[_anonymous0815_]

Bei professioneller Software gibt es meistens die Möglichkeiten, mehrere GPUs simultan zum rechnen zu verwenden, ohne auf ein NVLink angewiesen zu sein, das ist mittlerweile eher am aussterben.

 

[dazzle]

Wenn es denn möglich ist, wie kann man mit der PCIe-Variante der P100 NVlink benutzen? Sorry für die "blöde" Frage. Ich stehe nur am Dampfer, weil ich immer der Meinung war, für NVlink/SLI benötigt es eine Bridge, über die die beiden GPU's kommunizieren?

Hier detaillierte Bilder einer P100, wie sie bei uns gekauft wurden:

Spoiler: Fotos

Ich kann nur den Konnektor für PCIe erkennen. Oder gibt es da noch Möglichkeiten hinter der Backplate? Bei einer HPC-Karte würde ich aber eher einen Plug-and-Play-Ansatz erwarten...

 

[cvzone]

Die kommunizieren dann über PCIe, da gibt es keine separate Verbindung.
Je nach Workload ist auch eine Kommunikation mit der anderen Karte gar nicht nötig.

 

[CoMo]

Gar keine doofe Frage, ich bin mir gerade gar nicht sicher, ob das nicht sogar 2 verschiedene Ausührungen sind. In diesem Dokument auf der letzten Seite ist die Rede von

NVIDIA Tesla P100 for PCIe-Based Servers

und

NVIDIA Tesla P100 for NVLink-Optimized Servers

 

[dazzle]

Genau, und auf der letzten Seite wird bei NVIDIA NVLink™ Interconnect Bandwidth = "-" angeführt. Heißt für mich die Karte unterstützt es gar nicht?!

 

[NatokWa]

Die PCIe Version hat keinen NV-Link : KLICK

 

[CoMo]

Scheint so. Die P100 werden auch in so einer Ausführung gehandelt: https://www.kimbrer.de/supermicro-p100-sxm2-16gb.html

So sieht das dann offenbar auf einem Board aus, dass die Interconnects mitbringt: http://vrworld.com/2016/04/08/nvidia-mezzanine-nvlink-connector-pictured/

Was dieses Bauteil genau tut, ist mir allerdings noch nicht klar https://www.galaxus.de/de/s1/product/pny-nvidia-ampere-nvlink-2-slot-pc-zubehoer-15655829 (EDIT: Ach das ist Ampere und die P100 ist Pascal, also vermutlich sowieso inkompatibel).

Ich würde am Besten einfach mal Nvidia fragen. Gerne dann Rückmeldung hier, das würde mich jetzt auch näher interessieren.

 

[NatokWa]

Der Verbinder ist für PCIe Karten die tatsächlich einen NV-Link haben. Das gab/gibt es durchaus im Bereich der Quadros. Ist praktisch dort der Nachfolger der SLI-Bridge.

Hier sieht man es besser : KLICK (2. Bild :-) )

 

[wrglsgrft]

Was mir unabhängig von der Anbindung noch auffällt:
Die P100 ist passiv gekühlt bei einer TBP von 250 W. Da braucht es vermutlich massiven Airflow und entsprechende Drehzahlen bei den Gehäuselüftern. Keine Ahnung ob Lautstärke ein Thema ist, aber neben sich will man das vermutlich nicht dauernd stehen haben.

 

[ghecko]

Hier detaillierte Bilder einer P100, wie sie bei uns gekauft wurden:

Da braucht es vermutlich massiven Airflow und entsprechende Drehzahlen bei den Gehäuselüftern.

Joa, die Karte ist für Racks, nicht für eine 0815-Workstation. Die wird da drin nicht lange laufen, mangels aktiver Kühlung.

 

[dazzle]

Danke für die Antworten und Infos. Die beiden P100 werden retourniert wegen der von euch genannten praktischen Gründe.
Nichts desto trotz besteht der Wunsch nach mehr GPU-Performance. Guter Kompromiss aus Single- und Double-Precision Performance sowie Memory Bandwidth ist gefragt. Macht eine Kombi aus 2 RTX 4090 Sinn, oder gibt es aus eurer Sicht andere Optionen?
Mainboard hätte zwei PCIe 5.0 x16 verfügbar. Die 4090 kann zwar kein NVLink, aber die verwendete Software unterstützt Multi-GPU.

Kurze Infos zum System:

• MB = ASRock X670e Taichi
• CPU = Ryzen 7950x
• NT = Corsair 850x -> müsste natürlich ausgetauscht werden

Schöne Grüße und schönes Wochenende

 

[wrglsgrft]

Macht eine Kombi aus 2 RTX 4090 Sinn, oder gibt es aus eurer Sicht andere Optionen?

Je nachdem kann es Sinn machen auf eine oder mehrere Quadros bzw. die professionellen RTX zu setzen (haben die eigentlich noch einen richtigen Namen?)

Grundsätzlich hast du bei zwei 4090 unter Umständen halt auch wieder das Problem mit der Kühlung. Sind ja richtig dick die Dinger. Wenn die dann quasi aufeinander liegen und die untere auf dem Gehäuseboden, dann kriegen beide wieder zu wenig Frischluft ab.

Ja nachdem, wie euer Use-Case aussieht, wäre evtl. auch ein Rack-Server, den man in der Besenkammer einsperrt, ja auch eine Option.
Oder Cloud-Computing...

 

[dazzle]

Das mit der Größe der 4090 ist ein guter Punkt.
Das Top-Modell der Professional-Reihe der NVidia GPU ist ja die A6000 oder? Hat die außer Speicher und Formfaktor einen Vorteil gegenüber der 4090?

Ich glaube noch nicht erwähnt zu haben, dass wir zwecks Software an CUDA Karten gebunden sind (leider).

 

[wrglsgrft]

Das Top-Modell der Professional-Reihe der NVidia GPU ist ja die A6000 oder? Hat die außer Speicher und Formfaktor einen Vorteil gegenüber der 4090?

Die RTX A6000 ist das Topmodell der letzten Generation (Ampere). Das Aktuelle wäre die RTX 6000 Ada Generation. Bin gespannt wann die das Namensschema ändern und wieder etwas intuitiver gestalten...

Den Treiber und die damit einhergehende Unterstützung vieler Programme könnte man noch als Vorteil werten.
Aber klar, wenn euch der Speicher (ECC nicht vergessen) und der Treiber keinen wirklichen Vorteil bringt, dann lohnt sich der Aufpreis nicht.

Eine Möglichkeit den Platzbedarf in den Griff zu bekommen wäre natürlich eine Wasserkühlung. Da werden die 4090 fast schon niedlich klein wegen den kurzen Platinen.

 

[CoMo]

Die 4090 hat auch ECC-RAM. Muss man nur im Treiber aktivieren.

Und klar, mit Wasserkühlung bekommt man auch Problemlos vier 4090 ins Gehäuse.

 

[_anonymous0815_]

Die RTX Consumer-Serie ist aber in der Double Precision Performance stark beschnitten!

Und das mit den vier RTX 4090 möchte ich mal sehen.

i.d.R. haben die wie viele Slots? 4? Also 16 regulär, bei manchen Wakü-Aufsätzen kann man die Slotanzahl durch angepasste Blenden verringern, auch da ist aber meistens 2 Blenden der Standard, also 8 Slots und 4 PCIe-Schnittstellen die nicht auf x1 oder x2 beschnitten sind...