Ampere: Nvidia bringt A100 mit 80 GB HBM2e als PCIe-Karte
Nvidia bietet die „A100 Tensor Core GPU“ auf Basis der Ampere-Architektur fortan auch im PCIe-Format mit 80 statt 40 GB Speicher an. Von dem doppelt so großen Speicher sollen Käufer beim KI-Training vor allem bei besonders großen Modellen profitieren. Support für die Karte gibt es von zahlreichen Unternehmen im Server-Umfeld.
Nach der A100 als SXM4 sowie PCIe und der A100 80GB als SXM4 ist die heute vorgestellte A100 80GB PCIe die vierte Umsetzung der „A100 Tensor Core GPU“.
HBM2e sorgt für 1,9 TB/s Speicherbandbreite
Die „A100 80GB GPU“ besitzt einen zur „A100 Tensor Core GPU“ vergleichbaren Aufbau, da sich die Veränderungen an der Hardware auf den Speicher beschränken. Bei diesem wechselt Nvidia nach dem SXM4-Modul jetzt auch für die PCIe-Karte von HBM2 zu HBM2e. Bei HBM2e besteht ein Speicherstack aus bis zu acht übereinander gestapelten 16-Gbit-Chips, sodass mit einem Stack bis zu 16 GB statt der 8 GB bei HBM2, der schon bei Volta zum Einsatz kam, möglich sind. Wie bei der „A100 Tensor Core GPU“ sind vermeintlich sechs HBM2e-Stacks rund um die GPU versammelt, tatsächlich handelt es sich aber um fünf Stacks zu je 16 GB, woraus sich die insgesamt 80 GB ergeben, und einen Dummy-Stack, um den Anpressdruck des großen passiven Kühlers auszugleichen. Mit fünf Speicherstacks kommt Nvidia diesmal auf 1.935 GB/s statt 2.039 GB/s (SXM4).
Von dem verdoppelten Speicher sollen beim KI-Training vor allem besonders große Modelle profitieren. Schon zur Vorstellung von Ampere hieß es, die Architektur sei für den exponentiell wachsenden Ressourcenbedarf des Trainings neuronaler Netze und das Inferencing im Datacenter entwickelt worden. Beispiele für den Einsatz der 80-GB-Variante liefert der Artikel zur Ankündigung des gleich bestückten SXM4-Moduls.
Passive Karte nutzt Luftstrom im Server
ComputerBase hat von Nvidia bestätigt bekommen, dass die A100 80GB PCIe mit 300 Watt spezifiziert ist. Das sind 50 Watt mehr als bei der A100 PCIe, während bei den SXM4-Modulen keine TDP-Unterscheidung zwischen 40 GB und 80 GB herrscht. Trotz reduzierter TDP wirbt Nvidia mit denselben Leistungsangaben, dabei handelt es sich aber um Peak-Werte.
Die A100 80GB PCIe kommt als zwei Slot hohe, vermeintlich passiv gekühlte Karte daher, die aber vom Luftstrom im Server aktiv gekühlt wird. Unterstützer der Karte im Server-Umfeld sind die Anbieter Atos, Cisco, Dell Technologies, Fujitsu, H3C, HPE, Inspur, Lenovo, Penguin Computing, QCT und Supermicro. Auch Cloud-Anbieter wie Amazon Web Services, Microsoft Azure und Oracle Cloud Infrastructure sind mit von der Partie.
| A100 80GB PCIe | A100 80GB | A100 PCIe | A100 | Tesla V100 | Tesla P100 | |
|---|---|---|---|---|---|---|
| GPU | GA100 | GV100 | GP100 | |||
| Architektur | Ampere | Volta | Pascal | |||
| Fertigung | TSMC N7 | TSMC 12FFN | TSMC 16FF | |||
| Transistoren | 54,2 Mrd. | 21,1 Mrd. | 15,3 Mrd. | |||
| GPU Die Size | 826 mm² | 815 mm² | 610 mm² | |||
| Board | PCIe | SXM4 | PCIe | SXM4 | SXM2 | SXM |
| TDP | 300 Watt | 400 Watt | 250 Watt | 400 Watt | 300 Watt | |
| SMs | 108 | 80 | 56 | |||
| TPCs | 54 | 40 | 28 | |||
| FP32 Cores/SM | 64 | |||||
| FP32 Cores/GPU | 6.912 | 5.120 | 3.584 | |||
| FP64 Cores/SM (exkl. Tensor) | 64 | |||||
| FP64 Cores/GPU (exkl. Tensor) | 3.456 | 2.560 | 1.792 | |||
| INT32 Cores/SM | 64 | NA | ||||
| INT32 Cores/GPU | 6.912 | 5.120 | NA | |||
| Tensor Cores/SM | 4 | 8 | NA | |||
| Tensor Cores/GPU | 432 | 640 | NA | |||
| GPU Boost Clock | 1.410 MHz | 1.530 MHz | 1.480 MHz | |||
| Peak FP16 Tensor TFLOPS (mit FP16 Accumulate) |
312/624* | 125 | NA | |||
| Peak FP16 Tensor TFLOPS (mit FP32 Accumulate) |
312/624* | 125 | NA | |||
| Peak BF16 Tensor TFLOPS (mit FP32 Accumulate) |
312/624* | NA | ||||
| Peak TF32 Tensor TFLOPS | 156/312* | NA | ||||
| Peak FP64 Tensor TFLOPS | 19,5 | NA | ||||
| Peak INT8 Tensor TOPS | 624/1.248* | NA | ||||
| Peak INT4 Tensor TOPS | 1.248/2.496* | NA | ||||
| Peak FP16 TFLOPS (Non-Tensor) | 78 | 31,4 | 21,2 | |||
| Peak BF16 TFLOPS (Non-Tensor) | 39 | NA | ||||
| Peak FP32 TFLOPS (Non-Tensor) | 19,5 | 15,7 | 10,6 | |||
| Peak FP64 TFLOPS (Non-Tensor) | 9,7 | 7,8 | 5,3 | |||
| Peak INT32 TOPS | 19,5 | 15,7 | NA | |||
| Texture Units | 432 | 320 | 224 | |||
| Speicher | HBM2e | HBM2 | ||||
| Speicherinterface | 5.120 Bit | 4.096 Bit | ||||
| Speichergröße | 80 GB | 40 GB | 16/32 GB | 16 GB | ||
| Speichertakt | 1.512 MHz | 1.594 MHz | 1.215 MHz | 877,5 MHz | 703 MHz | |
| Speicherbandbreite | 1.935 GB/s | 2.039 GB/s | 1.555 GB/s | 900 GB/s | 720 GB/s | |
| * Mit Sparsity-Beschleunigung | ||||||