News GeForce RTX 3080: Tensor-Kerne im Vergleich zu Turing und A100

[0-8-15 User]

Sind die Tensor-Kerne in FP32 jetzt nur doppelt so schnell, bei gleichzeitig halbierter Anzahl, oder gilt die am Ende genannte Beschleunigung von x2,7 für die Gesamtleistung?

Hier gibt es einen vorläufigen Test: https://www.pugetsystems.com/labs/h...-on-Linux-Preliminary-1885/#ComparativeCharts

 

[amorosa]

Für DeepFakes eine echte "Ansage". Auch der VRAM.
Ohoh, ich sehe deutl. mehr Konkurrenz für mich in näherer Zukunft

Wenn man überlegt, das ein Model ungefähr (das kann man ja nie so genau sagen) seine 250-400K Iterationen braucht und man mit ner 2070S bei ner (BatchSize von sagen wir 6 bei ner Auflösung von 320[LIAE]) Berechnungszeit von ca. 720ms pro Iteration liegt, kann man sich selber ausrechnen, wie lange sowas dauert/dauern kann.

Wenn man dann ne 3080 mit 10GB hat, kann man also in der THEORIE die Iterationszeiten halbieren und evtl. noch die Batchsize vergrößern. Wobei von 8GB auf 10GB ist evtl. ne Size von 8 drin und das wars.

Nun stelle sich man mal diese Karte als 16GB Version vor. Der Traum aller KI-Trainingsnutzer

 

[EL-SANTO]

Ey, wer "dumme Fragen" stellet, muss mit dummen Antworten klarkommen.

 

[Rage]

Gäbe es hier im Forum Interesse an einem Beitrag dazu, was Tensoren tatsächlich sind?

 

[Schaby]

Ich sehe das so, dass Nvidia da etwas zurück rudert. Raytracing ist nach wie vor eher eine Todgeburt. Es stehen die ersten UHD Monitoren mit 120+Hz auf der Matte, da wird kein RTX 3080 Eigentümer Raytracing aktivieren.

Was ich ein bisschen Schade finde ist, das CB gerade Raytracing bei der neuen Karte näher beleuchtet hat.

 

[jusaca]

"Spärliche Matrix" ist wohl etwas zu wörtlich übersetzt, der deutsche Begriff ist "dünnbesetzte Matrix".

 

[MoinKffee]

Raytracing ist nach wie vor eher eine Todgeburt

Dieser Satz ist en Widerspruch in sich

UHD Monitoren mit 120+Hz auf der Matte

Es wird trotzdem dauern bis das Mainstream ist.

WQHD wird für mich erst jetzt richtig sweet
High FPS dank 3080 bei kompetetiven Shootern/Spielen
Raytracing und andere Spielereien bei SP Titel

Es wird davon abhängen wie viele Spiele es nutzen und wie sie es umgesetzt haben.

 

[PHuV]

@Robert

Mal so ein kleiner ML/DL Benchmark wäre nett gewesen. Ich hätte ja gerne eine geliefert, wenn ich gestern eine 3080 bekommen hätte.

Immerhin guter Hinweis mit CUDA 11 als auch cuDNN 8. Beim Installieren eines DL/ML Servers habe ich mir vor ca. 2 Jahren zu Hause noch die Zähne ausgebissen. In AWS habe ich einfach ein gut vorbereitetes Images wählen können. Nun mit Unbuntu 20.04.1, CUDA 11 und cuDNN 8 habe ich es immerhin nach einigen Stunden mit Pytorch, Python 3 und Co. zum Laufen bekommen. Da kommt aber trotzdem selbst ein alter DevOps-Ler und Unixer beim Einrichten etwas ins Schwitzen, weil die ganzen Anleitungen im Netz, um so eine Instanz aufzubauen, teilweise für für die Tonne sind, sie funktionieren so nicht oder es fehlen viele entscheidende Details. Docker ist ja ebenso eine schöne Lösung für sowas, wenn das mal on-the-scratch so funktionieren würde.

So verzichte ich mal mit den Tests auf den Zwischenschritt mit einer 3080, und warte auf die 3090 nächste Woche.

 

[Robert]

"Spärliche Matrix" ist wohl etwas zu wörtlich übersetzt, der deutsche Begriff ist "dünnbesetzte Matrix".

Danke für den Hinweis! Ich habe die Stelle im Text angepasst. War mir ehrlich gesagt auch nicht sicher, was die korrekte Übersetzung wäre (im Normalfall würde ich einfach sparse schreiben, aber für ein deutsches Publikum sollte es dann doch deutscher sein).
@PHuV Ich habe keinen Zugriff auf eine RTX 3080, sonst hätte ich versucht, einen Benchmark laufen zu lassen. Es gibt aber auch nicht wahnsinnig viele (vergleichbare) ML-Benchmarks. Wir hatten über mlperf nachgedacht, hast du andere Vorschläge?

 

[PHuV]

Ja, aber das ist recht umfangreich, siehe
https://blog.exxactcorp.com/nvidia-...chmarks-for-tensorflow-updated-with-xla-fp16/
https://blog.exxactcorp.com/titan-rtx-performance-benchmarks-for-tensorflow-2019/
https://blog.exxactcorp.com/whats-t...2080-ti-vs-titan-rtx-vs-rtx-8000-vs-rtx-6000/
Grundlage dafür sind die tf_cnn_benchmarks, die aber aktuell nicht mehr weiterentwickelt werden
https://github.com/tensorflow/benchmarks/tree/master/scripts/tf_cnn_benchmarks

Leider funktionieren einige Modelle trotz Downloads des aktuellen und nightly builds nicht. Hier muß ich auch nochmal genauer forschen, warum.

 

[blubberbirne]

@ComputerBase

Könnt ihr die KI Leistung mit z.B. DeepFaceLab messen?
Oder z.B. mit der Dain app?

Das sind zwei apps die RTX Karten zu 100% ausreizen.

Mich würde da der Unterschied der einzelnen RTX Karten interessieren

 

[Colindo]

die Rechenleistung aller Tensor-Kerne (aka der Grafikkarte) 2,7 mal so hoch.

Das klingt dann echt merkwürdig, das die Anzahl der SMs ja die gleiche wie bei der 2080 Ti ist.

 

[guggi4]

TL;DR - lasse mir den Inhalt von Igor vortragen. Sehr unterhaltsam

Ohne Basics in KI und Datentypen wirds auch in einem Video kaum verständlicher werden 🤷‍♂️

 

[Tawheed]

Dann macht mal einen benchmark für gängige ki frameworks.
Zudem hat der a100 einen hardware Decoder für jpeg Dateien. Das beschleunigt nochmal extra das lernen

 

[MeisterOek]

Ziemlich viel blabla im Artikel und ich versteh nicht, wozu ich als Gamer das brauche. ich weiß jetzt nur, dass es toller funktiniert als noch bei 20xx. Und Tensorcores habe ich im Zusammenhang mit DLSS auch schon gehört, aber da hörts auf. Wir reden hier über Gaming-Grafikkarten.

 

[yaggg]

Gäbe es hier im Forum Interesse an einem Beitrag dazu, was Tensoren tatsächlich sind?

Meinerseits ein dickes fettes Ja!

 

[Robert]

@Colindo Sorry, bin bei den ganzen Zahlen durcheinander gekommen. Ging um die 2080 Super. Die hat 384 Tensor-Kerne, die 3080 hat 272. Die Kerne der 3080 sind doppelt so schnell -> insgesamt grob 1,4 mal so schnell bzw. 2,8 mal mit Sparsity. In dem Whitepaper ist eine Tabelle mit den genauen Daten.

 

[Syagrius]

Ziemlich viel blabla im Artikel und ich versteh nicht, wozu ich als Gamer das brauche. ich weiß jetzt nur, dass es toller funktiniert als noch bei 20xx. Und Tensorcores habe ich im Zusammenhang mit DLSS auch schon gehört, aber da hörts auf. Wir reden hier über Gaming-Grafikkarten.

Ich hoffe, dass ist jetzt nicht dein Ernst? Dir ist schon bewusst, dass Grafikkarten auch für was anderes als Gaming eingesetzt werden kann? V.a. wenn die Karte dafür anscheinend gut geeignet ist bzw. eine preiswerte Alternative ist. Und wir sind hier ja auch nicht auf GamingBase, oder?

 

[Kacha]

Das hoert sich echt gut an, bis zum letzten Absatz. Gerade Tensorflow kann da etwas lahm sein. Hat bei Python 3.8 auch ewig gedauert.

@Robert Weisst du wie viele Tensor Cores die 3090 haben wird? Die 3080 hat fuer meinen Anspruch etwas wenig Speicher, ausser man nimmt zwei... Das Sparsity Feature ist zwar ganz nett, aber wenn es nur bei Inference funktioniert bringt es eher wenig. Bzw, koennen die 3000er Karten sowohl Tensor Cores als auch normale FP32 Einheiten nutzen? Das waere genial.

 

[0-8-15 User]

Mal so ein kleiner ML/DL Benchmark wäre nett gewesen.

https://timdettmers.com/2020/09/07/which-gpu-for-deep-learning/#GPU_Deep_Learning_Performance