News Nvidia Tesla T4: Turing-Grafiklösung mit 8,1 TFLOPs bei nur 75 Watt

[cube413]

Falls du dachtest das wäre ein Int mit 1bit muss ich dich enttäuschen

Ok, wenn das so ist macht das natürlich mehr Sinn
Kenne die bezeichnung intX halt nur für X bit.

 

[fdsonne]

Eher nicht.

Wieso eher nicht?

Der Chip benötigt eine gewisse mindest Spannung. Und mit dieser Spannung kann man einen gewissen Takt fahren. Drunter geht nicht, weil die Transistoren dann einfach nicht mehr schalten. Das heist, ausgehend von diesem Minimum bringt ein breiterer Chip eben keine Effizienzvorteile mehr, weil du nur mehr Verbrauchen wirst, aber nicht durch weniger Takt/Spannung gegen wirken kannst.
Breiterer Chip bei weniger Takt gibt genau dann mehr Effizienz, wenn du auch gleichsam die Spannung reduzierst - denn die Spannung geht für gewöhlich ca. im Quadrat in die Leistungsaufnahme ein, Takt und Einheitenanzahl ca. 1:1

Die Frage ist eher, wie nah fährt man an diese Basis mit dem hier genannten Modell?

 

[GerryB]

Vermutlich wird die Temp. die Grenze für den Takt angeben und nicht die Spannung.
Bzgl. breiter Chips staune ich immer über die RX64LC die mind. 50mV weniger als die RX56 für einen
eff. Takt von 1600 braucht. Da scheint eine moderate Shaderlast echt hilfreich zu sein.
Bzgl. Watt sind i.d.R. h2o viel besser als Air-Referenz, daher meine Annahme, das die Eff. bei niedrigen Temps
steigt und zwar nicht nur Chip sondern auch Spawas.

 

[Yuuri]

Falls du dachtest das wäre ein Int mit 1bit muss ich dich enttäuschen

Ähm nein... INT1 ist ein Bit.

Bspw. hier schön zu sehen: http://on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf Slide 4

INT8 = 8 Bit = 1 Byte
INT1 = 1 Bit = 1/8 Byte

Aber ab davon findet man keine Infos zu der GPU, sondern hauptsächlich irgendwelche News (wie diese...). Quelle: Nvidia liest sich genauso schön wie Quelle: Youtube. :/

 

[bensen]

Aber die beste Effizienz bekommt man Vielelicht bei höherem Takt. Dann kann das schon sein.

Nein nicht wirklich. Für einen höheren Takt musst du die Spannung anheben, das senkt die Effizienz.
Das kann höchstens der Fall sein, wenn man extrem niedrige Taktraten hat, wo man nicht mehr mit der Spannung runter kommt. Aber das ist hier ja nicht der Fall.

 

[psYcho-edgE]

Ok, wenn das so ist macht das natürlich mehr Sinn
Kenne die bezeichnung intX halt nur für X bit.

Ähm nein... INT1 ist ein Bit.

Okay, ist n bisschen merkwürdig.

I.d.R. sind diese Angaben in fast allen Sprachen, vor allem in Datenbanken, auf Byte bezogen. Selbst in C gibt es für Int als kleinste Einheit nur den 8bit-Int ("char int"). Die Möglichkeit einen Int mit 1bit zu definieren wird dann über Bitfelder gelöst (Datenstruktur in der die Größe versch. Variablen bitweise vorgegeben wird). Anscheinend wird man wohl für Grafikberechnungen dann direkt 1bit-Datentypen erstellen können, anstatt Bitfelder anlegen zu müssen. Kann durchaus Speicher sparen.

Falls sich jemand wundert wofür man so etwas brauchen kann: bspw. boolsche Werte und Vorzeichen.

 

[Mihau]

4TFLOP double precison wäre natürlich hammer bei der dem stromverbrauch....wieso wird das nie angegegeben? wer braucht schon single precision

 

[lalelu]

Das war zu erwarten. Nvidia vergleicht die Tesla T4 Inference Performance mit dem Xeon Gold 6140 (Skylake-Sp).
Um Faktor 27 höhere Leistung als Skylake-Sp in Resnet50.

Cascade Lake kommt mit Deep Learning Extensions, Vector Neural Network Instructions (VNNI) for Inference Acceleration und verdoppelt die Inferencing Leistung gegenüber Skylake-SP.

Bisher eines der Pro Argumente für Cascade Lake.

Fraglich ist auch, ob Nvidia für den Performancevergleich bei den Intel Systemen, MKL oder die neuen Math Kernel Library for Deep Neural Networks genutzt hat. Ich gehe nicht unbedingt davon aus, denn um die Performance zu nutzen, sind teilweise Anpassungen am Code notwendig, um die Schnittstellen entsprechend zu nutzen.

Aber die Leistungswerte bei 75 Watt sind enorm.

 

[Sorigir]

Ah, endlich ein autobahntauglicher Mittelklassewagen mit 1 Liter Verbrauch! (der Vergleich müsste auch preislich fast passen )

Eigentlich wollte ich mir dieser Tage noch schnell 'ne 1080Ti kaufen (liegt seit 6 Monaten in meinem Mindfactory-Warenkorb), da diese endlich preislich wieder interessant wird. Der recht hohe Verbrauch war neben dem Preis der zweite Grund weshalb ich bisher zögerte - Vega64 würde bei meinen FreeSync-Monitoren zwar besser passen aber die brauchen sogar noch mehr Treibstoff. Ich kann mir einfach nicht vorstellen daß man eine 350W (=140%Powertarget) Grafikkarte wirklich noch leise kühlen kann. Wenn die RTX2000 auch nur annähernd an die Effizienz des Profimodells rankommt wird diese wohl den Weg in meinen Rechner finden.