Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsTensordyne: KI-Start-up will mit TDN Math Nvidias Dominanz brechen
Das in Kalifornien und München ansässige KI-Start-up Tensordyne schickt sich an, mit einer eigens entwickelten logarithmische Zahlen- und Rechenarchitektur für KI-Inferenz sowie entsprechender eigener Hardware den Markt aufzurollen. Tensordyne wirbt mit vielfach höherer Leistung und niedrigerem Verbrauch im Vergleich zu Nvidia.
99,9% Genauigkeit über wie viele Iterationen hinweg? Bei einer einzigen wäre das ja gar nix. 0,999^100 wären gar nur noch 90,48%, bei 1000 Iterationen schon nur noch 36,8%. Das ist weit jenseits von brauchbar ohne nähere Angaben.
Das ließt sich bissl wie in Assembly 1x alle Bits um eine Stelle nach Links für eine Verdopplung damit man sich die Multiplikation mal zwei spart.
Mal abwarten ob sie wirklich Nvidia da das Wasser reichen können, in dem sie mit Logarithmische Arithmetik statt Multiplikationen arbeiten. Sie skönnen damit Rechenwerke, Speicher, Interconnect und Energieverbrauch radikal kleiner, schneller und billiger machen.
Die Rechnung 0,999^1000 setzt voraus, dass sich Fehler pro Iteration unabhängig multiplizieren. Das trifft auf die LLM Inference nicht zu. 99,9 % Genauigkeit ist ein statistisches Maß gegenüber FP32 Referenz, kein per Schritt Überlebensfaktor. Numerische Fehler in Log Math oder FP8 sind gebunden, nicht kumulativ, und LLM sind eigentlichh extrem robust gegenüber solchen Abweichungen.
Inferenz ist ja nur ein Teil. Und man wird auch nicht zwei unterschiedliche Systeme betreiben oder von CUDA wechseln.
Die Hürde ist da schon sehr hoch.
Spezialisierte Firmen werden sicherlich deren Kunden, aber die breite Masse, das muss sich erst noch zeigen.
Und sollte das passieren, kann nvidia die noch immer kaufen. Wobei im Moment wohl eher das Problem wäre, dass diese die evtl. überhaupt nicht kaufen dürften, wegen ihrer Marktmacht.
Alleine wenn ich sowas schon lese, kriege ich das blanke Kotzen. Bei KI ist der Mensch inzwischen so eine Randerscheinung geworden, dass inzwischen nur noch BWLer mit BWLern reden. Geld ist die Sprache und das Ziel. Da hat die zu betreibende KI fast mehr emotionale Intelligenz als das Marketingteam.
Naja, Hardware ist ja das eine aber man braucht auch entsprechende Software. Nvidia hat mit cuda eine verbreitete und beliebte Schnittstelle die neben der Hardware der eigentliche Vorteil ist.
Korrekt, aber die KI-Welt wird sowieso langsam Hersteller-agnostischer. Google setzt ja zum Beispiel schon lange eigene Chips ein, Amazon bietet auch welche an und AMD hat einiges da rein investiert, dass beliebte Frameworks mit ROCm laufen. Wenn ein Chip tatsächlich eine deutlich höhere Effizienz liefert und/oder billiger ist, ist es für die großen Anbieter kein riesiger Akt, irgendwas von CUDA umzuziehen.
CUDA öffnen? Ha! Der war gut @sikarr
Tapeout klingt jetzt auch schon mal besser als die übliche Vaporware, aber schauen wir mal was noch kommt. Vielleicht läufts wie bei Crypto das bei AI die GPU-Zeit vorbei ist und durch spezialisiertere Systeme abgelöst wird?
Es wäre toll, wenn dieser Chip effizienter wäre. Nicht nur aus Konkurrenzgründen, sondern auch Rohstoffe und Energie.
Trotzdem bin ich aber immer etwas vorsichtiger, wenn mir jemand verspricht, quasi aus dem Stand, besser zu sein, als der Platzhirsch. Und es reicht auch oft nicht nur die Hardware aus, sondern auch das Ökosystem, welches sich Nvidia aufgebraut hat, muss man da brechen.
Der Chip wird in 3 nm bei TSMC (N3P) gefertigt, weist 138 Milliarden Transistoren auf und ist mit 300 Watt TDP spezifiziert. Jeder AI-Prozessor kommt mit 256 MB SRAM (40 TB/s) und 144 GB HBM3e (4,7 TB/s) und soll damit eine Rechenleistung von 2,1 PFLOPS für Dense FP8 erreichen. Ein Compute-Tray im TDN72 Pod nimmt neun Napier-Chips für dann 2,3 GB SRAM und 1,3 TB HBM3e auf.
Man kann ihnen nur viel Glückwunsch wünschen, damit das klappt, aber ein guter Hardwarechip ist halt nicht alles. Braucht es halt auch gute Software. Sehe man ja auch an den anderen Firmen, an den anderen Startups, wie schwierig das ist, da rein zu kommen.
![[F]L4SH](https://pics.computerbase.de/forum/avatars/m/385/385939.jpg?1721566287){kind=avatar}
