Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsKI-Beschleuniger: Microsoft beschleunigt Azure mit Maia 200 für KI
Beim Thema KI und KI-Beschleuniger führt in der Regel kein Weg an Nvidia vorbei. Andere Hersteller inklusive Branchenriesen wie Amazon und Google tun sich schwer dagegen, versuchen es aber immer wieder ein Mal. So erneut Microsoft mit „Maia 200“, einem KI-Chip für die Azure Cloud, der sich gegen die Konkurrenz stemmt.
Microsoft tut sich schwer mit neuen Produkten, diese auch wirklich erfolgreich auf dem Markt zu platzieren.
Wenn ich es richtig versanden habe, ist man damit voll an das Microsoft Universum gebunden. Ob das nicht die Interessenten einschränkt?
@NameHere
Ist das nicht bei allen Cloud-Anbietern so, also dass man quasi Vendor-Lock-In hat? Bei AWS weiß ich, dass man deren Bibliotheken benutzen muss, um die Cloud "richtig" zu verwenden. Die Bibliotheken funktionieren in einer anderen Cloud natürlich nicht.
Ich kann mir gut vorstellen, dass das bei der Konkurrenz genauso ist.
Ansonsten hier noch ein kleines Diagramm über die Marktanteile. Rund 1/4 der Cloud-Nutzer können (theoretisch) auf Maia zugreifen:
Woher kommt denn eigentlich der unsägliche Trend immer Werte mit 2x Sparsity anzugeben?
Das ist imo keine Rechenleistung, da man Berechnungen einfach weglässt. Wenn man Gewichte entfernt finden die berechnugnen gar nicht erst statt.
Ob man Gewichtungen überhaupt entfernen kann und ob das dann im Mittel Faktor 2x ist, kann man auch noch gar nicht sagen.
Zumindest beim Training kann man das vergessen, da gibts kein sparsity. Und ob man beim Inferencing so überhaupt Rechenzyklen sparen kann hängt stark vom Anwendungszweck und Aufwand der Entwickler zur Optimierung des Modells ab. 2x structured Sparsity ist nicht der Default.
Für mich sind diese Sparsity-Angaben ein reiner Taschenspielertrick. Klar kann man Modelle optimieren indem man Gewichtungen entfernt, aber das hat imo nichts mit der Hardware zutun sondern mit der Software. Ich will natürlich trotzdem wissen was die Hardware in echt kann und auf der Basis vergleichen können.
Beim Thema KI und KI-Beschleuniger führt in der Regel kein Weg an Nvidia vorbei. Andere Hersteller inklusive Branchenriesen wie Amazon und Google tun sich schwer dagegen,
Sind das nicht ganz andere Chips mit anderen Produktionslinien? Ich glaube nicht, dass das so vergleichbar ist. Die einzige Konkurrenz ist hier die entsprechend mit HBM bestückte nVidia GPU, die ein Normalo eh nie gekauft hätte.
War das mit dem RAM nicht ein gewisser Sam Altmann, der einfach mal 40% der Jahresproduktion gekauft hat? Keine Ahnung ob das stimmt, aber wenn, dann kann eigentlich niemand den Speicherherstellern einen Vorwurf machen. So eine Menge kann man nicht einfach aus dem Boden stampfen.
Wenn sie dann auch noch alles aufkaufen was am Markt verfügbar ist, dann wundert mich eigentlich gar nichts mehr. Zutrauen würde ich es ihm. Wir reden hier von der Firma die ein speech to text (whisper...) tool gebaut hat, damit sie YouTube Videos inhalieren können, da sie schon alles Textmaterial in den Trainingsdaten haben.
An der Stelle ist meine Aussage etwas "missverständlich" - was an der Kürze liegt. Ich wollte an der Stelle ausdrücken, dass die meisten Leser bei KI-Beschleuniger erst mal an Nvidia denken, nicht an Google, Amazon oder Microsoft und nicht mal an AMD. Das merke ich auch im Alltag aktuell, das KI und Beschleuniger eben in der Regel mit Nvidia gleichgesetzt wird.
Sind das nicht ganz andere Chips mit anderen Produktionslinien? Ich glaube nicht, dass das so vergleichbar ist. Die einzige Konkurrenz ist hier die entsprechend mit HBM bestückte nVidia GPU, die ein Normalo eh nie gekauft hätte.
Ja, das ist richtig. Siehe auch meine Anmerkung zu meinem eigenen Kommentar. Dennoch spüren wir alle die Auswirkungen durch den Trend, KI Beschleuniger zu priorisieren und dort ohne Ende Marge zu fahren.
Ob HBM am Ende des Tages Sinnvoll in Consumer und Prosumer Produkten ist sei mal dahingestellt, aber es gibt auch genug Leute im Forum, die sich eine RTX 5090 für E-Sport Games und LWS2025 kaufen...
Was ja auch durchaus berechtigt ist, insofern dass Nvidia als einziger überall präsent ist. Jeder Cloud Provider bietet Nvidias Lösungen an und man kann sich selber die auch in allen Größen kaufen - vom vollen Stack auf der kleinsten Geforce bis hin zum kompletten Rack. Bei den Chips der Cloud-Provider ist man dann halt wirklich doppelt im Vendor-Lock-In (einmal was den Hardwarehersteller betrifft und einmal was den Betreiber betrifft).
Die Option, sich die "große KI" in den eigenen Keller zu stellen, hat man halt eigentlich nur mit Nvidia oder AMD.
Ergänzung ()
Tenferenzu schrieb:
Sind das nicht ganz andere Chips mit anderen Produktionslinien? Ich glaube nicht, dass das so vergleichbar ist. Die einzige Konkurrenz ist hier die entsprechend mit HBM bestückte nVidia GPU, die ein Normalo eh nie gekauft hätte.
Sie sind ähnlich genug, dass sie aus den gleichen Produktionslinien kommen können. Sowohl HBM als auch DDR, GDDR und LPDDR sind eben alles DRAM. Die unterscheiden sich dann durch die Größe, die Anbindung und das Packaging, aber die Verwandschaft ist groß.
Vergleichbar damit, wie aus der gleichen Fertigung Server-CPUs und Desktop-CPUs kommen können, oder GPUs und somit auch alle um die dafür passenden Kapazitäten für Logik-Halbleiter konkurrieren.
@Tenferenzu Ist doch ganz einfach: Die Produktionen werden zu Gunsten der HBM-Ausbeute gedrosselt oder sogar ganz eingestampft, weil das mehr Gewinn abwirft. (Micron).
