Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsNicht mehr nur GPUs: Nvidia Groq 3 LPU erhöht Inference-Durchsatz massiv
Der im Dezember zwischen Nvidia und Groq geschlossene Technologie-Lizenzvertrag trägt zur GTC 2026 erste Früchte. Eine neue Language Processing Unit (LPU) soll den Inference-Durchsatz mit niedriger Latenz massiv erhöhen. Demnach wird bei Nvidia nicht länger nur auf GPUs gesetzt. Zum Einsatz kommen sie im neuen LPX-Rack.
Für Interferencing im größeren Maßstab waren die Lösungen von Nvidia eh zu teuer, nicht umsonst setzen da einige auf Eigenentwicklungen. Bezweifle das es kurzfristig den Druck von den GPUs nimmt, der Markt ist einfach zu groß bzw. im Verhältnis noch zu ungesättigt.
Laut Microsoft liegt das Problem ja nicht bei den Chips, dass man die nicht bekommt, sondern an der Energie und an Speicher. Silizium scheint aber nicht das Problem zu sein und neuste Prozesse sind immer ausgebucht Aufgrund der schlechten Yield-Rate.
Die seltsame Rochade ist wahrscheinlich darauf zurückzuführen, dass nVidia kartellrechtliche Hürden umgehen wollte. Hinzufügen möchte ich, dass diese Chips von Groq von Samsung Foundry gefertigt werden wird. Jensen Huang hat sich gestern bei GTC Keynote extra bei Samsung bedankt.
War nur eine Frage der Zeit. Neue Fertigungstechnologien entwickeln wird immer aufwändiger, da bleibt nur die Architektur zu optimieren, u.a. eben mit immer weiter spezialisierten Recheneinheiten.
Ob wir passend zur RTX 6090 oder 7090 einen dedizierten Groq Chip mit verbaut bekommen? Dann muss man aber zwischen Vram oder Inferenz wählen beim Kauf
bei der Präsentation gab es eine Grafik die im Artikel leider fehlt, die wo erklärt wird das die LPU neue Anwendungen (mehr Nachdenken) zu einem akzeptablen Preis ermöglicht ( ich fand das sehr anschaulig). Das wird also eher zu weiteren Anwendungen zusätzlich zu den bestehenden führen.
Offiziell handelt es sich um einen nicht-exklusiven Deal, denn Groq wurde für den propagierten Preis nicht von Nvidia übernommen, es bleibt eigenständig. Das Abkommen sieht aber vor, dass Groq-Gründer Jonathan Ross und Groq-Präsident Sunny Madra sowie weitere Mitarbeiter zu Nvidia wechseln.
Das ist effektiv dennoch eine Übernehme. Dieses Vorgehen wird nur genutzt ums sich Probleme mit der FTC zu sparen und es ist ziemlich häufig heute zu tage. Das Talent ist jetzt bei Nvidia, mit den 20mrd für die Lizenz wurden effektiv die Investoren ausbezahlt. Groq ist damit nur noch eine leere Hülle der vorherigen Firma, mit denen kein andere Unternehmen mehr arbeiten wird.
Für Menschen die einfach nur zu Hause Lokal eine KI betreiben wollen mit einem ordentlich großen Modell und dessen Output nicht in zeitlupe erfolgt...
Verstehe ich das richtig dass man wenn man nicht unbedingt eine KI trainieren will also ein Modell trainieren will sondern nur mit dem Modell arbeitet also Output erzeugt... Dann gar nicht so eine unfassbar große grafikkarte mit unendlich vielen Speicher bräuchte sondern vielleicht irgendwann nur.... Eine add-on-karte mit einer LPU?
Keine Ahnung was sowas für Endverbraucher kosten würde wenn man es in Massen also millionenweise produziert...
