News AMD × Cerebras: Helios trifft Wafer-Scale Engine für ultraschnelles Inferencing

[ascer]

@Backfisch selbstredend: es gibt ja eine enorme Nachfrage. So groß, dass selbst OpenAI, Anthropic, ... ja häufig nicht mit der Skalierung der Rechenzentren hinterherkommen. Und das obwohl die Kosten derzeit noch so hoch sind.

Man sieht ja überall, dass bestimmte Dinge dann wöchentliche, monatliche, ... Limits bekommen oder aber eben diverse Verbraucher es halt nicht nutzen, weil es ihnen zu teuer ist.

Das ist z.B. genauso wie beim Auto: jeder will eins haben, aber nicht zu beliebigem Preis. Sobald aber Fließbandfertigung usw. erstmal einen deutlich geringeren Stückpreis erlaubte, brummte der Markt. Im wahrsten Sinne des Wortes.

Man sieht es ja selbst hier auf CB, wo der Durchschnittsuser (und Unternehmen) sicherlich generell mehr zahlt für KI als außerhalb unserer IT-Bubble. Und selbst hier im Forum liest man immer wieder "Fable 5 wurde bei uns verboten, zu teuer" oder "$500 Limit pro Monat" usw. usf.

Wenn Hardware leistungsfähiger und effizienter wird, kannst du mehr Kunden gleichzeitig bedienen und das auch noch zu einem geringeren Stückpreis (Token-Preis). Genau das wird die Profitabilität herstellen und den Markt erst so richtig öffnen.

 

[Backfisch]

Du schreibst es doch selbst: Der Fallschirm wird gebaut während sich die Unternehmen im freien Fall befinden - momentan sind sie noch lange nicht im Bereich der Profitabilität angekommen, es bestehen aber bereits Verpflichtungen (compute) im Bereich hunderter Milliarden Dollar. Die Kosten müssen runter, ansonsten hat das Schiff bald gar keinen Auftrieb mehr.

Die Nachfrage ist da, ja - alle Firmen schauen gerade, ob Sprachmodelle auch bei ihnen zu Einsparungen führen können. Ein mögliches Ergebnis könnte aber auch lauten, dass es eben keinen Nutzen hat weiter Geld zu versenken.

 

[JP-M]

wenn wie bei der Immobilienkrise niemand mehr die Häuser haben will und eine massive Abwertung stattfindet.

Das wäre aber bereits das Platzen. Das Ende der Wette. Im Moment läuft die Wetter aber immer noch. Und noch immer kommt nicht so viel Geld raus, wie reingeht, und die Milliarden müssen immer noch verdient werden.
Es mag sein, dass die Hardware irgendwann abgeschrieben und aus den Büchern raus ist. Daraus ergibt sich aber nicht automatisch wieder ein Haben auf einem anderen Konto.

 

[ETI1120]

Es kommt übrigens noch doller. AMD hat Mal wieder eingekauft. Sie haben Taalas gekauft das von der selben Person gegründet wurde wie Tenstorrent.

Taalas baut Chips die genau auf ein Modell hin optimiert sind und können damit Tokens gigantisch schnell generieren. Selbst Cerebras ist im Vergleich dazu eine "Schlaftablette".

Dabei müssen sie jedoch nicht den ganzen Chip neu erstellen, sondern nur neu verdrahten.

Sollte es AMD gelingen diesen Chip mit den Verdrahtungsmöglichkeiten eines FPGAs zu kombinieren könnte ein sehr spaßiges Produkt herauskommen.