News Mehrere Gigawatt Rechenleistung: Anthropic baut Part­ner­schaft mit Google und Broadcom aus

[mischaef]

Anthropic sucht weiterhin nach Wegen, die eigenen Kapazitätsengpässe zu beheben. Dazu hat das Unternehmen nun eine Partnerschaft mit Google und Broadcom angekündigt, die mehrere Gigawatt an TPU-Kapazität ermöglichen soll. Davon könnten auch Drittanbieter-Agenten profitieren, die zuletzt noch blockiert worden waren.

Zur News: Mehrere Gigawatt Rechenleistung: Anthropic baut Part­ner­schaft mit Google und Broadcom aus

 

[Krik]

Bin ich eigentlich der einzige, der Gigawatt als Einheit für Rechenleistung für totalen Quatsch hält? Ich weiß, CB kann dafür nichts, die KI-Firmen selber geben das so an.

Token pro Sekunde finde ich viel passender, darunter kann man sich wenigstens ungefähr was vorstellen.

 

[Flutefox]

Token pro Sekunde finde ich viel passender, darunter kann man sich wenigstens ungefähr was vorstellen.

Damit können die meisten noch weniger anfangen...

BTT: Das man ausgrechnet mit Broadcom, der Heuschrecke der IT-Industrie paktiert halte ich für nicht gut. Man hat ja gesehen, was die VMware Übernahme für einen Murks verursacht hat.

 

[PeacemakerAT]

Bin ich eigentlich der einzige, der Gigawatt als Einheit für Rechenleistung für totalen Quatsch hält?

Ist halt aus Sicht der Betreiber die maßgebliche Einheit, weil hier die notwendige Energie Versorgung entsprechend abgebildet ist.

 

[Abrexxes]

@Krik , der Stromverbrauch sind halt laufende Kosten und der grösste Posten.

 

[Krik]

Damit können die meisten noch weniger anfangen...

Es trifft es zwar nicht ganz, aber den Laien kann man das mit verarbeitete Wörter pro Sekunde recht einfach umschreiben. Das rafft er dann auch.

@Abrexxes
Man kann das ja zusätzlich angeben.

 

[aluis]

500 Geschäftskunden jeweils mehr als eine Million US-Dollar pro Jahr ausgeben

Das hört sich so an, als würde ich den Laden mit meinem Claude Max Abo nur belästigen^^

 

[Benutzer0815]

Token pro Sekunde finde ich viel passender, darunter kann man sich wenigstens ungefähr was vorstellen.

Finde ich überhaupt nicht. Ich habe absolut keine Ahnung, wie viele Token eine Anfrage benötigt. 10, 100, 1000000? Bei Gigawatt weiß ich wenigstens welche Größenordnung dort benötigt wird. Und ich würde behaupten die breite Bevölkerung kennt ihren eigenen Stromverbrauch und kann hochrechnen, aber von Token haben die keine Ahnung.

 

[fdsonne]

Finde ich überhaupt nicht. Ich habe absolut keine Ahnung, wie viele Token eine Anfrage benötigt. 10, 100, 1000000?

Aber wo in der Technik Welt hat man das als Laie denn schon?
Es geht dabei doch eher um die Vergleichbarkeit untereinander, etwas was doppelt so viele Token pro Zeiteinheit schafft, ist effektiv quasi doppelt so schnell. Kombinieren kann man das ja weiterhin durch Leistungsaufnahme und bringt dann sogar noch eine Effizienzmetrik mit. Quasi Token pro Sekunde und GW.

Bei Gigawatt weiß ich wenigstens welche Größenordnung dort benötigt wird. Und ich würde behaupten die breite Bevölkerung kennt ihren eigenen Stromverbrauch und kann hochrechnen, aber von Token haben die keine Ahnung.

Ich denke viel eher, die Masse kann sich in Zahlen gar nicht vorstellen was GW in der Größenordnung überhaupt ist.

Und über die Zeit ergibt so eine Einordnung auch überhaupt keinen Sinn. Das kommt in etwa der Aussage nahe, ich fahre nen VW Golf. Ja welchen denn? 1er, 2er, ... 7er, 8er? Kombi? GTI? R? Zum Zeitpunkt der Aussage wo es vielleicht nix vergleichbares gibt, mag das noch funktionieren. Aber über die Zeit nicht...

 

[FrAGgi]

Und ich würde behaupten die breite Bevölkerung kennt ihren eigenen Stromverbrauch (...)

Da wette ich aber alle meine verbrauchten kWh dagegen.

 

[Uzer1510]

Es trifft es zwar nicht ganz, aber den Laien kann man das mit verarbeitete Wörter pro Sekunde recht einfach umschreiben. Das rafft er dann auch.

@Abrexxes
Man kann das ja zusätzlich angeben.

Naja du meinst man solle eine hypothetische Tokenztahl angeben wenn ein User das gesamte System alleine nutzen würde? Dann hat man da keine Ahnung 4 Millionen? oder 4 Milliarden?

Weiss nicht finde nicht dass das soooooo viel Sinn macht

Finde GW eigentlich schon ok - ausser es gäbe den Gigasprung in der Effizienz

1 GW+ ist ein Brocken der so viel braucht wie eine mittlere Grossstadt wie Stuttgart.

Immerhin bei Anthropic platzt die Blase nicht

 

[Krik]

Ich habe absolut keine Ahnung, wie viele Token eine Anfrage benötigt.

Manche KIs geben das an.

Ansonsten kann man sich daran halten:

Wenn du nur nach dem Wetter fragst, wirst du deutlich unter 1000 Tokens bleiben.

Bei Gigawatt weiß ich wenigstens welche Größenordnung dort benötigt wird.

Aber das ist doch nur die elektrische (oder thermische oder beides) Leistung. Das ist, als ob man fragt, wie schnell ein Auto fährt und als Antwort bekommt man dann 150 KW. Ein Traktor mit 150 KW fährt vielleicht 50 km/h. Ein Familienauto erreicht damit mehr als 180 km/h.

 

[Uzer1510]

trotzdem hat man die grösse der prinzipiellen leistungsfähigkeit der rest ist nur schnöde Mechanik.

 

[Krik]

Naja du meinst man solle eine hypothetische Tokenztahl angeben wenn ein User das gesamte System alleine nutzen würde?

Jo, den Rest kann man dann mit einem Dreisatz erahnen, also wie viele Kunden ungefähr gleichzeitig bedient werden können, usw.

die grösse der prinzipiellen leistungsfähigkeit

Also ich kann von GW ausgehend nicht die Leistungsfähigkeit eines Rechenzentrums einschätzen.

Industry-standard average tokens per ChatGPT consumer message/interaction (input + output) is typically ~800–2,000 tokens (short chats ~500–1,000; longer reasoning/coding sessions 2,000+).

Quelle
Wenn man jetzt noch wüsste, wie viele Tokens das Rechenzentrum schafft, dann könnte man ausrechnen, wie viele Leute es bedienen kann.

 

[Spriti]

den Laien kann man das mit verarbeitete Wörter pro Sekunde recht einfach umschreiben

Ja aber wie uncool und nicht hipp klingt das denn? ;-)

 

[Uzer1510]

Naja ich denke das kann man mit GW doch ganz grob genauso - so 1,5 GW reichen z.B. für den kleinsten der "Grossen" AI Systeme - für Musks Colossus 2.

Jo klar tokens ist sicher priunzipiell besser - aber da ja inzwischen fast alle Modelle Multimodal sind - wie viele Tokens braucht Sprach, Bilderekennung, Bilderzeugung, Video und Sounderzeugung etc. Und was verbrät reasoning?

Eine direkter short chat braucht vielleicht 2000 tokens - ausser der short chat besteht aus einer Agentenanweisung bau mir mal ein besseres GTA 6 als Rockstar bringt in der besten Unreal Grafik die es gibt

Und ich glaube dahin geht AI - in immer unspezifischere Fragen durch Nutzer - also nicht mehr wie funktioniert XY sondern mach mal eine iPhone App die die Gravitaion lokal aufhebt.

Durch immer mehr Multimodal Reasoning und Agenten verliert halt token / sec zunehmend an Vergleichbarkeit - das war ok für so eher einfache Textwissensanfragen - finde ich, weil ja immer mehr hinter den Kulissen irgendwo rumwerkelt.

Wer weiss ob heute ein "mach mal nen kleinen Comic film über so'n Raumschiff" nicht dazu führt dass die AI das in Agenten auteilt und damit das auf dem Computerscreen des Videos richtig aussieht kurz mal die Rätsel der Gravitation löst und beweist ob es Gott gibt oder nicht und was der so auf Amazon bestellt, weil irgendein Agent das wichtig fand damiot das korrekt dargestellt wird und man aus Versehen auf Ultra Max Super Thinking and Reasoning gestellt hatte.

 

[Krik]

Musks Colossus 2

Und wie viele Tokens/s bzw. Kundenchats/s schafft das?

Ich finde es erstaunlich, dass hier im Forum bei GPUs über FPS, Leistungsaufnahme und Energieaufwand pro generiertem Bild diskutiert wird. Aber bei Rechenzentren ist eine ähnliche Metrik nicht erwünscht?

 

[Uzer1510]

Wäre das sinnvoll hätte sich das auch etabliert - aber hat es nicht.

GW folgt halt dem Prinzip dass alle grob gleich effizient sind - und man so halt grob miteinander vergleichen kann wer den "längsten" hat

Für einen grossen Anbieter der international mitspielen will braucht es halt inzwischen ab 1 GW aufwärts für ein AI Zentrum damit das nicht mehr in der Hobbyliga spielt. Ich finde das eine ausreichende Einordnung.

Die tatsächliche Leistungsfähigkeit im Endnutzer Bereich hängt dann eh von 1000 Faktoren ab.

 

[PeacemakerAT]

Aber bei Rechenzentren ist eine ähnliche Metrik nicht erwünscht?

Deine Frage war eine andere ...

Bin ich eigentlich der einzige, der Gigawatt als Einheit für Rechenleistung für totalen Quatsch hält?

Eine sinnvolle Metrik ist sicher von Vorteil, wobei das ja schon schwierig ist darzustellen, weil der Verbrauch je Aufgabenstellung extrem variiert. Als totalen Quatsch empfinde ich Gigawatt deshalb nicht, damit hat man wenigstens eine Vorstellung vom Energiebedarf der hochgelobten KI Anwendungen.

 

[Krik]

Ich finde das eine ausreichende Einordnung.

Ich nicht.

Die tatsächliche Leistungsfähigkeit im Endnutzer Bereich hängt dann eh von 1000 Faktoren ab.

Da wird es sicher Statistiken geben, denn die Betreiber werden ausrechnen, wie viele zahlende Kunden sie mit einem Rechenzentrum bedienen können. Und darauf kommt es doch am Ende an.