Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsMehrere Gigawatt Rechenleistung: Anthropic baut Partnerschaft mit Google und Broadcom aus
Es baut doch keiner für Millionen und Milliarden Euro ein Rechenzentrum, ohne ansatzweise eine Kalkulation zu machen, ob das Ding überhaupt wirtschaftlich ist. Erst recht nicht bei den Amis.
@kIrK Dann wäre das aber bezogen auf den Stand der Planung. Man müsste ständig die Leistung korrigieren was Token/Sekunde oder intelligence per Token angeht obwohl sich die Hardware nicht ändert
@LamaMitHut
Ich nehme stark an, dass das berücksichtigt wurde. Wobei... so ganz sicher bin ich mir nicht. Mein Eindruck von den Amis ist, dass sie oft nur bis zum Quartalsende denken. 😬
PS: Krik, nicht kIrk. Ich habe meinen Nick nicht nach Capatin Kirk ausgesucht.
Ich schreib hier ja selten was im Forum, bin eher stiller Mitleser. Gerade kann ich aber nicht anders. Die Rechenleistung in Watt anzugeben ist sowas von Dummenfang, das nervt mich richtig. Meine Mikrowelle hat übrigens locker 100x so viel Rechenleistung wie mein Smartphone. Und ich als Mensch schaffe auf dem Fahrrad kaum 100 Watt Rechenleistung, ohne ins Schwitzen zu kommen. Meine CPU ist auch voll die Gurke, nur 65 Watt Rechenleistung. Also genauso schnell wie mein USB-C Netzteil.
Früher war mal RECHENLEISTUNG PRO WATT wichtig. Davon haben sich unsere schlauen Tech-Giganten nun verabschiedet ...Würde mir ja wünschen, dass Computerbase da etwas genauer hinschaut und solche sinnlos-Aussagen nicht übernimmt und in die Überschrift packt.
Die Rechenleistung steigt ja ständig - auf gleichem Platz. Somit auch die Token die man braucht /erzeugt.
Die Angabe mit der Leistungsaufnahme lässt daher eher erahnen wie viel Inframstruktur man grob gesagt braucht, um die Anforderungen zu bedienen. So ganz verkehrt ist die Angabe also nicht, wenn man in "Rechenzentren" und "Gigawatt" denkt und bei der Rechenleistung sowieso immer die neuesten Chips holt und dann eben innerhalb dieser Rechenzentren über die Jahre die Performance und Effizienz weiter nach oben skaliert.
Ich meine letzteres versteht sich von selbst. Der Bedarf an Rechenleistung ist niemals fix und skaliert eben mit dem technischen Fortschritt. Der Bedarf an Fläche und Energie ist hingegen das was durch finanzielle Mittel am ehesten limitiert ist und das Budget und die Größenordnung zumindest grob umreißt.
Neben dem primären Einfluss der Software und dem Hardware Setup des Rechenzentrums auf die Effizienz hier meine Einschätzung aus Sicht eines Versorgungstechniker:
Die Effizienz eines Rechenzentrums (RZ) wird stark vom Standort (u.a. Außenklima) und der Erschließung abhängen.
An welche Spannungsebene ist das Rechenzentrums angeschlossen (normalerweise 380 kV AC), wie effizient sind die Transformatoren bis letztendlich auf zweistellige V DC usw. (Das hängt vor allem vom Lastgang und Konzeption der Trafos ab, ob und wie die aktiv gekühlt werden etc.).
Die Meiste Elektrische Energie wird sich dann in Wärme verwandeln. Hier ist dann die Hauptfrage nach der Effizienz der Kühlung die ebenfalls einen Einfluss auf die gesamte Effizienz hat. Hier spielt vor allem die Außentemperatur eine große Rolle (normalerweise) oder es ist z.B. ein Fluss in der Nähe den ich als Senke zur Kühlung nutzen kann. (Im aktuellen Projekt nutzen wir z.B. einen Teil der absorbieren Wärme um ein naheliegendes Quartier zu heizen - Fernwärme).
Wenn man die Frage der Effizienz also beantworten will. Müsste man zuerst die Systemgrenzen festlegen.
Die Gesamtbetrachtung ist relativ komplex.
Und das reale Ergebnis zeigt sich erst im Betrieb.
Soweit mir bekannt geben vor allem Forschungsrechenzentren ihre Leistung in Flops/Watt an.
Für private Rechenzentren kann ich nur vermuten, dass das Setup (versorgungstechnisch) und der detaillierte Energieverbrauch nur für internen Gebrauch genutzt werden und solche Zahlen nicht oder nur eingeschränkt veröffentlicht werden. Das will man wahrscheinlich nicht mit jedem Teilen, sein geiles Energiedesign
Ferner Steigt man dann natürlich in Wirtschaftlichkeitsberechnungen, CO2-Abdruck usw. ein, das führt dann hier zu weit.
Als Endverbraucher/Unternehmer würde mich aber auch interessieren:
welche Energie wird bei welchen Anfragen ca. Verbraucht
was ist der CO2 Fußabdruck einer Anfrage nach KI-Unternehmen unterteilt
Noch eine kleine Ergänzung:
Die Angabe in GW Leistung finde ich in sofern sinnvoll, als dass sie die Herausforderungen im Netzausbau und ELT-Erzeugung gut darstellen kann. Man redet heute von ca. 20% Mehrbedarf durch Rechenzentren (entspricht ca. 50 GW für Deutschland). Gleichzeitig werden bis Ende der 30er ca. 40 GW Kohle vom Netz gehen.
Bei ganz grob 250 GW Gesamterzeugerleistung in D reden wir also über einen enormen Umbau der Elektroversorgung.
Dazu kommt die Elektrifizierung vom Gebäudesektor und Verkehr.
Bin ich eigentlich der einzige, der Gigawatt als Einheit für Rechenleistung für totalen Quatsch hält? Ich weiß, CB kann dafür nichts, die KI-Firmen selber geben das so an.
Token pro Sekunde finde ich viel passender, darunter kann man sich wenigstens ungefähr was vorstellen.
Also derzeit drückt man die Motorleistung in "frisst 20l" aus und anstatt 20l/100km und vor allem anstatt konkret Hubraum, Drehmoment, PS, … zu benennen, möchtest du jetzt, dass man schreibt "läuft glatte 120"? Ohne Motordaten, ohne Gesamtgewicht…noch nicht mal mit Angabe ob es ein LKW oder PKW ist?
Ist die Anzahl der Token pro Sekunde denn tatsächlich rein Hardware/Verbrauchsabhängig?
Ich dachte, dass die Software hier bei den Token/Sekunde gewaltig mit reinspielt, was dann bedeuten würde, dass die Angabe völliger Quark ist. Wenn dann würde TFLOPS Angaben technisch noch am meisten Sinn machen was die Leistungsfähigkeit der Hardware angeht. Dann kann sich aber halt auch niemand mehr was darunter vorstellen.
Unter 1 GW Leistung können wir uns ja noch etwas vorstellen. als Referenz, das KKW Isar hat eine Leistung von ca 2,2 GW. Heist ein Rechenzentrum mit 2 GW Leistung entspricht einem normalen Atomkraftwerk.
Umgerechnet in H100 wäre das zB. 5 Mio Chips.
Diese haben jeweils 60 TFLOPS bei FP64 Tensor Core.
dh. wir reden über eine Rechenleistung von 300.000.000 TFLOPS oder 300 EFLOPS.
Nur wie viele Token/Sekunde werden jetzt daraus?
Das hängt dann halt vom Modell ab...
Summa summarum, wenn man das in GW angibt, ist das schon einigermaßen praktikabel. Bevor man aber mit FLOPS, Anzahl Chips, oder Token/s anfängt, kann man auch lieber die Größe in Fußballfeldern bemessen.
Nö. Ich möchte Daten haben, mit denen man was anfangen kann. Wie viel Energie der Laden aus dem Stromnetz zieht, kann nur ein Datum sein.
Ich habe das jetzt zig mal erklärt. Lies!
Das ist halt gerade nicht passender. Deshalb auch mein Vergleich dort. Eine Zahl "180 PS" ist doch auch absolut nichtssagend ohne weitere Informationen zum Motor - und wo der eingebaut ist (Smart? SUV? LKW? ...).
Bei der Energie kann man zumindest noch abschätzen welche Größenordnung der Leistungsfähigkeit dahintersteht. Token pro Sekunde ist absolut nichtssagend, weil sich das extrem stark bei Hardware und vor allem verwendetem LLM unterscheidet.
Ein 2b Modell kann von der Ausgabequalität sehr schlecht sein, schafft aber selbstredend viel mehr Tokens pro Sekunde bei exakt gleicher Hardware im Vergleich zu einem deutlich größeren Modell.
Ein 120b MoE model schafft ebenfalls deutlich mehr Tokens pro Sekunde also ein 120b dense model. Also selbst bei gleichgroßen Modellen gibt es noch massive Unterschiede. Und selbst bei 120b dense vs. 120b dense würde es noch auf die konkrete NN Architektur ankommen.
Bedeutet konklusiv: Token/s ist Quatsch und viel weniger vergleichbar, als Energie.
Wenn, dann sollte man konkret VRAM Größe, VRAM Geschwindigkeit und TFLOP/s bzw. TOPS pro GPU (und FP16, FP8, FP4, INT8, INT4, ...) fragen. Das wäre dann zumindest konkrete Rohleistung, die man vergleichen kann.
Ergänzung ()
7H0M45 schrieb:
Ist die Anzahl der Token pro Sekunde denn tatsächlich rein Hardware/Verbrauchsabhängig?
Ich dachte, dass die Software hier bei den Token/Sekunde gewaltig mit reinspielt, was dann bedeuten würde, dass die Angabe völliger Quark ist.
Exakt und es ist noch viel schlimmer, als du hier schon richtig angefangen hast zu argumentieren: es hängt nicht nur massiv an der Software, sondern eben selbst bei identischer Software/Treiber/... auch noch massiv daran, was für LLM man verwendet, in welcher Präzision, mit welcher Kontextgröße, mit oder ohne MCPs, mit oder ohne Skills, usw. usf.
Beispiel:
Man kann ein Rechenzentrum haben, dass unter Einsatz von einem GW, sagen wir mal 1 Mio. Tokens/s erzeugen kann. Ein zweites Rechenzentrum macht aus einem GW 1,2 Mio. Tokens/s. Ein drittes Rechenzentrum steht schon seit 5 Jahren und macht wegen alter Hardware aus einem GW nur 250k Tokens/s.
Was hat man jetzt von der GW-Angabe? Fast gar nichts. Die ist eigentlich nur noch für Effizienz- und Wirtschaftlichkeitsrechnungen interessant.
Bei deinen PC kannst du doch auch nicht anhand der Maximalleistung des Netzteils auf z. B. die Grafikleistung schließen. Man kann ein 1-kW-Netzteil haben und der Rechner kann nur Solitär flüssig darstellen. Gleichzeitig gibt es aber PCs mit 500-Watt-Netzteilen, die Cyberpunkt 2077 mit dreistelligen FPS rendern können.
Wurde jetzt verstanden, dass die (elektrische) Leistungsangabe überhaupt nichts mit der Rechenleistung zu tun hat und maximal einen indirekten Hinweis gibt?
Tokens/s hingegen skalieren direkt mit der verbauten Rechenleistung (und der eingesetzten Software) und sind bei LLMs einer der wichtigsten KPIs. Was FPS für Spiele sind, sind Tokens/s für LLMs.
