News KI-Wettrüsten: OpenAI hat 2025 insgesamt 34 Mrd. Dollar ausgegeben

[DerHotze]

Viele der 20 Mrd "verlorenen" Dollar stecken als "Gewinn" in irgendwelchen anderen US Firmen. Das treibt zwar der BIP der USA hoch, aber real wird damit fast kein Mehrwert geschaffen.

Wird spannend auf wen die USA mit dem Finger zeigen wird, wenn die Blase platzt.

Ich würde sagen auf die nächste Regierung, wie man das so macht als aktuelle Regierung.

[...]
Persönlich sehe ich die Amis schon in der schwersten Wirtschaftskrise seit 29 wahrscheinlich, das Kapital fließt in Richtung KI, erzeugt fake Wachstum, erzeugt null Industriegüter (die abhängigkeit von Asien steigt und steigt) und killt jobs zuhauf. Oben drauf noch die Zölle die ja auch massiv mehr Jobs killen als schaffen..... Wenn die Blase angestochen wird rumpelt es richtig.

Bleibt die Frage nach dem "Warum"!
Denn die Zusammenhänge, dass virtuelle Güter in kriesen nicht viel Wert haben, haben einige "Reiche" die in z.b. Gold, Devisen oder andere Rohstoffe investieren, schon begriffen.

Das Geld ist ja auch nicht weg wenn die Blase platzen sollte. Es ist nur woanders!
Das Geld der unglücklichen Spät-Investoren liegt nach dem Crash physisch auf den Konten der US-Finanzbehörden (IRS), in den Cash-Beständen von Giganten wie z.b. Microsoft und Amazon sowie auf den Konten der frühen Risikokapitalgeber (Venture Capitalists) an der Wall Street und im Silicon Valley.
Mit anderen Worten: Das investierte Geld kehrt zu seinem ursprünglichen Besitzer plus Gewinn zurück.

Spoiler: 1. Die Quelle des Geldes (Der Ursprung)

Das Geld entsteht ursprünglich im US-Finanzsystem. Große Venture-Capital-Fonds (wie Sequoia oder Andreessen Horowitz) und Tech-Giganten wie Microsoft und Amazon sitzen auf riesigen Cash-Bergen. Sie investieren dieses Geld als Erste in neue Ideen (wie OpenAI). Sie stoßen die Blase an und „leihen“ dem Markt quasi das erste Kapital.

Spoiler: 2. Der Köder und das Einsammeln

Durch den Hype werden die breite Masse und ausländische Investoren angelockt. Pensionskassen, europäische Fonds und Millionen Kleinanleger bringen nun ihr Geld in das System ein, um die teuren Aktien zu kaufen.

Spoiler: 3. Die Rückkehr nach Hause

Wenn die Blase platzt, schließt sich der Kreis. Das Geld, das die Kleinanleger eingebracht haben, fließt über die Cloud-Mieten, Aktuenverkäufe der Gründer und Steuern direkt zurück an:

• Spoiler: Die US-Finanzbehörden (IRS)

  • Bei JEDEM Aktienverkauf, ein hohes Gehalt oder ein Firmengewinn zieht IRS einen Anteil von 20 % bis 37 % in hartem, echtem Cash ein. So wandert der Wohlstand der weltweiten Anleger Schritt für Schritt direkt in den US-Staatshaushalt.
• Die Konzernkassen von Amazon und Microsoft (Couldmieten; Infrastruktur; Software)
• Die Venture-Capital-Fonds im Silicon Valley (Aktienverkäufe; Leerverkäufe vor dem Knall)

Das war bei der Dot-Com-Blase auch schon so!
Bei der Immo-Blase 2008 kam es noch zur Bankenrettung weil "tO bIg To fAiL"!

Fazit: Das System gewinnt immer
Schaut mal nach: Tulpenzwiebeln (1637), Eisenbahnen (1840), Dotcom-Websites (2000), Immobilien (2008)

 

[Grundkurs]

6

Laut meiner Recherche lag der Umsatz 2024 wohl bei ca 6 Milliarden. Das gehört meiner Meinung nach schon mit den Artikel. Sonst hat man ja gar keine Relation.

Milliarden Umsatz sind ja quasi nichts bei den Ausgaben. Als Investor könnte ich bei diesen Zahlen und der Konkurrenz von OpenAI nicht ruhig schlafen.

 

[madmax2010]

@CM286 Da ich dein profilbild gerade sehe.. Hast du zugang zu einem? Ich habe Transformer basierte sprachmodelle bisher nur auf 386SX portiert. Habe aber lust noch extremer zu werden

 

[CM286]

@madmax2010 Leider nein, der letzte ist bestimmt schon 20 Jahre her..

Was sind denn die Erkenntnisse der Portierung? „Krass wie langsam der ist..“?
😉🤣

 

[madmax2010]

@CM286 Das gegenteil ist der Fall muss ich sagen.
Der Reiz fuer mich ist, ist dass die Hardware um einiges älter als ich ist.

Das Betriebssystem habe ich 2015 angefangen from scratch zu bauen. Mit Hilfe von GLM / KIMI / Codex habe ich das die letzten Monate deutlich beschleunigt und in einen nutzbaren zustand b
Ich habe dieses 7M Parameter Modell auf 500k Params herunter skaliert. Damit bin ich bei 40 Rekursionsschritten komplett Compute limitiert und brauche nur ca 600KB RAM.
Das Modell habe ich INT8 Quantisiert, da der 386SX 16 Bit Integer kann, kann ich AL und AH nutzen um 2 Parameter pro takt gleichzeitig zu verarbeiten.
Multiplikationen habe ich durch Bit-Shifts implementiert und brauche dadurch pro aktivierung statt 3 Taktzyklen nur einen.
Bei dünn besetzten Matrizen, wie sie hier vorliegen, gibt es Instruktionen die Zero-Skipping erlauben.
ReLU behandle ich wie eine Stepfunktion und schaue quasi nur auf das Vorzeichen.
Fuer SoftMax habe ich eine 256 Byte lookup table im Cache, mit dem ich hier von 20 Zyklen auf 5 runter komme.

Ich habe ein halbwegs brauchbares Sprachmodell in 0.5MB RAM, auf Hardware die älter als ich ist und komme auf 2 Token/Minute . Ist nicht viel, aber schon auch ein bisschen krass.
Als ich angefangen habe lag das ganze bei 1 Token pro Stunde.
Die Usability liegt irgendwo zwischen GPT2 und 3, nur etwas langsamer.


Ich habe viel darüber gelernt wie effizient man Algorithmen auf jede Art von Hardware optimieren kann wenn man will. Dazu habe ich dadurch recht viel CUDA Assembler / PTX ISA gelernt.


Jetzt muss ich eventuell die Trainingspipeline weiter entwickeln, vorher will ich aber einen kleinen TCP/IP Stack entwickeln und Wifi über die Serielle anschließen.

Es ist ein reines lernprojekt, jedoch denke ich, dass ich manches davon portieren kann, um LLMs auf moderner Hardware effizienter zu betreiben.