OpenAI: Verluste steigen durch ChatGPT-Entwicklung auf 540 Mio. Dollar
OpenAI soll im letzten Jahr seine Verluste auf 540 Millionen US-Dollar verdoppelt haben, berichtet Business Insider. Zu den Kostentreibern zählen demnach die Entwicklung von ChatGPT sowie das Abwerben von Entwicklern, die zuvor bei Google beschäftigt waren.
Grundlage für die Berichte sind drei Personen, die gegenüber The Information über OpenAIs Finanzlage berichtet haben. Was die Kosten treibt, ist nicht nur das aufwändige Training der Modelle mit zweistelligen Millionensummen, sondern vor allem der Betrieb. Für die Infrastruktur, die für ChatGPT erforderlich ist, muss OpenAI je nach Schätzung täglich zwischen 700.000 US-Dollar und mehr als 1 Million US-Dollar zahlen.
Diese Kosten beziehen sich aber noch auf das alte GPT-3-Modell und gelten daher als tendenziell konservativ geschätzt. Chat-Anfragen von Nutzern, die über das im März vorgestellte GPT-4 laufen, sind deutlich aufwändiger zu berechnen und damit nochmals teurer. Finanziell abgesichert ist OpenAI aber durch die Partnerschaft mit Microsoft. Mit bis zu 10 Milliarden US-Dollar ist der Konzern investiert.
Darüber hinaus arbeitet OpenAI zunehmend daran, das Geschäftsmodell auszubauen. Neben dem API-Zugang für externe Firmen zählen dazu etwa der Abo-Service ChatGPT Plus sowie das geplante Business-Paket. Erwartet wird daher ein Umsatzsprung. In diesem Jahr soll OpenAI auf 200 Millionen US-Dollar kommen, heißt es bei Business Insider. Für 2024 soll der Umsatz dann auf über 1 Milliarde US-Dollar steigen.
Open-Source als ernstzunehmende Alternative
Die Kernfrage ist aber, ob die Entwicklung komplexer Sprachmodelle überhaupt so aufwendig sein muss. Kostenintensiv ist auf alle Fälle der Weg, den OpenAI bislang einschlägt. Das gilt insbesondere für ein Sprachmodell wie GPT-4, das so etwas wie die Speerspitze darstellt und laut Berichten über rund eine Billion Parameter verfügen soll. Parameter – auch als Gewichte bezeichnet – beschreiben das Wissen, das in einem Modell enthalten ist.
Modelle können aber auch einfacher und kostengünstiger sein. Vor allem im Open-Source-Bereich bewegt sich derzeit viel. Einer der Gründe für den LLM-Boom ist der Leak von Metas LLaMA-Sprachmodell im März dieses Jahres, es ist die Blaupause für viele weitere Modelle. Populär ist etwa das Alpaca-Modell von KI-Forschenden der Stanford University, das bei der Performance mit GPT-3 mithalten soll, aber nur 600 US-Dollar bei der Entwicklung kostet. Beim RedPajama-Projekt handelt es sich um einen quellenoffenen LLaMA-Nachbau, bei dem Metas Trainingsdatensatz reproduziert wurde.
GPT-3 ist auch der Vergleichsmaßstab des in Deutschland ansässigen Start-ups Aleph Alpha. Dessen Luminous-LLM verfügt zwar „nur“ über 70 Milliarden Parameter, soll aber an die Leistung von GPT-3 mit rund 175 Milliarden Parametern heranreichen – es ist also deutlich effizienter. Auch die kleineren LLaMA-Modelle mit 7 Milliarden Parametern sollen laut Metas Benchmark bereits mit GPT-3 mithalten.
Allein die Größe der Modelle ist nicht mehr ausreichend, um die Qualität und Performance zu beschreiben, heißt es in einer Analyse von The Algorithmic Bridge. GPT-3 stammt noch aus dem Jahr 2022. Seitdem erfolgten Verbesserungen beim Finetuning, der Qualität der Trainingsdatensätze sowie der Hardware-Software-Optimierung, so dass nun kleinere Modelle ähnlich effizient arbeiten können.
Google-Mitarbeiter: Open Source wird Tech-Konzerne übertrumpfen
Bemerkenswert ist daher ein internes Memo eines namentlich nicht genannten Google-Mitarbeiters, das über einen Discord-Server publik wurde und nun bei SemiAnalysis vorliegt. Selbst wenn es nicht stellvertretend für die Firmenpolitik steht, bietet es doch interessante Einblicke in die aktuellen Überlegungen. Denn der Kernsatz lautet: Open-Source-Sprachmodelle werden Tech-Konzerne wie OpenAI und Google langfristig überflügeln.
Bereits jetzt – also wenige Monate nach dem Meta-Leak – zeichne sich ab, dass die Open-Source-Entwicklung deutlich effizienter abläuft und die Modelle anpassbarer an bestimmte Aufgaben sind.
Open-source models are faster, more customizable, more private, and pound-for-pound more capable. They are doing things with $100 and 13B params that we struggle with at $10M and 540B. And they are doing so in weeks, not months.
Auszug aus dem internen Memo
Der Mitarbeiter empfiehlt daher, Google solle eher auf die Open-Source-Bewegung zugehen, statt mit OpenAI um immer größere Modelle zu konkurrieren, die nicht flexibel genug bei der Entwicklung sind.
Ähnliches prognostiziert man auch bei The Algorithmic Bridge. Kunden würden demnach nicht das beste Modell, sondern das mit dem besten Preisleistungsverhältnis nutzen wollen. Steigen die Kosten für Spitzenmodelle wie GPT-4 ins Astronomische, steigt das Interesse an Alternativen, die für spezifische Aufgaben ähnlich geeignet sind – und deutlich weniger Kosten.