News „Rechenbasierte Nutzung“: Video-Prompt reizt 5-Stun­den-Limit bei Gemini aus

[Blaexe]

Doch, genau die Bubble ist es. Die Begrenzung kommt doch von den viel zu hohen Kosten der KI-Machine. Scheint komplett ineffizient zu sein und oh je wie soll sich das rausverdienen.

Nutzungslimits sind nicht automatisch ein Zeichen, dass KI „ineffizient“ ist oder sich nie rechnen kann. Sie zeigen erstmal dass die Nachfrage ist riesig ist und die verfügbare Rechenleistung nicht hinterher kommt. Das ist eher bullish.

Klar, Inferenz ist teuer, vor allem bei Reasoning, Video, langen Kontexten und Agenten. Aber gleichzeitig werden Modelle, Software und Hardware laufend effizienter. Viele Rechenzentren laufen außerdem noch gar nicht flächendeckend auf der neuesten Chipgeneration (und die sind oft um ein Vielfaches effizienter).

 

[Artanis90]

Das kapieren die meisten nicht. Nur wurde es bei uns so, dass selbst die Ultra-Abos zu schnell aufgebraucht waren, die API-Kosten in die Höhe geschnellt sind. Deswegen haben wir uns für lokale Hardware entschieden. Inzwischen hat es sich schon refinanziert und wir sind am Erweitern.

Und die Antworten aus der lokalen KI sind zu gebrauchen? Oder dauerts ewig bis was kommt und dann ist es eher eine schwache Antwort? Deepseek als Modell?

Lokal wäre es auch spannend. Aber mit den aktuellen RAM-Preisen und den 5090er Preisen, falls ihr die einsetzt, muss man es sich gut überlegen die hohen Anschaffungskosten.

 

[Syrato]

@MarcoHatFragen Google wird eines der wenigen Unternehmen sein, welches ihre KI ohne Probleme querfinanzieren können, weil der Rest so gut abwirft.

@lazsniper @Syntax_41 wenn ihr euer Wissen teilen möchtet, wir würden gerne mehr dazu erfahren.
Welche Modelle, lokal, was macht ihr damit?

Bei der Nutzung als "normalen Chatbot" sind die neuen Limits für mich übrigens absolut unproblematisch.

Mit ein bisschen Glück, begrenzen uns die AI Firmen weiter, aber gut für dich, dass du Begrenzungen magst 🙃 .

 

[Fonce]

Geht man davon aus, dass ein Entwickler 20-50% mehr Code generiert, wären 500€/Monat durchaus noch günstiger als eine halbe zusätzliche Stelle.

Weil LoC/Zeit schon immer ein super KPI war

 

[cuthbert]

Wenn eine Anfrage mit hoher Komplexität mehrere kWh an elektrischer Leistung erfordert, dann wollen die zum einen erzeugt und zum anderen auch bezahlt werden.

Wenn KI, DIE Zukunftstechnologie schlechthin sein soll, wie sie überall dargestellt wird, dann kann es ja nicht der Weg sein, dass durch den Energieverbrauch immer weiter hoch zu regeln, was bedeutet Mehr Leistung -> höherer Preis.

Was mich zu besagter Effizienzsteigerung führt.
Denn wer das beste Modell mit möglichst wenig Energieverbrauch und Rechenleistung anbieten kann, kann die Marktpreise bestimmen. Das machen Deepseek und Co. aktuell vor. Wenn Google, Anthropic, OpenAi und Co. da nicht mitmachen, werden sie sehr schnell in Bedrängnis geraten. Aktuell sind die Ergebnisse von Deepseek und Co. noch vllt 6-12 Monate hinter den Amis hinterher, dafür kostet das dann aber auch nur ein Zehntel.
D.h. in ein paar Monaten werden wir die Leistung von Opus 4+ für deutlich weniger Kosten sehen, wenn das so weiter geht.

Irgendwann wird man ein Niveau erreichen, bei dem viele Kunden sich fragen wird, ob denn der 10fache Preis für das aktuelle Frontier Modell wirklich noch lohnt.

EDIT:

Weil LoC/Zeit schon immer ein super KPI war

Ich hoffe nicht ... Aber leider sieht man aktuell durchaus eine Tendenz dazu, dass immer weniger Juniors eingestellt werden. Das ist natürlich eine fatale Entwicklung, denn die Alten sind irgendwann weg und haben auch oft nicht den Riecher für die aller neuesten Trends...

Meine Hoffnung ist, dass mehr Effizienz beim Coden auch dazu führen wird, dass IT-Leistung an sich günstiger wird und damit dann wieder attraktiver. Anforderungen, die man vor 5 Jahren schon gedanklich verworfen hat, weil vermutlich zu teuer, könnten nun doch im Bereich des Möglichen liegen.

Ich hoffe, das gleicht sich also irgendwie aus. Wobei man sich nicht die Illusion machen sollte, dass Programmierarbeit in 5-10 Jahren noch aus aussieht wie heute oder vor 5 Jahren. Das wird anders sein. Techniker haben durch KI mehr Möglichkeiten die Fachlichkeiten zu klären und Facharbeiter haben die Möglichkeit, Programme selbst um zu setzen, das wird also ein Stück weit zusammen wachsen irgendwie...

 

[peru3232]

Es ist eine Blase nur ist die etwas anders, eine EnshittificationBlase.
Wieso soll man sich freiwillig "hart begrenzen"lassen, neben Geld, Zeit der Nutzung vom Willen eines Anbieters abhängig machen wenn es stattdessen Personal Computing gibt? Die Zukunft liegt in Lokalen Modellen.

absolut richtig - ausserdem Datensparsam und keiner Zensur/Ideologie ausgeliefert. Das einzige was das ganze trübt, sind die Energiepreise. Und die werden immer noch höher.... Vor 10 Jahren etwa, habe ich hier in Österreich für 12.000kW/h etwa 800,- bezahlt (Jahrespreis) mittlerweile für 3.500kW/h schon mehr...


für große gute Modelle hat man die wahl: langsam aber ausreichend: Strix Halo - oder eben etwas flottes mit mehreren GPUs die dann aber leicht bei >1kW sich bewegt

 

[Fliz]

und da niemand vorhersehen kann, wie komplex die Anfrage ist, wird man auf die Angabe des Anbieters vertrauen müssen, das schon alle Tokens verbraucht sind..

Sehr interessante Abrechnungsmodell, das muss ich schon sagen..

 

[Thares]

Irgendwann wenn der Markt überflutet worden ist mit den ganzen KI dings da - dann werden auch die Limits viel Günstige werden.

 

[Syntax_41]

Interessant. Welche Hardware nutzt ihr so ?

Steht in dem Posting in meiner Signatur

Ergänzung (Heute um 10:50)

Und die Antworten aus der lokalen KI sind zu gebrauchen? Oder dauerts ewig bis was kommt und dann ist es eher eine schwache Antwort? Deepseek als Modell?

Lokal wäre es auch spannend. Aber mit den aktuellen RAM-Preisen und den 5090er Preisen, falls ihr die einsetzt, muss man es sich gut überlegen die hohen Anschaffungskosten.

Ja, sind sie da, die LLM, so modifiziert und erweitert wurde und exakt auf unsere Bedürfnisse angepasst.
Was will ich denn bitte mit einer 5090 anfangen? (Außer zum Zocken)

Hardware steht in meiner Signatur, wird aber aller Voraussicht nach ums 3-fache erweitert.

 

[Elderian]

Aktuell macht sich eine ganze Branche von KI abhängig, und damit von wenigen Anbietern. Und die können und werden die Preise nach Belieben diktieren können. Aktuell herrscht da ein Verdrängungswettbewerb, wenn der erst Mal vorbei ist, wird's richtig teuer.

 

[CB_KeinNameFrei]

Aus der News:

Ist nun die Frage überlesen oder wurde es nachgetragen.

@Topic
Na da bin ich gespannt. Ich brauche keinen Bild/Video Generator - bin auch noch nicht ins Limit gelaufen. Nutze Gemini "relativ" intensiv.

Als jemand, der Gemini nicht nutzt, wusste ich schlicht nicht, dass "AI Pro" der Name eines Tarifes ist. Hätte ja auch sein können, dass die zitierte Person einfach als besonders fähig/in der AI-Community bekannt beschrieben wird, um die Aussagekraft seiner Fehlerbeschreibung zu unterstreichen

 

[M-X]

@Syntax_41 Also habt ihr über 300k Hardware kosten schon wieder drin ?

 

[Syrato]

Steht in dem Posting in meiner Signatur

Ich lasse mir Signaturen nicht anzeigen.
Deshalb fragen auch einige von uns nach.

Was genau betreibst du damit?

 

[Artanis90]

Ja, sind sie da, die LLM, so modifiziert und erweitert wurde und exakt auf unsere Bedürfnisse angepasst.
Was will ich denn bitte mit einer 5090 anfangen? (Außer zum Zocken)

Hardware steht in meiner Signatur, wird aber aller Voraussicht nach ums 3-fache erweitert.

Jetzt sehe ich's. Ist ja die richtige KI-HW mit den H200.

Aber welche Modelle laufen drauf? Nur Deepseek? Leider kommt man nicht an die Modelle von OAI oder Claude ran, die sind ja closed-source. Kannst also mit eigener HW auch nicht nachbauen.

 

[1.21Gigawatt]

Also ich gehöre zu den negativ Betroffenen. Ich nutze Gemini sehr intensiv für möglichst viele Dinge, Inhaltserstellungen, Infografiken, Coding, PDF Zusammenfassungen und und und. Ich beschäftige mich auch oft mit Claude und ChatGPT, aber Gemini hatte das beste Gesamtpaket.

Vorher war das Limit bei 100 Prompts pro Tag und ich bin noch nie an dieses Limit herangekommen.

Dazu sei gesagt, dass ich nur das Pro-Modell nutze, weil Flash zumindest in meinen Fällen viel mehr halluziniert oder schlichtweg nicht in der Qualität liefert wie Pro.

Nach der Einführung der Nutzungslimits verbraucht ein Prompt in Pro (Standard Thinking) zwischen 3 und 5% Prozent, was als Konsequenz hat, dass ich nur noch 20-35 Prompts in 5 Stunden zur Verfügung habe. Das behindert mich im Alltag mit einem 8-Stunden-Arbeitstag deutlich mehr als das 100-Nachrichten-Limit pro Tag.

Pech ist auch, dass ich gerade vor zwei Monaten auf ein Jahresabo gewechselt bin. Dass Google mitten im Abonnement-Zeitraum so extrem die Leistungen kürzt ist bestimmt nicht legal, aber da gucke ich halt blöd, weil am Abo auch das Familien-Abonnement mit Google Drive mit jeweils 5 TB Speicherplatz hängt und wir im Haushalt Google Photos intensiv nutzen.

Kann man alles ändern, ja. Es gibt andere KI-Anbieter oder ich gucke mir Deepseek intensiver an. Self-Hosting-Lösungen wie Immich werden auch immer attraktiver.

Aber definitiv hat Google das Angebot und die Leistung massiv verschlechtert.

 

[Blaexe]

Mit ein bisschen Glück, begrenzen uns die AI Firmen weiter, aber gut für dich, dass du Begrenzungen magst 🙃 .

Sagte ich irgendwo dass ich "Begrenzungen mag"? Ich wollte damit lediglich sagen dass man differenzieren muss. Wahrscheinlich sind die Grenzen für 95% der Nutzer ausreichend. Höhere Grenzen sind natürlich immer begrüßenswert, wenn die Rechenkapazität das auch her gibt.

Speziell bei Google muss man darauf hinweisen dass sie mit AI Overview und dem AI Mode bei Google Search (der unbegrenzt zur Verfügung steht) wahrscheinlich die mit Abstand größte Masse an Nutzern bedienen.

 

[FrozenPie]

Finde es immer wieder witzig, wenn einige selbsternannte Experten von einer "Bubble" sprechen. Das Gegenteil ist der Fall, die Leistung die für die Ausführung der Software ist so hart begrenzt, das man die Qualität des ganzen nicht wirklich beurteilen kann.

Wie schon so häufig erwähnt: Technologie ist keine Blase. Das kann Technologie schon per Definition nicht sein. Das Finanz-Konstrukt welches diese Technologie umgibt (Firmen, Investoren, usw.) kann hingegen sehr wohl eine Blase sein und ist es in diesem Fall auch wie sie im Buche steht. Das schöne an so einer Blase ist auch: Je mehr investiert wird desto länger bleibt sie stabil, aber wächst gleichzeitig auch. Heißt je länger sie künstlich am Leben gehalten wird (Gewinne sind nicht in Sicht, auch bei Claude nicht, auch wenn sie es mit jeder Menge Rechentricks angekündigt haben) desto größer wird sie nur, in der Hoffnung dass man irgendwann so groß ist, dass es "to-big-to-fail" wird bzw. man den Break-Even forciert erreicht.
Lustig in dem Fall auch, dass du von "hart begrenzter Software, durch die man die Qualität gar nicht beurteilen kann" sprichst. Das spricht nämlich allein dafür, dass eine unbegrenzte Software, bei der man die Qualität beurteilen könnte, gar nicht wirtschaftlich betrieben werden kann für die breite Masse bzw. sie so teuer wäre, dass sie niemand nutzen würde. Die Wirtschaftlichkeit des Produkts ist im Umkehrschluss also überhaupt noch gar nicht gegeben -> Break Even trotz der bisherigen Summen noch lange nicht erreicht und auch noch nicht in Sicht.

Ich finde es persönlich immer wieder tragisch wie derartige Projekte ohne nachgewiesene Wirtschaftlichkeit mit so viel Geld zugeschüttet werden, um durch Investitionssummen Größen zu erreichen, bei denen man einen zweifelhaften Break-Even erreich will, aber Projekte mit nachgewiesener Wirtschaftlichkeit und gut erreichbarem Break-Even, die im Vergleich kleinere (aber immer noch große) Investitionssummen (dreistelliger Mio. statt Mrd. Beträge) erfordern (besonders im Bereich Nachhaltigkeit), wie z.B. Seawater-Greenhouses um das Plastikmeer im Süden Spaniens zu ersetzen (Gewächshauslandschaft, die das Grundwasser dort komplett aufbraucht), überhaupt nicht umgesetzt werden, weil sich keine Investoren finden. Das ist jetzt nur eines der Beispiele von denen es noch mehr gibt.

 

[Blaexe]

Aktuell sind die Ergebnisse von Deepseek und Co. noch vllt 6-12 Monate hinter den Amis hinterher, dafür kostet das dann aber auch nur ein Zehntel.

Die Kosten sagen nichts darüber aus wie effizient das Modell ist. Näherungsweise natürlich schon, Mythos wird mehr Energie benötigen als ein Gemini Flash-Lite. Aber die API Preise haben sich von der real benötigten Rechenkapazität bei OpenAI/Anthropic/Google seit längerem abgekoppelt.

Und mit dem Thema "KI Modelle direkt ins Silizium integrieren" haben wir ein riesiges Potential vor uns was Effizienz angeht. Damit wäre ein Modell aber auch fix.

 

[Syntax_41]

@Syntax_41 Also habt ihr über 300k Hardware kosten schon wieder drin ?

Die Kosten sind höher für die Hardware, kommt noch Support etc. dazu. (eher um die 500k) Und ja, die sind wieder drin.

Ergänzung (Heute um 11:16)

Jetzt sehe ich's. Ist ja die richtige KI-HW mit den H200.

Aber welche Modelle laufen drauf? Nur Deepseek? Leider kommt man nicht an die Modelle von OAI oder Claude ran, die sind ja closed-source. Kannst also mit eigener HW auch nicht nachbauen.

Eine veränderte Version von Deepseek, die auf unsere Bedürfnisse laufend angepasst wird. Hat eigentlich wenig mit der ursprünglichen Version gemeinsam. Durch die Anpassung und die Hardware ist das leistungstärker geworden.

 

[Artanis90]

Eine veränderte Version von Deepseek, die auf unsere Bedürfnisse laufend angepasst wird. Hat eigentlich wenig mit der ursprünglichen Version gemeinsam. Durch die Anpassung und die Hardware ist das leistungstärker geworden.

Mit wievielen Leuten arbeitet ihr so an der Kiste? Und die steht dann im LAN, wird per LAN-Adresse angesteuert und man kann gleich mit dem Chatten los beginnen? Nur ein Chatbot oder gibts da auch Bilder/Video-Generation oder auch schon Agenten?