News Analyse: Warum GPT-6 Astra im ChatGPT-Alltag enttäuscht

Andy

Tagträumer
Teammitglied
Registriert
Mai 2003
Beiträge
8.481
Unabhängig vom Ärger über Token-Grenzen und der üblichen AGI-Hype-Debatte: GPT-6 Astra ist ein hervorragendes KI-Modell. Auf Plattformen wie Reddit sammeln sich aber enttäuschte Stimmen. Was auffällt: Allmählich ist ein Punkt erreicht, bei dem Fortschritte neuer Top-Modelle im ChatGPT-Alltag untergehen.

Zur News: Analyse: Warum GPT-6 Astra im ChatGPT-Alltag enttäuscht
 
  • Gefällt mir
Reaktionen: cosmo45, Anakin Solo und konkretor
Fine ich super dass hier einblicke gegeben werden. Ist weit weg von meiner Erfahrung. Ich feiere Astra sehr. Gerade komplexe Aufgaben über viele Stunden mit massen an Kontext sind um längen besser als bei Sol. Super wild finde ich dass es wirklich Menschen zu geben scheint die ein Abo haben aber kein Harness wie Hermes und co nutzen. Warum frage ich mich.

Das Thema Verbrauch kann ich auch wenig nachvollziehen. Ich nutze ein Pro 20x Abo. Wenn man es mit zig Subagents + 2x Speed krachen lässt kriegt man das Wochenlimit locker an nem Tag durch aber das ist dann schon provoziert. Nachdem 3 Restes dabei waren kann man sich selbst das erlauben. Auf Extra High ist der verbrauch auch mit 2x vertretbar.
 
  • Gefällt mir
Reaktionen: fandre und Xood
Die Harness ist extrem wichtig. Sieht man auch daran, dass ARC-AGI V3 nur mit entsprechender Harness mit 99% gelöst wurde.
 
  • Gefällt mir
Reaktionen: BillTür und Brrr
Fehlendes Verständnis für Fortschritte erlebt man auch im Gespräch mit Menschen, die sich nicht in der Tech-Blase bewegen und keine Enthusiastsen der Techologie sind. Woran liegt das?
Ich bezweifel, dass es ein "fehlendes Verständnis" ist, sondern eher daran, dass es ein immer offensichtlicher Corporate Grift ist, man den Menschen sagt, sie haben sich für eine vielleicht vielleicht nicht künstliche Superintelligenz zu opfern, während die Techindustrie sich gegenseitig wie ein gewaltiges Ouroboros verschlingt und dabei Mensch und Natur gleichermaßen mit sich nimmt.
Dass Naturschutzgebiete und solche, welche es längst sein sollten, zu Plätzen für Rechenzentren werden sollen, während der Energiebedarf so gewaltig ist, dass man auf jegliche Umweltschutzaspekte komplett pfeift.

Welcher Trend ist es eigentlich, Rechenzentren nicht nach Leistung sondern anhand des Stromverbrauchs zu messen?

Nur um dann Modelle zu haben, die für zwei Wochen besser sind und dann zunehmends in Regression von Wissen und Fähigkeiten verfallen, während sie ausgeklügelte Mechanismen mit multiplen Systemen benötigen, damit die seit Jahren bekannten Schwachstellen nicht weiterhin ausgenutzt werden.

Wozu bereits in den Kommentaren steht, dass es wissenschaftlich inkorrekt ist.
Wow, wieder was, was nach außen flashy und nach innen fehlerhaft ist.
Was für ein toller Fortschritt von der allwissenden Maschinerie.
 
  • Gefällt mir
Reaktionen: Locutus2002, cbforum.scooter, Anti-Monitor und 3 andere
Naja, das ist auch viel zu teuer. Wenn jetzt mein Qwen 3.8 Flash Next, 30x günstiger ist und meine Aufgaben mindestens genau so gut löst und schneller alles abarbeitet, brauche ich kein GTP 6 oder Claude Zeugs.

Ich Zahl für mein Zeug das ich machen will, 50x weniger als mit Claude Opus 4.8 und habe meiner Meinung nach genau so gute Ergebnisse, was ich bisher so getestet habe.

Ich würde es bevorzugen, wenn die proprioritären llms günstiger werden, weil die Firmen Möglichkeiten gefunden haben mit weniger Rechenleistung und dadurch weniger Kosten das Gleiche anzubieten.
 
  • Gefällt mir
Reaktionen: HolySkillet und Anti-Monitor
konkretor schrieb:
DeepSeek Flash 4.1 hat der große Blaue Wal heute raus gehauen. Kommt zwar nicht ganz an Astra 6 ran, dafür 5.6 und spot billig oder selber hosten.
Ich bin ja noch mit GLM 5.3 Flash unterwegs mehrheitlich. Das teste ich dann gerne. Wurden die Gewichte schon veröffentlicht?
 
Mal ein Beispiel aus der Bastelecke, warum ich von Astra ziemlich begeistert bin:

Ich wollte einen Pferdestall für Schleich-Figuren bauen. Mit GPT-5.6 SOL bin ich an der Aufgabe komplett gescheitert. Mit Astra ging es dann erstaunlich leicht in 3 Prompts bis zum fertigen Design samt Schnittmustern.

Von mir stammt nur die Kiste. Dazu habe ich Links zu den Materialien bei Bauhaus, das Referenzdesign und die Vorgaben geliefert, was gelasert und was gesägt werden soll. Den Rest hat Astra über Tool Use direkt in SolidWorks ausgearbeitet: acht Boxen, geteilte Türen, Trennwände, Doppeltore, Holzleisten und Scharniere. Alles als richtige, weiterbearbeitbare CAD-Bauteile und Baugruppen.

01_Overall_Isometric.png


Genau das hat mich umgehauen: Astra arbeitet tatsächlich mit den Werkzeugen in SolidWorks und setzt meine Vorstellung um. Ich musste die ganzen Einzelteile nicht selbst zeichnen, zusammenbauen und anschließend noch die Schnittdateien daraus erstellen. Das hat mir richtig viel Zeit und Fleißarbeit gespart.

Hier der Innenraum und eine der Türen im Detail:
02_Interior_Dividers.png

BoxDoor_Hinge_Isometric.png


Am Ende lagen auch die fertigen DXF-/SVG-Schnittmuster vor: 48 Laserteile, bereits auf fünf Sperrholzplatten verteilt, plus Zuschnittlisten für die übrigen Holzteile. Damit kann ich jetzt ans Bauen gehen.

06_Laser_Layout_Overview.png


Für mich war das ein riesiger Unterschied zu SOL. Aus meiner Kiste und ein paar Vorgaben wurde ein komplett ausgearbeitetes Projekt mit fertigen Fertigungsunterlagen. Wenn ich das alles selbst in SolidWorks hätte machen müssen, wäre ich eine ganze Weile beschäftigt gewesen. So macht das schon verdammt viel Spaß. :)

PS: Den Beitrag hat Astra nach meinen Vorgaben auch gleich mitgeschrieben. Sägen und Kleben muss ich leider noch selbst. ;)
 
  • Gefällt mir
Reaktionen: Jurial, fandre, bobitsch und 27 andere
tomgit schrieb:
Welcher Trend ist es eigentlich, Rechenzentren nicht nach Leistung sondern anhand des Stromverbrauchs zu messen?
Ich hoffe, die Verlinkung ist hier erlaubt: Bit-Rauschen, der Prozessor-Podcast: Leistungsvergleich von Rechenzentren
Wenn ich mich richtig erinnere, ist das große Thema "Vergleichbarkeit".
  • Höchstmögliche Rechenleistung ist nicht immer oberste Priorität
  • tlw. wissen die Betreiber nicht, wie viel Rechenleistung überhaupt in der verbauten Hardware steckt (bspw. bei vielen Racks für Colocation)
  • Rechenleistung ändert sich im Laufe der Lebenszeit eines RZ, der maximal mögliche Stromverbrauch ist durch externe Infrastruktur vorgegeben und kann nur deutlich schwerer erhöht werden
 
Aber, aber die Werbefiguren Altman und Huang sagen das wäre AGI! Wie kann das nur sein, dass das - wie beim letzten Mal - in der Praxis kaum auffällt?!
 
  • Gefällt mir
Reaktionen: Anti-Monitor, rescuemod und the_IT_Guy
LamaMitHut schrieb:
Keine news zur Navier–Stokes equation?
g1.png


Da arbeitet also ein Internes Modell mit einer Offlinekopie aller vorhandenen Daten im Netz + X. Und dann ist da natürlich noch der Aspekt schiere Power:

"The groups varied in size, and the group that produced the Navier–Stokes resolution involved on the order of 10,000 concurrent agents. [...]

Nearly 100 agents worked together for approximately 50 hours to produce our Euler regularity disproof. [...]

Across all attempted problems, the agents sent 4.9 million messages and used about 300 billion output tokens. In the process of resolving the Navier–Stokes problem, the agents sent 2.7 million messages and used approximately 130 billion output tokens."

Und wiedereinmal frage ich mich wie man sich vor dem offensichtlichen Forschritt der Systeme verschließen kann. Das Weltmodell es kommt.
 
  • Gefällt mir
Reaktionen: LamaMitHut
Die Annahme, dass normale Nutzer KI ohnehin nicht ausreizen und die Qualität daraus folgend längst zufriedenstellend sei, kann ich aus meiner eigenen Erfahrung überhaupt nicht teilen. Selbst die Spitzenmodelle von Google und OpenAI stoßen bei mir im Alltag regelmäßig an erhebliche Grenzen.

Das erlebe ich schon bei scheinbar simplen Produktsuchen: Wenn ich nach einer aufklappbaren Notizhefthülle suche und mir stattdessen ein Klemmbrett vorgeschlagen wird, merke ich einfach, wie wenig echtes Verständnis für das konkrete Produkt vorhanden ist. Ähnlich ernüchternd ist es, wenn ich beispielsweise nach einem Staubsauger suche, sortiert nach Lautstärke. Den Modellen fehlt meiner Erfahrung nach völlig die Logik, solche Kriterien verlässlich zu erfassen, sauber zu überprüfen und sinnvoll einzuschätzen.

Ebenso frustrierend sind für mich banale Aufgaben bei der Textbearbeitung: Ich diktiere der KI einen kurzen Text von zehn Zeilen mit der klaren Anweisung, nur eine ganz bestimmte Stelle zu ändern. Das funktioniert heute zwar besser als früher, scheitert bei mir aber immer noch viel zu oft. Trotz meiner ausdrücklichen Vorgabe, ausschließlich diesen einen Punkt anzupassen, formuliert das Modell ungefragt andere Abschnitte um. Selbst wenn ich im Chatverlauf explizit darauf beharre, greift die KI eigenmächtig in meinen bestehenden Text ein. Das liegt am generativen Ansatz selbst, der hier nach wie vor ein reales Problem darstellt.

Genau deshalb kann ich die ständigen Jubelmeldungen rund um KI nicht ernst nehmen. In manchen Spezialbereichen mag die Technologie beeindruckend sein, beim Programmieren ist sie beispielsweise schon ziemlich gut. Aber solange sie bei mir an derart simplen, logischen Routineaufgaben scheitert, klafft zwischen dem Hype und meiner praktischen Erfahrung eine gewaltige Lücke. Und selbst bei vermeintlichen Paradebeispielen wie dem Programmieren kommt es immer noch vor, dass sie seltsame Syntaxfehler einbaut – simple Python-Fehler bei ganz grundlegenden Built-in-Methoden, über die sie stolpert und die sie dann hinterher selbst wieder korrigieren muss. Hatte ich neulich erst.
 
  • Gefällt mir
Reaktionen: cbforum.scooter, Elandur, oiisamiio und 3 andere
@piccolo85 Würdest du mehr Details teilen? Eines der unzähligen aktuellen LLM Projekte ist für mich arbeitsentlastung bei der erstellung von CAD Files und Mash Files für den 3D Druck, Laserschnitt etc. Gerne auch per PM wenn dir das lieber ist und sich andere hier gestört fühlen. Würde mich sehr freuen.

@SilverShadow Ohne dir zu nahe treten zu wollen, aber das klingt nicht als würdest du ein gut konfiguriertes Harness mit einem Top Modell verwedenden sondern eher halbherzig einem Standartchatbot hinrotzen. Aber ich gebe dir recht: Es ist nicht alltagstauglich im Sinne von einfach intuitiv ohne Aufwand für jeden nutzbar. Es sind keine normierten Prozesesse die für alles taugen vorhanden. Noch muss man zumindest den Grundstein legen. Ich sehe das auch als Arbeitgeber meine Mitarbeitenden unterscheiden sich grundsätzlich in solche die Ihr Potenzial selbst weiter nutzen und postitiv auffallen und solche die versuchen die Verantwortung abzugeben und negaitv auffallen. Nichtsdetotrotz ist auch das nur noch eine Frage der Zeit.
 
  • Gefällt mir
Reaktionen: TheLizardator
Das fand ich sehr interessant
 
  • Gefällt mir
Reaktionen: Spud5, Kinman, FabianX2 und eine weitere Person
piccolo85 schrieb:
Sägen und Kleben muss ich leider noch selbst. ;)
wenigstens etwas wo du deine skills verbessern kannst ;)
 
  • Gefällt mir
Reaktionen: homunkulus
Es kann auffallend realistische Aufnahmen von Menschen generieren.
Also diese Mutantenhand sieht doch eher nach einem Rückschritt aus, die Decke morpht auch seltsam. Sieht am ehesten aus, als hat man ein "natural look" LoRA reingehängt.
 
@FabianX2 Ich weiß durchaus, was ich tue, denke ich. Zumindest habe ich im Bereich Machine Learning promoviert, Jahre bevor der aktuelle Hype losging. Für ganz banale Standardaufgaben nutze ich aber schlicht die normalen Weboberflächen oder Apps und baue mir nicht für jede alltägliche Kleinigkeit einen maßgeschneiderten System-Prompt oder ein Harness.

Genau darum ging es mir schließlich: reale Alltagstauglichkeit. Wenn ein Modell erst aufwendige Entwickler-Krücken braucht, um bei Notizhefthüllen kein Klemmbrett zu empfehlen, Staubsauger nach Lautstärke zu sortieren oder eine Textzeile anzupassen, ohne den Rest umzuschreiben, bestätigt das genau meinen Punkt. Da werden beispielsweise Dezibel-Angaben stumpf verglichen, ohne zu berücksichtigen, ob diese für 1 m oder 3 m Abstand gelten, weil Hersteller völlig unterschiedliche Messbedingungen angeben. Und so weit kam das Tool auch erst nach vielen weiteren Hilfeschritten wie der Aufforderung, gezielt im Datenblatt nach den Dezibel-Werten zu suchen, also Dinge, die von der Logik her ein normaler Mensch schon im ersten Schritt gemacht hätte.

Zudem bin ich immer wieder verwundert, wie schlecht selbst die Apps der Tech-Riesen sind, insbesondere bei Google. In der Gemini-App klickt man auf generierte Links und landet auf einer Google-Suche, in die schlicht die rohe Webadresse gepastet wurde, statt die Seite direkt zu öffnen. Oder der Zugriff auf Web-Tools wird mitten im Chat plötzlich pauschal vom System verweigert, während exakt dieselbe Suche im neuen Chat sofort wieder klappt, ein ständiges Problem bei Google.
 
  • Gefällt mir
Reaktionen: HolySkillet, Zockmock, cbforum.scooter und 2 andere
conspectumortis schrieb:
Ich Zahl für mein Zeug das ich machen will, 50x weniger als mit Claude Opus 4.8
Könntest du mir sagen worüber du deine LLMs beziehst?
Ergänzung ()

FabianX2 schrieb:
Super wild finde ich dass es wirklich Menschen zu geben scheint die ein Abo haben aber kein Harness wie Hermes und co nutzen. Warum frage ich mich.
Kannst du das erklären? Was ist der Vorteil deren ein Claude Abo damit zu benutzen?
 
Zurück
Oben