News OpenAI Astra: Neues KI-Modell ist selbst OpenAI zu gefährlich

[SirSinclair]

Die Modelle werden extrem mächtig und potentiell gefährlich.

Und dafür hast du auch Belege oder ist das nur dein Eindruck aufgrund der Propaganda?
"trust me Bro" ist kein Beleg.

 

[Floxxwhite]

Bin gespannt was passiert wenn es passiert

Oh wirklich gute Frage! Auch wäre interessant wie viel Ressourcen so ein echter Hack bräuchte. 10 GPUs…. Okay, 100 … lässt sich nicht von jedem beschaffen. 10,000? Interessant. Es wird wohl wie ein Kampf gegen Drogen und Schmuggler. Und wer werden die Ziele? Es kommt such immer anders wie man denkt…

 

[SirSinclair]

Es wird wohl wie ein Kampf gegen Drogen und Schmuggler. Und wer werden die Ziele? Es kommt such immer anders wie man denkt…

LLMs brauchen im Gegensatz zu Menschen Strom um zu funktionieren, einfach die Stromversorgung kappen genügt. Alternativ reicht es auch schon die Internetanbindung zu trennen.

 

[Karl S.]

Und dafür hast du auch Belege oder ist das nur dein Eindruck aufgrund der Propaganda?
"trust me Bro" ist kein Beleg.

Ich brauche kein Trust me Bro. Ich denke Hinton argumentiert richtig und kennt sich in der Thematik aus wie kein anderer. Wenn du anderer Meinung bist dein Ding, aber hoffentlich basiert deine Meinung auf Basis keiner "Propaganda"

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[nexos93]

Dass OpenAI die Risiken von Astra lediglich aus Marketinggründen herausstellt, lässt sich daraus ausdrücklich nicht ableiten…, scheint aber ziemlich offensichtlich zu sein.

 

[SirSinclair]

Ich brauche kein Trust me Bro. Ich denke Hinton argumentiert richtig und kennt sich in der Thematik aus wie kein anderer. Wenn du anderer Meinung bist dein Ding, aber hoffentlich basiert deine Meinung auf Basis keiner "Propaganda"

Einfach ein 55 Minuten langes Video von irgend einer YouTube Diskussion hier hinzuklatschen ist kein Beleg, ein Video kannst du gerne als Quelle angeben aber deine Argumentation mußt du selber hier im Beitrag schreiben (z.B. in dem du die relevanten Argumente des Videos hier wiedergibst), sonst ist es nicht besser als ein "trust me bro".

 

[Karl S.]

Kennst du Hinton, sein Beitrag zur AI und seine Überzeugungen? Falls ja, dann brauche ich dir das ja nicht erzählen, falls nicht, bist du schlecht informiert in dieser Thematik der zukünftigen Risiken. Ganz einfach.

 

[SirSinclair]

Ok, ich sehe du bleibst beim "trust me bro".

 

[SKu]

Wer kennt es nicht, der Opel Astra von OpenAI.

 

[Red_Bull]

so siet es aus, und keiner glaubt es...

 

[Peter 23]

Immer weiter so und bald habt ihr es gar nicht mehr unter Kontrolle 🤔

 

[Elderian]

so siet es aus, und keiner glaubt es...

Aha. Die KI nimmt Deinen Gedanken und formuliert ihn wohlklingend aus. Du kannst ja Mal versuchen, was herauskommt, wenn Du schreibst, dass KI den Menschen zu neuen Höhenflügen helfen wird.

Dein Beispiel zeigt genau die große Gefahr dieser KI-Antworten: Deren oberstes Ziel ist es nicht korrekt zu sein, sondern Dir zu gefallen.

 

[Gandalf2210]

Wunderbar. Das heißt also in 6 Monaten können das auch die chinesische open weight Modelle.

 

[basix]

Ich frage mich, wieso die ganzen Sicherheitsvorkehrungen, Sandboxes usw. nicht generell standard sind. Die haben zig Milliarden Budget und das technische Know How.

 

[Bullz]

Es ist also nur Marketing blabla, wenn eine bessere Version in entwicklung ist und sie, nun ja, einfach besser ist?

Du denkst viel zu objektiv dafür. Einige hier wollen einfach ihre Hardwarepreise pre Mining/ AI das sie auch weiterhin für relativ wenig Geld HighEnd kaufen können.

Weniger meckern mehr überstunden schieben dann geht sich auch eine 5080 aus. Die die eine 5090 wirklich brauchen denen ist der Preis auch egal.

 

[DeusExMachina]

so siet es aus, und keiner glaubt es...
Anhang anzeigen 1752417

Dir ist aber schon klar das das da nur steht weil andere (hauptsächlich SciFI Authoren) entsprechende Böse KIs erfunden haben und diese Texte sich im Trainingsmaterial befinden?

Ich frage mich, wieso die ganzen Sicherheitsvorkehrungen, Sandboxes usw. nicht generell standard sind. Die haben zig Milliarden Budget und das technische Know How.

Sind sie, dewegen ist das ja alles Marketing. Liest man die Analysen der "Angriffe" stellt man schnell fest das die Umgebungs-/Testparameter so verändert wurden das die Agenten überhaupt erst in die Lage versetzt wurden das zu tun was sie angeblich getan haben

Teilweise ganz bewusst in die Richtung geschoben wurden
Was wir nicht wissen wie viele Test vorher "fehlgeschlagen" sind weil sie nicht das PR taugliche Doomsday Narrativ unterstützt haben.

Ergänzung (10. August 2026)

Kennst du Hinton, sein Beitrag zur AI und seine Überzeugungen?

hilf mir kurz auf die Sprünge bitte.
Aber war seine Argumentation nicht so wackelig das er beinahe sich selbst widerlegt hat und wurde dann ziemlich schnell zerrissen?

 

[Blaexe]

Sind sie, dewegen ist das ja alles Marketing. Liest man die Analysen der "Angriffe" stellt man schnell fest das die Umgebungs-/Testparameter so verändert wurden das die Agenten überhaupt erst in die Lage versetzt wurden das zu tun was sie angeblich getan haben

Teilweise ganz bewusst in die Richtung geschoben wurden

Bei manchen Tests werden die Modelle bewusst in Situationen gebracht, in denen sie ihre Fähigkeiten maximal ausspielen können. Das heißt natürlich nicht, dass sie im normalen Betrieb ständig versuchen auszubrechen.

Aber es zeigt eben trotzdem, was sie grundsätzlich können, wenn man die Beschränkungen entfernt. Das ist wichtig, weil solche Fähigkeiten mit etwas Verzögerung sicher auch in Open-Weight-Modellen landen werden. Da kann dann jeder die Safety-Schichten einfach rausnehmen.

Außerdem gab auch Tests, bei denen das Überschreiten der Grenzen gar nicht Teil der Aufgabe war, sondern das Modell selbst darauf gekommen ist um ans Ziel zu kommen.

Die Gefahr von Missbrauch ist real und mMn werden wir in den nächsten 12 Monaten auch größere Vorfälle sehen, die entsprechend Schlagzeilen machen. Ich warte eigentlich nur darauf, dass KI-Agenten in größerem Stil für Angriffe auf Krypto-Wallets oder Konten eingesetzt werden.

 

[Mimir]

Das ändert aber trotzdem nichts daran, wozu KI fähig ist. Man darf hier nicht nur das bewerten, was der normalsterbliche Kunde für drei mark fuffzig im Abo buchen kann, sondern was China, Russland und eben auch die Amis auf staatlicher Ebene mit unzensierten Modellen und entsprechendem Budget anstellen können. Wenn nicht heute, dann in 10 Jahren.

Jeder Erfolg in der KI Entwicklung ist halt auch ein Hinweis darauf, dass "der feind" wer auch immer das dann sein mag genauso weit sein könnte, vielleicht bald auf dem gleichen Stand ist oder sogar schon weiter.
Das ist ein reines Wettrüsten. Neben Marketing sind solche Meldungen für mich auch als eine art "Säbelrasseln" mit dem Osten zu verstehen.

Wo wir beim Thema Wettrüsten und Cyberangriffe sind: https://winfuture.de/news,160506.html
Man muss schon wirklich sehr naiv und realitätsverweigernd sein, wenn man glaubt, das stellt keine Gefahr dar.

 

[Kuristina]

wie viele Leute solche IT-News immer als reines Marketinggeplapper abtun.

Das eine muss das andere nicht ausschließen. Ich bin selber fasziniert, wie einfach manche Sachen durch KI geworden sind und natürlich kann KI auch bewusst so eingesetzt werden, dass es großen Schaden anrichtet.

Trotzdem sehe ich eine Meldung wie hier als PR/Marketing. Man müsste sowas ja nicht in die Welt hinausposaunen, aber es generiert halt Presseartikel und ist damit unbezahlte Werbung.

 

[aid0nex]

Die wissen schon ganz genau wie man in der Presse wirksame Werbung platziert ohne auch nur einen einzigen Cent dafür zu zahlen...