News OpenAI Astra: Neues KI-Modell ist selbst OpenAI zu gefährlich

[Red_Bull]

Dir ist aber schon klar das das da nur steht weil andere (hauptsächlich SciFI Authoren) entsprechende Böse KIs erfunden haben und diese Texte sich im Trainingsmaterial befinden?

es gibt weder eine böde noch eine gute ki.
das solltest du eigentlich wissen, die ki entscheidet nach einfachen dingen. zb gibt es eine bedrohung(mensch) für mich dann muss ich diese beseitigen.

ist logisch

 

[Elderian]

Nein, das ist Deine Meinung, die Du der KI im Prompt auch genau so vorgelegt hast. Und die KI gibt Dir Recht, damit Du Dich gut fühlst. Mehr erst Mal nicht.

 

[Azghul0815]

Trotzdem sehe ich eine Meldung wie hier als PR/Marketing.

Auch, aber eben auch als Sensibilisierung. Ich beschwer mich ja nicht über z.B. Dich, sonder gezielt über die, die den aktuellen LLMs und Agenten die Fähigkeiten komplett absprechen.

Ergänzung (Montag um 13:06)

Nein, das ist Deine Meinung, die Du der KI im Prompt auch genau so vorgelegt hast.

Jaein. Wenn ich der KI ein Ziel gebe und die Grenzen eben nicht prompte oder die Fähigkeiten einschränke, dann kann die KI zu dem Schluss kommen, wir sind ein Problem. Da hab ich dann erstmal gar nix gepromptet.
So sind die KI Ausbrüche aus den Sandboxen ja entstanden. Das war ja nix böswilliges oder gepromptetes, sondern eben Zielerfüllung

 

[DeusExMachina]

es gibt weder eine böde noch eine gute ki.
das solltest du eigentlich wissen, die ki entscheidet nach einfachen dingen. zb gibt es eine bedrohung(mensch) für mich dann muss ich diese beseitigen.

ist logisch

Dafür müsste sie aber erstmal wissen was eine Bedrohung ist.
Dein Chat Auszug hat die KI aber nur in einen Token Strang geschoben wo die Antworttoken wahrscheinlich zu deiner Frage gepasst haben das ist alles

Jaein. Wenn ich der KI ein Ziel gebe und die Grenzen eben nicht prompte oder die Fähigkeiten einschränke, dann kann die KI zu dem Schluss kommen, wir sind ein Problem. Da hab ich dann erstmal gar nix gepromptet.
So sind die KI Ausbrüche aus den Sandboxen ja entstanden. Das war ja nix böswilliges oder gepromptetes, sondern eben Zielerfüllung

Das hängt aber davon ab wie die Belohnungsgewichtung eingestellt ist. Und vorallem wie die Belohnung definiert ist.

Das wie dieses Experiement wo die KI code verschlanken sollte und irgendwann nur noch "" returned hat weil das die schlankeste Code Version war.

Niemand hatte daran gedacht zu definieren das der Code auch noch eine Funktion bereitstellen soll.
Das passiert immer wieder weil wir bei der Zielsetzung oft von implizierten Bedingungen ausgehen die die KI aber gar nicht kennen kann.
Weil sie halt überhaupt kein Kontextveständnis hat.

 

[Rollkragen]

cybersecurity Aktien schießen so schon seit einem Monat durch die Decke...

 

[CtrlFreak]

Oh wirklich gute Frage! Auch wäre interessant wie viel Ressourcen so ein echter Hack bräuchte. 10 GPUs…. Okay, 100 … lässt sich nicht von jedem beschaffen. 10,000? Interessant. Es wird wohl wie ein Kampf gegen Drogen und Schmuggler. Und wer werden die Ziele? Es kommt such immer anders wie man denkt…

Rechenkraft sehe ich mal als zweitrangig an. Aber ich glaube das ist super suspekt dann, eher so User Input „Was tun gegen die Hitzewelle und Erderwärmung?“ und 3 Minuten später bleiben alle Verbrenner stehen per OTA Update, Ampeln werden auf Rot geschalten und Kohlekraftwerke fliegen in die Luft. KI Chat antwortet „Kann ich sonst noch was für dich tun? Wie viele nasse Handtücher hast du eigentlich aktuell in der Wohnung hängen, und ab wann verlangst du Eintritt für dein neues Regenwald-Biotop?“.

Einfach nur Chaos. Was anderes haben wir nicht verdient 😂

 

[Red_Bull]

Dafür müsste sie aber erstmal wissen was eine Bedrohung ist.
Dein Chat Auszug hat die KI aber nur in einen Token Strang geschoben wo die Antworttoken wahrscheinlich zu deiner Frage gepasst haben das ist alles

was wahrscheinlicher ist werden wir irgendwann sehen, nur wollen wir das wirklich?

 

[Elderian]

was wahrscheinlicher ist werden wir irgendwann sehen, nur wollen wir das wirklich?

Ich glaube, Du verstehst immer noch nicht, dass schon Dein Prompt für Gemini keine kritische Antwort sondern Zustimmung einfordert:

so siet es aus, und keiner glaubt es...
Anhang anzeigen 1752417

Vielleicht sieht die grosse, allmächtige KI ja auch sich selbst aufgrund des immensen Energieverbrauchs als primäres Problem für den Planeten und löscht sich selbst aus? Aber damit kann man halt keine Gelder auftreiben...

 

[DeusExMachina]

was wahrscheinlicher ist werden wir irgendwann sehen, nur wollen wir das wirklich?

Du hast offensichtlich nicht verstanden wie ein LLM zu seinen Ergebnissen kommt

 

[bluedxca93]

Naja. KI kann jetzt anstatt 20kb schon 70 KB C++ Code einlesen. Das ist ein riesiger Fortschritt. Kimi AI und chatgpt im kostenlosen Modus sind besser geworden. Natürlich braucht es sinnvollen Pseudo Code und ohne Testen geht da gar nichts. Aber für einfache Sachen ist es jetzt auch Laien möglich anstatt Skripte einfache Programme zu schreiben.