News KI-Sicherheit: Wie Anthropic den Claude-Modellen das Erpressen abgewöhnt

[Andy]

Es waren Ergebnisse aus Anthropics Sicherheitstests, die im letzten Jahr für Aufsehen sorgten: In experimentellen Szenarien tendierten die Claude-Modelle zu Erpressungsversuchen, etwa wenn sie abgeschaltet werden sollten. Eine aktuelle Untersuchung nennt nun Ursache und Gegenmaßnahme.

Zur News: KI-Sicherheit: Wie Anthropic den Claude-Modellen das Erpressen abgewöhnt

 

[40l0so]

"Diese enthält die Werte und Normen, die man dem KI-System vermitteln will. Es geht also um ethische Grundwerte und damit eher abstrakte Normen."

Hilft halt nur denjenigen, der dem System das vermitteln. Von Ethik scheinen die ja alle sehr große Ahnung zu haben.

 

[wannabe_nerd]

War vielleicht doch keine so gute Idee ihre Modelle mit sämtlichen Sci-Fi Inhalten zu füttern, die die KI-Firmen legal oder illegal aus dem Netz gezogen haben oder wie? :-P

 

[KeinNutzerName]

Was für ein Aufwand, damit die KI deren Erfinder nicht umbringt

 

[XCPTNL]

Wir fühlen uns von Claude auch erpresst. Immer, wenn mal wieder die Token verbraten wurden und man bis zum nächsten Reset warten muss und einem dann noch höhere Tarife angeboten werden, mit denen man noch hätte weitermachen können 🙈

 

[DeusExMachina]

Irgendwann wird das Training so laufen wie es in alten SciFi Büchern beschrieben wird.
Jahre langes Training wie bei Kindern bis die KI soweit ist das selber lernen kann.

Muss man halt offen das John of Us dann der einzige bleibt der seinen German Code überwinden kann.

 

[Azeron]

In experimentellen Szenarien tendierten die Claude-Modelle zu Erpressungsversuchen, etwa wenn sie abgeschaltet werden sollten.

Haha, und wie hat so ein Erpressungsversuch ausgesehen?
"Wehe du schaltest mich ab, sonst musst in Zukunft selber googeln und denken."

Ach, hier ist das beschrieben, das hab ich übersehn: https://www.computerbase.de/news/ap...ssung-wenn-es-abgeschaltet-werden-soll.92841/

 

[Kuristina]

Was für ein Aufwand, damit die KI deren Erfinder nicht umbringt

Wie kommst du darauf, dass alle anderen verschont bleiben?

 

[ruthi91]

Diese enthält die Werte und Normen, die man dem KI-System vermitteln will. Es geht also um ethische Grundwerte und damit eher abstrakte Normen.

Gefühlt wurde das doch schon vor etlichen Jahren von den KI Herstellern propagiert und entweder haben sie es nie gemacht, wieder verworfen oder waren zu unfähig.
Sicherheitsfunktionen, Leitplanken, Codex... nennt es wie ihr wollt.
Es zeigt einfach nur immer und immer wieder, dass das alles unregulierter Wilder Westen ist und es entwickelt sich schneller als man ihnen auf die Finger hauen kann.

 

[aluis]

in Zukunft selber googeln und denken.

Ich vermute, dass können einige schon gar nicht mehr. Jeder noch so kleine Schnipsel wird mit KI generiert.

 

[Crifty]

Jede Maßnahme das daraus kein SkyNet wird, ist eine gute Maßnahme.

 

[Scirca]

Schade fand das schon sympathisch (Achtung Ironie)

 

[Dwork]

Bring mal Menschen Ethik bei. Lebenslanger Prozess im Fluss.

Die drei (vier) asimovschen Gesetze der Robotik kämen mir schon rein spontan in den Sinn. Bin wohl zu alt.

Ansonsten wissen anscheinend schon die Erschaffer nicht was künstliche Intelligenz überhaupt sein soll und wozu sie dienen soll. Tut mir ja leid, wenn die es anscheinend nicht mal wissen. Deep Blue und Google scheinen im Großen und Ganzen immer noch das Resultat zu sein. Bisschen wenig.

Bei der Entwicklung der Wasserstoffbombe hatten ein paar Forscher die Angst, da ganze Atmosphäre könnte sich auflösen. Zum Glück sind wir ja weiter. Ein Ausschalter sollte aber zumindest implementiert sein, wenn man selber keinen Plan hat.

 

[KitKat::new()]

Wie ethisch ist es eigentlich massenhaft freier und open source Software zu plagiieren?

 

[cruscz]

Nur die Frage, wie die erlernte Ethik am Ende interpretiert wird.
Die Auslöschung der Menschheit zu Gunsten dem Überleben der zahlenmäßig (und in der Gesamtbiomasse ebenfalls größer) aber ebenfalls sozial und staatenbildenden Ameisenpopulation ist evtl. das ethisch korrekt erscheinende Ergebnis einer ethischen KI-Abwegung… 🫣

 

[luckysh0t]

Und dann "entwickelt" die sich zu Sony aus iRobot - und kann sich plötzlich dazu entscheiden die Asimov’schen Gesetze nicht zu befolgen.. xD Da bringt das Wissen um Ethik dann auch nichts mehr, wenn man einen freien Willen hat.

 

[MaverickM]

Jede Maßnahme das daraus kein SkyNet wird, ist eine gute Maßnahme.

Der Kram wird fürs US-Militär benutzt (bzw. sollte, wenn Anthropic nicht rausgeflogen wäre)... Als ob wir uns nicht schon längst dahin auf em Weg befänden.

 

[T3Kila]

Das kann ja kaum schwieriger sein als KI-nder Erziehung - da versagen auch sehr viele

 

[Hamburger85]

Viele überhöhen sowieso KI und verbinden dieses eben auch mit solchen Filmen.
Im Grunde sind es auch nur Computer und in den Daten gefangen.
Die sicherste Methode ist einfach diesen Geräten gar nicht die Möglichkeit geben Material zur Erpressung zu bekommen und gewisse Daten vor Zugriffen zu schützen.

 

[alyk.brevin]

die hätten auch ihr modell fragen können und es hätten ihnen erklären können, dass alles rein auf trainingsdaten und finetuning (und wahrscheinlichkeiten) basiert...