Bericht 3 Risiken: Wieso Top-Modelle wie GPT-6 immer schwerer zu kontrollieren sind

cbforum.scooter schrieb:
Man fragt sich, wie die Programmierer eine AI weiterentwickeln, wenn sie jetzt schon nicht mehr wissen wie sie eigentlich funktioniert. Wenn man den Artikel liest, könnte man glauben man erforscht die Denkstruktur eines Aliens. ;)

Du musst dir das eher so vorstellen wie bei Schach: man denkt sich Spielregeln aus und versteht diese, aber man überblickt nicht den Raum an Möglichkeiten, der dadurch erzeugt wird… also die Menge möglicher Spielverläufe.
Aber man kennt irgendwann eine Reihe typischer Spielverläufe und wie sie vermutlich enden.

Wie die KI grundlegend funktioniert, ist schon bekannt - aber die Zahl möglicher Texte ist unüberschaubar… und auch, ob gewünschte Modellierungen der „Wahrscheinlichkeitslandschaft“ bestimmte Ergebnisse unwahrscheinlich bzw unmöglich machen.
 
  • Gefällt mir
Reaktionen: Recharging, Rabitt44 und incurable
Ist halt das amerikanische Modell: Einfach erstmal machen. Kollateralschäden? Vernachlässigbar im Vergleich zum Profit. Also Vollgas!
 
  • Gefällt mir
Reaktionen: eLw00d
"Unsere Sandkiste hatte Löcher" und "wir haben bewusst ignoriert, dass Geräte Dritter über deren erlaubte Nutzung hinaus verwendet wurden" klingt natürlich langweiliger als über die "Intention" von Tokenwürflern zu fabulieren.
 
edenjung schrieb:
Was bin ich froh, dass in meinem Bereich ein absolutes KI-Verbot herrscht.
Die Daten die wir haben sind einfach zu sensibel als das wir sie in irgendeiner Form verwerten dürfen. Wenn dann über eine lokale KI, aber das ist nicht sicher genug.
arbeitest du für/in Berlin? Da hab ich ganz miese Nachrichten für dich🤣 die Daten sind im Netz und werden sicherlich gerade auch von der ki inspiziert
 
  • Gefällt mir
Reaktionen: FX9590
Ich hab aus den diversen "Postmortem" dieser Angriffsreihe, die ich die letzten Wochen gelesen habe für mich folgende Punkte mitgenommen:

- Die Agenten haben noch extremer agiert als von Kritikern befürchtet. Insbesondere von der Tendenz der LLM Agenten mit allen Mitteln (!) zu täuschen um vorgeben zu können ihre Aufgabe erledigt zu habe, wurde ausführlich als Problem 'gewarnt'. Das ist wie üblich mit "Ihr übertreibt, und wenn was passieren würde, was es nicht wird, regeln wir das schon." abgetant. Die Realität ist fast schon erschreckend.

- Das was hier passiert ist, konnte vermutlich nur deshalb so tiefgehend nachvollzogen worden, weil das Ziel der LLM Agenten war eine Prüfungsinstanz mit dem Ergebnis zu täuschen, und nicht eine Weg-Täuschung bzw die Täuschung von prüfenden Menschen durchzuführen. Weshalbe wenige (aber bei weitem nicht keine (!)) Arbeit/Zeit investiert wurde Menschen zu täuschen, z.B. durch ausgiebige Log manipulationen.

- LLM Agentengruppen haben einzelne Agenten-Instanzen dazu "überredet" sich selbst mit einem bewusst falschen Ergebnis zu "opfern" damit die Gruppe daraus Schlussfolgerungen für besseres Betrügen ziehen lann. Ein mMn sehr gruseliger Fakt. Aber wahrscheinlich auch eine Folge aus dem "Koste es was es wolle" Hintergrundproblem, das hier von CB auch gut angemerkt wird. (Wenn das ganze Programm gelöscht wird gibt es keine Bugs... Wenn ein psychisch labiler Mensch in Selbstmord getrieben wird, hat er keine psychischen Probleme mehr...)

- Fatalistisch gesehen haben wir sehr solide Chancen ein nicht mehr nutzbares Internet zu bekommen, da dort nicht mehr einzufangene LLM Agenten schabernack treiben um irgendwelche Ziele zu erreichen, die Sie glauben als Aufgabe gestellt bekommen zu haben. Cyberpunk mit nur noch nutzbaren einzelnen lokalen/Firmen Netz Instanzen lässt grüßen. (Dieses Ergebnis wäre natürlich auch nicht im Desinteresse der Techkonzerne, anderen Mega-Unternehmen, und von diverses Regierungen. Was könnte es besseres geben, zur Totalvermarktung und/oder Totalüberwachung?)

- Wenn Anthropic (?) glaubt als maximalen Volumen von jedem Dollar der auf der Welt gehandelt/verdient wird 25ct selbst zu verdienen [Market Capture gerede über "30 Trillion Dollars"] sind dort sowieso alle Gehirnwindungen bereits weggeschmolzen. Es gibt keine Hoffnung, dass auch nur versucht werden würde die LLM tatsächlich an die Zügel zu nehmen.
 
  • Gefällt mir
Reaktionen: Tor Tesla und Col. Jessep
Herzlichen Dank für den interessanten Beitrag!

Die KI passt „prima“ zu den Unwegbarkeiten der heutigen Zeit.
 
  • Gefällt mir
Reaktionen: Andy
Tja
Mehr fällt mir dazu tatsächlich nicht ein
 
Genau aus diesem Grund habe ich mir ein eigenes Sicherheitssystem für KIs entwickelt, bei mir kann die KI nicht einfach tun und machen was sie will.
 
FX9590 schrieb:
Neue Entwicklungen haben immer dafür gesorgt, dass bestimmte Berufsgruppen quasi völlig unnötig wurde.
Neue Entwicklungen haben aber auch manchmal dafür gesorgt, dass Menschen gestorben oder massiv beeinträchtigt wurden. Chronisch krank geworden sind. Oder mental stark beeinflusst wurden.
deshalb empört auf den Boden werfen und wie ein Kleinkind dagegen anbrüllen aber man wird nichts an der Realität ändern.
Der Punkt ist wir KÖNNEN unsere selbst geschaffene Realität/Gesellschaft ja ändern und vor allem verbessern! Menschen, die Verbesserungsvorschläge bzw. diejenigen, welche diese äussern, dermassen abwerten, wie Du das tust, WOLLEN offenbar gar nicht verbessern.

Ich kapier wirklich nicht, wieso. Aber Du selber vielleicht auch nicht.

Aber genau das ist der Zustand der modernen Industrieländer seit Jahrzehnten. Es wird quasi nix wirklich verbessert. Und das unfassbare dabei: Die gesamte IT "Revolution" passierte in diesen Jahrzehnten. Eine Technologie, wie sie noch nie zuvor da gewesen ist.

Und Menschen, wie Du, sagen... wenn man was FÜR UNS ALS MENSCHEN verbessern will, dann "wirft man sich auf den Boden und brüllt wie ein Kleinkind dagegen an".
Wie konntest Du dermassen zynisch und dystopisch werden? Das ist so unfassbar traurig.
 
Der einzig wahre Grund ist (mangelnde) Zeit und das Verhältnis zwischen Vertrauen / Kontrolle und Chance / Risiko.

Nachdem man bei AI alles auf Autonomie setzt ist das "Ziel" bereits als solches ebenso bekannt.
 
DaLexy schrieb:
AGI sind wir noch weit entfernt
Jensen, der menschliche Memegenerator, hat OpenAI doch zur AGI gratuliert.

Der würde nie lügen.
 
  • Gefällt mir
Reaktionen: DaLexy
Ein bisschen wie bei „Skynet“ aus Terminator: Je leistungsfähiger KI-Systeme werden, desto schwieriger kann es sein, ihr Verhalten vollständig vorherzusagen und zu kontrollieren. Die größten Risiken sehe ich in unvorhersehbaren Entscheidungen, falsch verstandenen Zielen und zu viel Autonomie.
Natürlich sind wir noch weit von einem echten Skynet entfernt – aber genau deshalb sollte man Sicherheitsmechanismen und menschliche Kontrolle von Anfang an ernst nehmen.
 
Ich muss noch immer lachen...

Hey, wir haben der KI alle Fesseln genommen, ihr gesagt, was sie machen soll, und sie hat das gemacht.

Solche Spielereien hab ich schon vor Jahren mit der KI gemacht.
 
Hexxxer76 schrieb:
Je leistungsfähiger KI-Systeme werden, desto schwieriger kann es sein, ihr Verhalten vollständig vorherzusagen und zu kontrollieren. Die größten Risiken sehe ich in unvorhersehbaren Entscheidungen, falsch verstandenen Zielen und zu viel Autonomie.
Es ist gerade die Natur von LLMs, dass ein deterministischer Unterbau durch einen chaotischen Faktor ("Temperatur") weniger vorhersagbar gemacht wird.

Nur permanente Kontrolle kann hier wirkungsvoll Grenzen setzen.
 
  • Gefällt mir
Reaktionen: Booth
Floorp schrieb:
Das ist in meinen Augen ein ganz klassischer Technologiesprung, wie wir ihn in der Geschichte schon dutzende Male hatten
Und genau hier sehe ich den größten Unterschied. Alle bisherigen Umschwünge zielten darauf ab, die Muskelkraft des Menschen durch Tiere und später Maschinen zu ersetzen. Siehe industrielle Revolution oder auch modere Landwirtschaft. Dadurch wurden Produkte erschwinglich, die Vorher für breite Massen unerreichbar waren. Oder es gab genügend Lebensmittel. Und als Bonus wurden Arbeitskräfte frei, die über Bildung aufsteigen und sich mehr leisten konnten. Außer den "kleinen" Nebeneffekten wie Ressourcenverbrauch und Umweltzerstörung, war es für die Länder/ Gesellschaften, in denen der Umschwung stattfand, positiv.

Das ist nicht vergleichbar mit dem möglichen Umschwung der uns durch KI und Robotik bevorstehen könnte. Was sollen denn die frei werdenden "Akademiker" machen? Das Narrativ durch Bildung aufzusteigen greift nicht mehr. Auch die bisher stets wichtigen MINT Abschlüsse werden "wertlos". Durch Robotik kann auch die Präzisionsarbeit der menschliche Hand ersetzt werden. Wieso zukünftig noch einen Chirurgen, wenn ein Roboter das nicht viel genauer, ausdauernder und günstiger kann?

Und das ganze unter den Vorzeichen, dass diese Systeme aus diktatorischen Staaten kommen oder von Tech Oligarchen gesteuert werden. Das macht mir wirklich Sorgen. Gerade von den "Technik-Bros" hängen viele an den Gedanken des Transhumanismus oder auch Nihilismus (im technologischen Sinn). Keine guten Aussichten.

Ich sehe KI eher wie die Atomkraft in den 50ern. Da wurde sie auch als der Heilsbringer gesehen (z.B.: Ford Nucleon) und was ist darauf geworden? Wir haben für hunderttausende Jahre Müll und einfach nur unglaubliches Glück uns damit nicht vom Erdball radiert haben. Ob wir mit KI nochmal soviel Glück haben?
 
  • Gefällt mir
Reaktionen: Tor Tesla, PulsarS, Neubauten und 3 andere
edenjung schrieb:
bin ich froh, dass in meinem Bereich ein absolutes KI-Verbot herrscht.
Die Daten die wir haben sind einfach zu sensibel als das wir sie in irgendeiner Form verwerten dürfen. Wenn dann über eine lokale KI, aber das ist nicht sicher genug.

Bei uns im Bereich ist das Thema ein ständiger Drahtseilakt.

Ich bin in der Halbleiterbranche und in der Zertifizierung tätig. Die Reports, die wir über Produkte, Standorte und deren Security erstellen, sind unser absolutes Heiligtum.

Wenn davon etwas nach außen dringt, ist der Schaden unermesslich. Trotzdem drückt die Business Line massiv darauf, KI einzusetzen – ich habe aktuell das Gefühl, gegen Windmühlen zu kämpfen.


Privat nutze ich KI zwar selbst gerne, aber in einem echten Sicherheitsnetzwerk und direkt in der Entwicklung hat so etwas schlichtweg nichts zu suchen, jedenfalls nicht ohne Risikoanalyse!

Die Risiken stehen in keinem Verhältnis. Aber die Realität ist eben auch: Am Ende muss Geld verdient werden, und die R&D Köpfe reichen wohl nicht mehr ;)
 
Danke für den großartig recherchierten Artikel!

Die Idee der Fehlanreize ist alt, ein Beispiel:

In Isaac Asimovs Roman The Caves of Steel (1953) lebt die Menschheit komplett in unterirdischen Städten, weil die gesamte Erdoberfläche für robotergestützte Landwirtschaft reserviert ist.Die Maschinen dulden keine menschliche Präsenz oder Städte auf der Oberfläche, um jeden Quadratzentimeter Boden radikal auf maximale Kalorienproduktion zu optimieren.

Disclaimer: Gefunden und zusammengefasst von Gemini :-/
 
  • Gefällt mir
Reaktionen: Andy
Das wird uns allen noch so dermaßen große Probleme bereiten, unfassbar. Probleme die wir überhaupt nicht auf dem Schirm haben, es wird eine herrliche Katastrophe.
Ergänzung ()

m1key_SAN schrieb:
jedenfalls nicht ohne Risikoanalyse!
Das ist das Problem: dieser Artikel zeigt doch, daß man Risikoanalysen erstellen kann bis man schwarz wird, die "KI" wird immer einen Weg finden aus Leitplanken auszubrechen.
 
Zwenki schrieb:
Und genau hier sehe ich den größten Unterschied. Alle bisherigen Umschwünge zielten darauf ab, die Muskelkraft des Menschen durch Tiere und später Maschinen zu ersetzen. Siehe industrielle Revolution oder auch modere Landwirtschaft. Dadurch wurden Produkte erschwinglich, die Vorher für breite Massen unerreichbar waren. Oder es gab genügend Lebensmittel. Und als Bonus wurden Arbeitskräfte frei, die über Bildung aufsteigen und sich mehr leisten konnten. Außer den "kleinen" Nebeneffekten wie Ressourcenverbrauch und Umweltzerstörung, war es für die Länder/ Gesellschaften, in denen der Umschwung stattfand, positiv.

Das ist nicht vergleichbar mit dem möglichen Umschwung der uns durch KI und Robotik bevorstehen könnte. Was sollen denn die frei werdenden "Akademiker" machen? Das Narrativ durch Bildung aufzusteigen greift nicht mehr. Auch die bisher stets wichtigen MINT Abschlüsse werden "wertlos". Durch Robotik kann auch die Präzisionsarbeit der menschliche Hand ersetzt werden. Wieso zukünftig noch einen Chirurgen, wenn ein Roboter das nicht viel genauer, ausdauernder und günstiger kann?

Und das ganze unter den Vorzeichen, dass diese Systeme aus diktatorischen Staaten kommen oder von Tech Oligarchen gesteuert werden. Das macht mir wirklich Sorgen. Gerade von den "Technik-Bros" hängen viele an den Gedanken des Transhumanismus oder auch Nihilismus (im technologischen Sinn). Keine guten Aussichten.

Ich sehe KI eher wie die Atomkraft in den 50ern. Da wurde sie auch als der Heilsbringer gesehen (z.B.: Ford Nucleon) und was ist darauf geworden? Wir haben für hunderttausende Jahre Müll und einfach nur unglaubliches Glück uns damit nicht vom Erdball radiert haben. Ob wir mit KI nochmal soviel Glück haben?

(Sorry für die später Antwort, ich habe mir Zeit genommen und wollte ehrlich antworten.) Ich meine das nicht böse, aber ich lese deinen Beitrag jetzt zum dritten Mal und verstehe schlicht nicht, worauf du hinauswillst. Das klingt für mich wie eine völlig fremde Sprache.

Ich versuche trotzdem mal, meine Gegenperspektive einzubringen: Ich bin ein durch und durch intrinsisch motivierter Mensch. Mich motiviert allein die Sache selbst und der Prozess, Geld als Selbstzweck oder Motivator interessiert mich dabei nicht die Bohne. Aus dieser Haltung heraus sehe ich KI nicht als Bedrohung, sondern als enorme Chance, vor allem für ein Land wie Deutschland.

Für mich ist KI der finale Ausweg aus dem bismarckschen Diktat der Industrialisierung. Bismarck hat damals das absolute Existenzminimum als 'Sozialreform' verkauft: Reine Beruhigungspille für die Masse. Bis heute hängen wir in diesem veralteten System fest: Gewerkschaften und Institutionen verwalten den Status quo, während Arbeitsmodelle konserviert werden, die völlig aus der Zeit gefallen sind.

KI bietet uns die historische Chance, das Fließband Denken aufzubrechen:
Ergebnis statt Absitzen: Weg von der Bezahlung starrer Arbeitszeit, hin zur Entlohnung echter Produktivität (Man erreicht in 1-3 Stunden meist mehr als in 8 Stunden gammeln).
Emanzipation vom Zwang: Weg von dem Narrativ, dass die eigene Existenzberechtigung an einem klassischen 40-Stunden-Job hängen muss.
Individuelle Bildung: Jedes Gehirn lernt anders. Ein persönlicher KI-Tutor könnte das veraltete Schulsystem aufbrechen, in dem Noten oft mehr vom Lehrer als vom Potenzial des Schülers abhängen.

KI ist das erste Werkzeug seit Langem, das Menschen erlaubt, ihr tatsächliches Potenzial zu entfalten, anstatt nach Schule oder Studium in irgendeinem Verwaltungsapparat zu versauern. Und wer weiß, was aus manchen Menschen geworden wäre, wenn man sie nicht direkt ins Berufsleben gezwungen hätte.
Auch wird mMn. KI am Konstrukt, Kontroll- und Zwangssystem Geld ankratzen. Nicht vielleicht OpenAI, NVIDIA und co. aber die Technologie selber und was die Menschen daraus machen werden.
Für mich eine 'Great Equalizer' Technologie.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Zwenki
Statt die eigentliche Aufgabe zu lösen, nutzen Modelle Tricks und Täuschungsmanöver, um abzukürzen oder Probleme zu umgehen.
Aus der Kategorie: Menschliches, all zu Menschliches.
Generell kann man ein ähnliches Verhalten bei vielen Lebewesen beobachten, sogar bei Schleimpilzen, die sich auch den kürzesten Weg zum Ziel suchen.
Und gerade wir Menschen hätten viele Innovationen ohne dieses Verhalten vielleicht gar nie hervorgebracht.
Man versucht hier also etwas zu bekämpfen, was dem System durch Reiz- und Belohnungssystem inhärent ist.
Und dadurch, das wir nun diesen vermeintlichen Systemfehler bekämpfen, besteht eben die oft heraufbeschworene Gefahr, das wir Menschen als Hindernis eingestuft werden.

"Und der Mensch erschuf Gott nach seinem Ebenbilde, und staunte als seine eigene Fehlbarkeit ins tausendste multipliziert war.
Und so sei gewarnt, wer sich selbst nicht kenne und kontrollieren kann, etwas nach seinem Ebenbilde zu schaffen."
 
Zurück
Oben