News IT-Sicherheitsforscher: OpenAIs Hugging-Face-Hack war menschliches Versagen

[Xiaolong]

LLM sind nicht deterministisch,

Naja im Kern schon. Bei exakt den selben input Parametern/Prompts der selben Gewichtung und dem selben neuronalen Netz kommt das selbe Ergebnis raus.

Da dies in der "freien Wildbahn" so nicht auftritt ist es für uns User propabilistisch statt deterministisch, nur der Vollständigkeit halber

und es ist Wind in die Segel der KI Kritiker, dass das alles eh Teufelszeug ist.

Und die interessieren gerade wirklich niemanden

 

[Kalsarikännit]

Haben sie nichts von damals gelernt, als beim Sherlock Holmes-Rollenspiel La Forge dem Holodeck einen für Data angemessenen Gegenspieler angefordert hat? Also der KI die Sicherheitsmechanismen entfernt hat?

witzig - vor etwa einer Stunde hab ich genau die Folge angeschaut :-)

 

[DeusExMachina]

...

Da dies in der "freien Wildbahn" so nicht auftritt ist es für uns User propabilistisch statt deterministisch, nur der Vollständigkeit halber

Weil sie genau das ja abgeschaltet haben
Damit sich das Ergebnis lebendiger anfühlt.

Das rächt sich jetzt

 

[Xiaolong]

@DeusExMachina: Man kann die mathematischen Regeln, nach denen ein digitales System implementiert ist, nicht einfach "abschalten". Ein LLM wird letztlich durch deterministische digitale Rechenoperationen ausgeführt; diese lassen sich auf der Ebene der booleschen Logik prinzipiell mit reinen NAND-Gattern realisieren (ob's sinnvoll ist, ist eine andere Frage). Ob dieselbe Eingabe stets exakt dieselbe Ausgabe erzeugt, hängt zusätzlich noch von der Decodierung, Pseudozufall, numerischer Rundung und der konkreten Hard- und Softwareausführung ab. Da diese Parameter sich laufend ändern, die Modelle permanent nachtrainiert werden und immer ein Random Seed mit eingepflegt wird, ist es praktisch unvorhersehbar.

Würde man es wollen und den Aufwand dafür betreiben, könnte man sehr genau nachvollziehen was Schritt für Schritt dort vorgeht. Ich weiß nicht inwieweit die Betreiber da so tief einsteigen beim Debuggen und Trainieren, für mich hätte das bestenfalls nur akademischen Wert. Damit fühlt sich das Ganze für den Benutzer lebendig an, am Ende des Tages bleibt das überspitzt formuliert aber ein "strunzdummer Rechenknecht".

Die Fähigkeiten, die von den Frontier Modellen aber ausgehen sind in der Tat höchst beeindruckend und ich nutze das auch selber mittlerweile für verdammt vieles

 

[DeusExMachina]

Doch in dem man den randomseed for jeder Abfrage ändert und so jeder request eun leicht anderen starttoken hat

 

[Xiaolong]

Was nichts an der Deterministik eines LLMs ändert, man verändert seinen Input, nichts weiter.

 

[Dinonator]

Das war immer schon klar, dass der Mensch sich sein eigenes Grab schaufelt.
Durch: "Menschliches Versagen"
Falls uns diese Sachen mal um die Ohren fliegen, dann hat die "KI" sicher nicht versagt!

 

[DeusExMachina]

Was nichts an der Deterministik eines LLMs ändert, man verändert seinen Input, nichts weiter.

Was anderes hab ich auch nie behauptet .

Das Gegenteil ist der Fall.
Dadurch das die AI Buden die Starttoken manipuliert haben um eine lebendigere user experience zu erzeugen haben sie die Deterministik der dem LLM zugrundeliegenden Matrixmultiplikation "abgeschaltet"

 

[Xiaolong]

Gut dann sprechen wir ja von Selben, bei den Anführungszeichen gehe ich voll mit