Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsIT-Sicherheitsforscher: OpenAIs Hugging-Face-Hack war menschliches Versagen
Haben sie nichts von damals gelernt, als beim Sherlock Holmes-Rollenspiel La Forge dem Holodeck einen für Data angemessenen Gegenspieler angefordert hat? Also der KI die Sicherheitsmechanismen entfernt hat?
@DeusExMachina: Man kann die mathematischen Regeln, nach denen ein digitales System implementiert ist, nicht einfach "abschalten". Ein LLM wird letztlich durch deterministische digitale Rechenoperationen ausgeführt; diese lassen sich auf der Ebene der booleschen Logik prinzipiell mit reinen NAND-Gattern realisieren (ob's sinnvoll ist, ist eine andere Frage). Ob dieselbe Eingabe stets exakt dieselbe Ausgabe erzeugt, hängt zusätzlich noch von der Decodierung, Pseudozufall, numerischer Rundung und der konkreten Hard- und Softwareausführung ab. Da diese Parameter sich laufend ändern, die Modelle permanent nachtrainiert werden und immer ein Random Seed mit eingepflegt wird, ist es praktisch unvorhersehbar.
Würde man es wollen und den Aufwand dafür betreiben, könnte man sehr genau nachvollziehen was Schritt für Schritt dort vorgeht. Ich weiß nicht inwieweit die Betreiber da so tief einsteigen beim Debuggen und Trainieren, für mich hätte das bestenfalls nur akademischen Wert. Damit fühlt sich das Ganze für den Benutzer lebendig an, am Ende des Tages bleibt das überspitzt formuliert aber ein "strunzdummer Rechenknecht".
Die Fähigkeiten, die von den Frontier Modellen aber ausgehen sind in der Tat höchst beeindruckend und ich nutze das auch selber mittlerweile für verdammt vieles
Das war immer schon klar, dass der Mensch sich sein eigenes Grab schaufelt.
Durch: "Menschliches Versagen"
Falls uns diese Sachen mal um die Ohren fliegen, dann hat die "KI" sicher nicht versagt!
Das Gegenteil ist der Fall.
Dadurch das die AI Buden die Starttoken manipuliert haben um eine lebendigere user experience zu erzeugen haben sie die Deterministik der dem LLM zugrundeliegenden Matrixmultiplikation "abgeschaltet"
an kann die mathematischen Regeln, nach denen ein digitales System implementiert ist, nicht einfach "abschalten". Ein LLM wird letztlich durch deterministische digitale Rechenoperationen ausgeführt;
wuerde ich auch eher in den konjunktiv bringen.
LLMs haben bewusst probabilistische elemente. Beim next token sampling wird bspw. durch die temperatur eingestellt wie viele der moeglichen naechsten in die auswahl kommen und aus diesen wird, mit je nach modell unterschiedlichen verteilungen, der nächste Token ausgewählt.
Selbst bei gleichem seed, temperatur und modell, kann es von GPU zu GPU leicht unterschiedliche Ergebnisse geben. Die Addition von Gleitkommazahlen ist nicht assoziativ, was man bei parallelen operation wie sie hier nunmal vorkommen durchaus bemerkt
@madmax2010 Gleitkomma Berechnungen sind nicht assoziativ, das ist richtig. Ich muss gestehen dass ich mich jetzt nicht im Detail damit beschäftigt hatte inwieweit diese Abweichungen das sampling beeinflussen können. Das dürfte ja nur Tokens betreffen die sich Wahrscheinlichkeitsmäßig sehr sehr nah beieinander befinden, zumindest meinem Verständnis nach. Und dann müsste die Temperatur auch noch eine passend flache Verteilung aufweisen.
Ist dann auch die Frage ob man top-k oder top-p läuft oder mit greedy decoding da rangeht was wieder deterministisch wäre. Spielen ja noch Faktoren wie Treiber, Modellgewichte, und Decoding Parameter eine Rolle.
@DeusExMachina Ich weiß, LLMs sind nicht verlässlich und das "by Design". Das vergessen leider zu viele und halten die Bots für Propheten der absoluten Wahrheit 😵
Und damit hat er recht. Jeder Depp kann ein Smartphone bedienen. Bedienen ist aber Lichtjahre entfernt von wirklich Verstehen.
Ich finde das immer so krass wenn dann alle jungen Leute als "digital Natives" bezeichnet werden und denen Superkräfte zugesprochen werden, weil die durch Facebook und Insta scrollen können. Und die selben Leute fragen mich "Wer ist JSON?" 🤣🤣
DeusExMachina schrieb:
Je weniger die verstehen wie es funktioniert desto mehr glauben sie die Heilsversprechen
Ist ja auch logisch. Denn sie wissen nicht welches Wissen ihnen fehlt um zu verstehen. Klickibunti GUIs bedienen kann auch ein trainierter Schimpanse nach kurzer Zeit.
