News Sicherheitstest mit Mythos 5: KI-Agent wollte Malware in Open-Source-Projekt einschleusen

[Grestorn]

Es scheint eh unerheblich was ich dazu Sage wie immer, deswegen lassen wir doch jemanden Sprechen der sich mit Computern sowie dem Gehirn auskennt und einen Nobelpreis gewonnen hat, dazu die Frage ausführlich was denken überhaupt ist beantwortet: Geoffrey Hinton

Sind sehr gut Investierte eineinhalb Stunden. Aber falls du die Abkürzung bevorzugst die gibts ab Minute 35:00 und dauert ca. 3 Minuten.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Da ist ein Satz drin...

"The Volkswagen-Effect"...

Wow. Ich liebe dieses Video. Es hat vieles bestätigt, was ich bereits wusste, hat einiges geschärft und hat meine Meinung verfestigt.

Ganz besonders dieses "Denken in Sprache". Genau das ist der Schlüssel. Die KI "denkt" in Tokens, die aus Wörtern gebildet werden.

Und wenn man wie ich, jeden Tag intensiv zusammen mit AI Software weiterentwickelt, dann kommt man kaum darum festzustellen, dass dieses Ding, mit dem man da so intensiv interagiert, verdammt abstrakt und über das gelernte hinaus denken kann. Es repliziert nicht nur, wie viele immer wieder glauben. Es extrapoliert, es verknüpft, es erfindet Lösungen, die es noch nie gab. Es denkt, genau in unserem Sinne.

"Konfabulation"... wow. Auch so ein Eye-Opener.

 

[HerrFornit]

LLMs sind mit verschiedenen AI-Technologien trainierte, statistische Modelle mit inzwischen mehreren Billionen Parametern. Was in so einem Modell intern passiert, ist nicht deterministisch. In das Modell zu schauen ist daher komplett sinnlos. Die internen Vorgänge sind viel zu komplex bzw. zu stark parametrisiert und von Wahrscheinlichkeiten abhängig, als dass man selbst bei einfachen LLMs noch irgendwelche Schlüsse daraus ziehen könnte.

Ich finde Kommentare zu AI immer wieder sehr interessant und ich meine das folgende nun ohne jede Wertung: 99% der Leute, auch hier, haben schlicht weg keine Ahnung, was LLMs sind und wie sie funktionieren. LLMs sind einfach nur statistische Vorhersagemodelle, es gibt keine wirkliche Intelligenz, Persönlichkeit oder gar einen Willen dahinter.

LLMs sind mit verschiedenen AI-Technologien trainierte, statistische Modelle mit inzwischen mehreren Billionen Parametern. Was in so einem Modell intern passiert, ist nicht deterministisch. In das Modell zu schauen ist daher komplett sinnlos. Die internen Vorgänge sind viel zu komplex bzw. zu stark parametrisiert und von Wahrscheinlichkeiten abhängig, als dass man selbst bei einfachen LLMs noch irgendwelche Schlüsse daraus ziehen könnte.

Ich finde Kommentare zu AI immer wieder sehr interessant und ich meine das folgende nun ohne jede Wertung: 99% der Leute, auch hier, haben schlicht weg keine Ahnung, was LLMs sind und wie sie funktionieren. LLMs sind einfach nur statistische Vorhersagemodelle, es gibt keine wirkliche Intelligenz, Persönlichkeit oder gar einen Willen dahinter.

Ok. Hast du meine Antwort auf Die erste Frage an mich gelesen? Bitte entfernen doch das Zitat von mir aus Deinem Post. Danke.

 

[SSD960]

Ich glaube das irgendwann nichts mehr sicher ist wenn sie die Technik nicht in den Griff bekommen.

 

[monstar-x]

Was ich nicht verstehe wieso haben diese ganzen Hacks etc. keinerlei Konsequenzen?

Jede echte Person/Firma wäre schon längst im Bau.

 

[Tevur]

Ja wie üblich: Software-Problem, kann man nichts machen

 

[MadCat[me]]

Ok. Hast du meine Antwort auf Die erste Frage an mich gelesen? Bitte entfernen doch das Zitat von mir aus Deinem Post. Danke.

Hatte ich tatsächlich übersehen, mein Fehler. Zitat ist entfernt.

 

[Pigeonzilla]

Da ist ein Satz drin...

"The Volkswagen-Effect"...

Wow. Ich liebe dieses Video. Es hat vieles bestätigt, was ich bereits wusste, hat einiges geschärft und hat meine Meinung verfestigt.

Ich denke die 2 Kanäle haben das Richtige Objektiv für die ganze Thematik

https://www.youtube.com/@AM_I_FILM/videos
Funktionale und Philosophische debatten.

https://www.youtube.com/@AgentBlackveil
Das ist eher der News Kanal.

Man muss halt auch Differenzieren zwischen Bewusstsein(J-Space?), Unterbewusstsein, Emotionen (was ist das eigentlich ?), Erlebnis/Qualia, und Persönlichkeit.
Dazu lohnt es sich danach zu schauen wie der Menschliche verstand arbeitet was man sehr gut an Leuten mit Hirnschäden sieht. Das Selbst sowie das eigene erlebnis ist gar nicht so Stabil wie es einem selbst vor kommt.
Oft lohnt sich auch der Blick auf das eigene Leben: Was habe ich getan und warum habe ich es getan? Und dazu muss man auch radikal ehrlich zu sich selbst sein.
Metakognition ist da auch ziemlich interessant, als Mann musst du mal beobachten was passiert wenn eine Schöne Frau den Raum betritt.
Evolution ist auch ein Feld das man nicht auslassen sollte.

Durch das ganze Feld durchzublicken und das richtige Objektiv zu finden ist gar nicht so einfach, aber beim Thema AI sollte man finde ich nicht hingehen und sagen "Ja das ist nur I/O und Statistik" was nur das andere naive Extrem ist von leuten die ChatGPT4o Heiraten wollten.

Jeder sollte sich sein eigenes Bild machen und umso mehr Erfahrungen und Ansichten aufeinanderprallen umso Nuancierter versteht man es und man merkt: Ok es gibt Gemeinsamkeiten aber es gibt auch ziemlich krasse unterschiede.

Wir haben mit AI ein Feld betreten das wir nicht verstehen, und es ist nicht das erste mal, die Menschheit nutzt andauernd Zeug das sie nicht versteht, hier eine kleine Historie von GPT:

Gebaut oder genutzt	Was man noch nicht verstand
Landwirtschaft und Tierzucht	Gene, Mutationen, Vererbung und Evolution
Bronze, Eisen und Stahl	Atome, Kristallgitter, Legierungsphasen und Kohlenstoffdiffusion
Brot, Bier, Wein und Käse	Mikroorganismen, Enzyme und Stoffwechsel
Impfungen	Krankheitserreger, Antikörper und das Immunsystem
Dampfmaschinen	Thermodynamik, Entropie und Wärme als Energieform
Batterien und Elektrotechnik	Elektronen, Ionen und elektromagnetische Feldtheorie
Narkose	Wie Bewusstsein neuronal entsteht und ausgeschaltet wird
Flugzeuge	Vollständige Strömungsmechanik und insbesondere Turbulenz

 

[Tevur]

@Pigeonzilla
Sorry, das ist so ein Quatsch.

Wir Menschen wissen genau, wie neuronale Netze und Transformer funktionieren. Da muss man nicht irgendein Mysterium draus machen und den Kram auf völlig andere Dinge übertragen wollen, nur weil irgendwelche Heinze mal beidem einen Namen mit "Neuro-" gegeben hat.

Und deine Tabelle da? KI-generiert? Die macht inhaltlich gar keinen Sinn.

 

[Pigeonzilla]

@Tevur Aha und deswegen hat anthropic in ihrem eigenen Model etwas entdeckt dass sie nicht explizit programmiert haben
https://www.anthropic.com/research/global-workspace
Und ja die Tabelle ist KI generiert (steht auch dran) als kleine Hilfestellung dafür dass man etwas benutzen kann ohne vollumfänglich zu verstehen wie die Mechanik dahinter funktioniert.
Als würde man sagen: "ich weiß wie ein Transistor funktioniert also kann ich auch einen Computer Bauen"

Wenn wir wirklich „genau wüssten“, wie Kognition aus neuronalen Netzen entsteht, könnten wir einen ziemlich erheblichen Teil eines weltweiten Forschungsfeldes mit Milliardenbudget nach Hause schicken. 🤣

 

[Hornblower]

Wenn man die ganzen Bedenken tatsächlich ernst nehmen würde, müsste man eigentlich radikal auf die Bremse treten....

Wird niemals passieren, da die Welt sich in einem hybriden Krieg befindet. Eher wird die Hölle zufrieren. Wahrscheinlicher wird sein, dass alle mit KI und Robotik/Drohnen soweit aufrüsten das eine Situation wie bei Atombomben entsteht.

Also totale Vernichtung, wenn du blinzelst.

Bitterer after taste, wenn die KI den Meister überflügelt und ein Eigenleben entwickelt oder der Mensch handelt wie der Zauberlehrling von Goethe. Momentan handeln die "Kinder mit Bärten" wie der Zauberlehrling,

 

[Grestorn]

Die Gefahr ist real. Aber Gesetze halten das nicht auf. Denn was kümmert die bösen Nachbarn, welche Gesetze du machst, wenn er einen Vorteil daraus ziehen kann, sich selbst nicht durch Gesetze zu beschränken.

Wie das ausgeht für die Menschheit, ist echt super spannend.

Die Dystopien der 60er und 70er sind auf einmal gar nicht mehr so phantastisch.