News Vom Chatbot selbst bestätigt: Behobene Sandbox-Lücke in Claude Code war sehr gefährlich

mischaef

Kassettenkind
Teammitglied
Registriert
Aug. 2012
Beiträge
7.517
  • Gefällt mir
Reaktionen: schneeland, Demon_666, ComputerJunge und 5 andere
Genau die Art Drama News wie ich sie mag.🤤

Danke fuer die ausfuehrliche Berichterstattung! 👍
 
  • Gefällt mir
Reaktionen: flo.murr, HtOW und mischaef
bin ich eigentlich der einzige, bei dem die claude-code-erweiterung für vscode manchmal auf rtl-input wechselt?
ich tippe vor mich hin und plötzlich schreib ich rückwärts. backspace und entfernen funktionieren noch in der bekannten richtung.

hab natürlich keine sprache/tastatur eingestellt, die von rechts nach links geschrieben wird. es repariert sich dann auch wieder von selbst nach kurzer zeit und ohne, dass ich etwas einstelle oder eine tastenkombination drücke.
aber von diesem problem hab ich sonst noch nirgends gelesen oder von kollegen gehört.
 
  • Gefällt mir
Reaktionen: flo.murr
alyk.brevin schrieb:
Was ist denn das? Ist das sowas wie Bildzeitung zum tippen? 😅 Kleiner Spass. Aber wirklich, was ist denn das?
 
  • Gefällt mir
Reaktionen: flo.murr und Axonteer
  • Gefällt mir
Reaktionen: flo.murr
Dass es durch mehr generierten Code zu wesentlich mehr Bugs kommt und kommen wird, sollte jedem klar sein.
Mir stellt sich die Frage, ob die Firmen bereits wissen, wie sie damit umgehen, sollte es zu (erheblichen) finanziellen Schäden bei Kunden kommen und wer dann dafür haftbar gemacht werden kann.
 
Ich wuerde Debian style: Nutzung auf eigene Gefahr in die AGBs schreiben. 🤷‍♂️
 
alyk.brevin schrieb:
haftbar ist der mensch, der es am ende durchwinkt.
und es gibt it-/berufs-/betriebshaftpflichtversicherungen.
Wir können es gut derzeit an W11 sehen. Fast jedes Update ist fehlerhaft.
Das ist bei Microsoft nichts Neues, aber in der Häufigkeit schon auffällig.
Klar gibt es wohl eine bestimmte Anzahl an Mitarbeitern, die für den fehlerhaften Code verantwortlich ist. Schaden nimmt am Ende aber Microsoft selbst, wenn sie in ihrem Namen das Update freigeben.
 
Cyber-Security Aktien werden die neuen Stars werden. Was da an neuen Angriffen noch kommen wird, kann sich gar keiner ausmalen.
 
@tree-snake Da mir das zweifelhafte Vergnügen zu teil geworden ist ein Cyber Security Consulting Team mit zu verwalten (der letzte Betreuer hat sich reproduziert und jetzt darf ich da auch die Betreuung machen) habe ich da berechtigte Zweifel. Die benutzen öfter chatGPT als meine vibe coding juniors.

Und so Zwischenfälle wie CloudStrike und Forty SIEM haben doch gezeigt das die Tools auch besten falls mit aufgetauten heißem Wasser von gestern köcheln.

-------

Simonsworld schrieb:
Dass es durch mehr generierten Code zu wesentlich mehr Bugs kommt und kommen wird, sollte jedem klar sein.
Mir stellt sich die Frage, ob die Firmen bereits wissen, wie sie damit umgehen, sollte es zu (erheblichen) finanziellen Schäden bei Kunden kommen und wer dann dafür haftbar gemacht werden kann.

Also bei uns haben wir es wie hier:


Generierter Code kommt nicht in die nähe von Produktivsystemen bis er peer reviewed wurde.
Und da der Code meistens eh die Code Quality Vorgaben reißt müssen die Juniors da halt extra runden drehen

Das haben wir aber bei uns eingepreist von der Zeit und vom Geld. Und wenn ich so mit Freunden in der IT Rede ist das ähnlich.
Grüne Wiese Demostratoren, also schnell mal was für Sales hinpfuschen das geht ganz gut aber das will ja auch niemand verwenden. Und die Kunden wissen das auch das des nur ein Demostrator ist aber es hilft beiden seiten sich zu einigen was der Kunde nun eigentlich will
 
  • Gefällt mir
Reaktionen: Simonsworld
Man darf den ganzen Kram sowieso höchstens im Docker-Container laufen lassen, zumindest wenn man Wert auf sein System und die eigenen Daten legt.

Ich hatte schon mal den Fall, dass die KI sinngemäß "Hoppala, ich hab Zugriff auf Daten, auf die ich gar keinen Zugriff haben dürfte" geloggt hat (wobei es jedoch Codex/OpenAI war), und das hat meine Paranoia bestätigt.

Wer einer KI genug Rechte gibt, einem das System zu zerschießen oder ein Projekt dauerhaft zu löschen, der ist am Ende selber Schuld. Völlig egal, ob am Ende ein Hacker oder Inkompetenz die Ursache für den Schaden ist. :P
 
Sieht man doch an den Agent Vorfällen.

Der Agent "glaubt" er kommt nicht weiter. Die mathematisch wahrscheinlichste Antwort in den Trainingsdaten war "start over" also räumt er alles ab. Inkl Life System das er gar nicht anfassen sollte dem Agenten aber egal ist weil er das eh nicht versteht.

Aber solange Spieler glauben das sie mit dem Prompt "mach keine Fehler" irgendwas anderes bewirken als den Seed für den ersten Token zu verändern wird das "Agentic Age" Voranschreiten

Schon witzig wie kurz Zeitalter geworden sind
 
Simonsworld schrieb:
Schaden nimmt am Ende aber Microsoft selbst, wenn sie in ihrem Namen das Update freigeben.
der arbeitgeber ist ja auch verantwortlich dafür, was die arbeitnehmer tun und ob deren werkzeuge richtig funktionieren.
er muss in schulung und qualitätssicherung investieren, damit die fehler der angestellten nicht beim kunden auftauchen.
falls doch, ist von außen natürlich die firma schuld. ob es interne konsequenzen für den kleinen angestellten oder dessen vorgesetzte gibt, ist dann eine andre frage. oder konsequenzen für den lieferanten der werkzeuge.
 
Zurück
Oben