News Amazon: KI-Coding-Bots verursachten AWS-Ausfälle

[luckysh0t]

Unser Ops-Team hat es auch ohne KI geschafft, aus Versehen die Prod Datenbank zu loeschen.

Ich habe mal, durch ähnliche Umstände den nutzbaren RAM einer SQL Instanz von max (64 GB) auf 300 MB reduziert... Ich konnte live dabei zuschauen wie das Management Studio abstürzte und der Ramverbrauch sank.. hat auch nicht lange gedauert, bis das Telefon klingelte..

Konkret bei Kiro AI sei etwa ein Problem gewesen, dass der Coding-Assistent zu weitreichende Berechtigungen hatte. Bei der Fehleranalyse gehe es also um die Zugriffsrechte, die Menschen erteilt haben und nicht um die autonom arbeitende KI.

Nun ja, hätte den ein Mensch mit entsprechender Fachkenntnis und den gleichen Rechten dieselben Fehler gemacht? Nein? Dann war es ein KI Fehler..Eine "KI" die auf solche Systeme losgelassen wird, sollte auch entsprechendes "Wissen" über die Materie haben, sprich Dokus, Manpages, Buglisten, Abhängigkeiten, von Version 0.0.1 - Heute im FF können - und so konfiguriert das "kreatives Denken" reduziert wird und sich auf die Fakten des "Wissens" festgelegt wird.

 

[pseudopseudonym]

aber mittlerweile auch viel von AI-Agents

...die von Menschen konfiguriert und gestartet werden. Sowas in der Art mache ich auch - auf meinen eigenen Projekten.

Ergänzung (Gestern um 20:38)

Nun ja, hätte den ein Mensch mit entsprechender Fachkenntnis und den gleichen Rechten dieselben Fehler gemacht? Nein?

Gut möglich - je nachdem, wie der Vorfall genau aussah. Bei Cloudformation hab ich auch schon ein paar mal aus Verzweiflung Stacks (fast) gelöscht, weil ich die nach fehlgeschlagenen Updates nicht mehr gerettet bekommen hab. Gut, waren keine Prod-Stacks.
Keine Ahnung, wie erfahren derjenige war und was das für ne Situation war.

 

[luckysh0t]

Bei Cloudformation hab ich auch schon ein paar mal aus Verzweiflung Stacks (fast) gelöscht, weil ich die nach fehlgeschlagenen Updates nicht mehr gerettet bekommen hab.

Als Mensch hat man allerdings ja meist ein begrenztes Wissen über etwas - wenn auch auf unterschiedlichen Niveau. So eine KI sollte wirklich alles "wissen" um nicht so eine Verzweiflungstat zu machen, wenn sie das tut wäre das ja eine "bewusste" Entscheidung aufgrund von.."faulheit" ?... aber gut das ist, Stand jetzt, wohl utopisch...wie ich selbst schon gemerkt habe, wenn ich mir mal das ein oder andere Skript erstellen lasse..



Wir haben bei uns auch auf dem Zettel KI Systeme zu planen/einzuführen, allerdings versuche ich da schon auch auf eine gewisse Spezialisierung zu achten, sofern monetär sinnvoll machbar ^^ - und nicht einfach irgendein LLMA hinzustellen und zu sagen joa viel spaß..

 

[pseudopseudonym]

allerdings versuche ich da schon auch auf eine gewisse Spezialisierung zu achten, sofern monetär sinnvoll machbar ^^

Ich finde Cline als Agent sehr geil, ist Open Source und kann alles mögliche einbinden.
Dazu dann eben passende Rule-Files und MCPs, die dem Agent beim Testen helfen.

 

[luckysh0t]

Ich finde Cline als Agent sehr geil,

Genau den habe ich auf meinem Merkzettel ^^

 

[lynx007]

ich denke, ein menschlicher entwickler hätte vorher vll 2x überlegt, ob er eine umgebung einfach löscht und neu anlegt während die ki einfach macht... also mag sein, dass die KI wegen einem menschen zu viele rechte hatte.. aber trotzdem ist es ein ki-fehler...

Das ist doch 1 zu 1 aus "Silicon Valley S6E06" geklaut. Ich will das jetzt nicht unter jeden zukünftigen Beitrag über AI pinnen. Aber scheint sich genau dieser Fehler zu häufen? Oder greift nur die Sozial Media Buble diese Ereignis auf, weil es prakisch 1 zu 1 aus diser Serie ist?

Misst, dann muss ich diese Serie jetzt wirklich mal anschauen, einfach um auf unserer Zukunft vorbereite zu sein. Und weil der Mensch alles mindestens 1-3 mal ausprobieren muss bevor er merkt das es eine schelchte Idee ist kennen wir paktisch auch schon das Ende durch Terminator. Natrülich ohne Zeitsprung, als 2. Chance.

Ergänzung (Gestern um 22:03)

Weiß ich nicht - gibt schon echt einige die ungern nachdenke 🙂‍↔️

Aber sie können denken! Meistens führt das dazu das wen man sich nicht sicher ist, das man die ARbeit einstellt und das eben gar nichts passiert.

Ja, es gibt wir mcih auch negativ Beispiele. Aber selbst dann füre ich eine "Simulation" durch. Ob sie gut ist und ausreichend, das steht auf einen anderen Papier. Immerhin reichte es das ich bis heute noch nicht gegen einen Baum gefahren bin. Der AI ist das "egal". Die kennt keine konsequenzen, kein kausalkette, reflexion.

 

[Slim.Shady]

Ich werfe einfach mal das gelbe Schild mit schwarzer Schrift in den Raum -> Eltern haften für ihre Kinder (Admins haften für ihre KI Systeme)

Das Schild hat aber keine rechtlich bindende Relevanz. Eltern haften natürlich nicht für ihre Kinder. Wäre ja zu schön gewesen, wenn meine Eltern hätten bluten müssen, für den Bockmist, den ich in meiner Jugend verzapft habe.

Ob dann demzufolge Admins für ihr KI Systeme auch nicht haften mag ich bezweifeln. Will mein Chef etwas unbedingt durchsetzen (Arbeitsanweisung) und es geht in die Hose - hat mein Chef Schuld. Mache ich etwas im Projekt falsch - haften ich (sofern keine Versicherung, von denen es sehr viele gibt, greift)

Ich halte es für einen "Designfehler", dass die KI so weitreichende Rechte erhalten hat und außerhalb des definierten Rahmens "werkeln" konnte.

 

[theGucky]

Also hat die KI einen Fehler gemacht, weil ein Mensch zuvor einen Fehler bei der KI gemacht hat.
Da aber der Mensch der ausschlaggebende Faktor war, wird der KI keine Schuld gegeben.

Kurzgesagt, man kann den Mensch feuern, aber die KI nicht.

 

[rg88]

* Diese Presseerklärung wurde von der verantwortlichen KI formuliert

 

[Knilch]

Der verfolgte Ansatz, LLMs Code schreiben zu lassen der dann vielleicht oder auch nicht von einem Menschen kontrolliert wird ist komplett für die Tonne und zeigt wie man „KI“ falsch benutzen kann. Der umgekehrte Weg sollte derjenige sein, der Mehrwert bietet. Entwickler schreiben Code, LLMs analysieren ihn und geben Feedback und Diskussionspunkte. Dies würde den Code härten und die Sicherheit relevant verbessern. Aber es spart natürlich kein Geld, zumindest nicht unmittelbar (auf was Manager meist aus sind wegen des Jahresbonus).

 

[maxi_rodriges]

Merkt euch eins: in einigen Jahren wird KI uns so was um die Ohren fliegen, dass alles zu spät ist.

 

[Floxxwhite]

Immerhin reichte es das ich bis heute noch nicht gegen einen Baum gefahren bin. Der AI ist das "egal". Die kennt keine konsequenzen, kein kausalkette, reflexion.

Naja aber offensichtlich zahlst du ja 1-2% deines Autos als Versicherung. Heißt im Schnitt kommt das „Baum fahren“ (stark simplifiziert) halt doch oft vor.

Ich bin strikt gegen reine AI ohne menschliche Kontrolle - halte auch für blödsinn, dass sich eine GPT verselbstständigt. Aber gute Algorithmen werden den Großteil der Arbeit ablösen.

 

[Dark_Soul]

Das stellt das Gesamtkonzept hinter KI, nämlich Manpower und damit Kosten zu sparen, infrage.

Nein, das ist genau so geplant in der Industrie. Stichwort Human in the Loop.

Ergänzung (Heute um 10:03)

Das ist doch exakt das, was Manager wollen? Vollautomatisierung. So lässt sich am allermeisten Geld sparen.

Komisch, auch das sagen mir meine Manager und Vorstände immer: "Einfach mal machen!" "Hands-on-Mentalität"

Absolut richtig. KI da einsetzen wo der meiste Mehrwert generiert werden kann. In den wichtigsten Prozessen.
Fail-Fast Kultur gehört besonders bei neuen Technologien und Forschungen dazu und ist essentiell um überhaupt einen Fortschritt zu haben. Dies beschleunigt die Entwicklung enorm. Ist übrigens auch bei "richtigen" Zukunftstechnologien, wie Quantencomputing, Kernfusion und sonstigem eigentlichen "Sci-fi-Themen" so. Du weißt nicht wie weit du von der Realisierung weg bist, wenn du nicht erste Schritte früh anstrebst.

On topic: finde es schon erbärmlich wie viele hier ihre Agenda verfolgen ohne Respekt für den Autor und den Artikel. Ihr werdet mit eurer Haltung in ein paar Jahren ziemlich abgehängt sein. Ich wünsche euch viel Spaß bei der Jobsuche mit dieser Einstellung "wird sich echt nicht durchsetzen"... 🙄

 

[maxi_rodriges]

keine Sorgen, auf dem Bau werden in 10 Jahren genügend Arbeitsplätze vorhanden, um marode Infrastruktur auf den Vordermann zu bringen.

 

[pseudopseudonym]

Ihr werdet mit eurer Haltung in ein paar Jahren ziemlich abgehängt sein. Ich wünsche euch viel Spaß bei der Jobsuche mit dieser Einstellung "wird sich echt nicht durchsetzen"... 🙄

Das checke ich auch nicht. Wenn man schon den Teufel an die Wand malt und sich Horrorszenarien ausmalt, warum bringt man sich dann selbst noch bewusst in eine schlechtere Lage, indem man sich dem Thema versperrt?