News Amazon: KI-Coding-Bots verursachten AWS-Ausfälle

[luckysh0t]

Unser Ops-Team hat es auch ohne KI geschafft, aus Versehen die Prod Datenbank zu loeschen.

Ich habe mal, durch ähnliche Umstände den nutzbaren RAM einer SQL Instanz von max (64 GB) auf 300 MB reduziert... Ich konnte live dabei zuschauen wie das Management Studio abstürzte und der Ramverbrauch sank.. hat auch nicht lange gedauert, bis das Telefon klingelte..

Konkret bei Kiro AI sei etwa ein Problem gewesen, dass der Coding-Assistent zu weitreichende Berechtigungen hatte. Bei der Fehleranalyse gehe es also um die Zugriffsrechte, die Menschen erteilt haben und nicht um die autonom arbeitende KI.

Nun ja, hätte den ein Mensch mit entsprechender Fachkenntnis und den gleichen Rechten dieselben Fehler gemacht? Nein? Dann war es ein KI Fehler..Eine "KI" die auf solche Systeme losgelassen wird, sollte auch entsprechendes "Wissen" über die Materie haben, sprich Dokus, Manpages, Buglisten, Abhängigkeiten, von Version 0.0.1 - Heute im FF können - und so konfiguriert das "kreatives Denken" reduziert wird und sich auf die Fakten des "Wissens" festgelegt wird.

 

[pseudopseudonym]

aber mittlerweile auch viel von AI-Agents

...die von Menschen konfiguriert und gestartet werden. Sowas in der Art mache ich auch - auf meinen eigenen Projekten.

Ergänzung (Freitag um 20:38)

Nun ja, hätte den ein Mensch mit entsprechender Fachkenntnis und den gleichen Rechten dieselben Fehler gemacht? Nein?

Gut möglich - je nachdem, wie der Vorfall genau aussah. Bei Cloudformation hab ich auch schon ein paar mal aus Verzweiflung Stacks (fast) gelöscht, weil ich die nach fehlgeschlagenen Updates nicht mehr gerettet bekommen hab. Gut, waren keine Prod-Stacks.
Keine Ahnung, wie erfahren derjenige war und was das für ne Situation war.

 

[luckysh0t]

Bei Cloudformation hab ich auch schon ein paar mal aus Verzweiflung Stacks (fast) gelöscht, weil ich die nach fehlgeschlagenen Updates nicht mehr gerettet bekommen hab.

Als Mensch hat man allerdings ja meist ein begrenztes Wissen über etwas - wenn auch auf unterschiedlichen Niveau. So eine KI sollte wirklich alles "wissen" um nicht so eine Verzweiflungstat zu machen, wenn sie das tut wäre das ja eine "bewusste" Entscheidung aufgrund von.."faulheit" ?... aber gut das ist, Stand jetzt, wohl utopisch...wie ich selbst schon gemerkt habe, wenn ich mir mal das ein oder andere Skript erstellen lasse..



Wir haben bei uns auch auf dem Zettel KI Systeme zu planen/einzuführen, allerdings versuche ich da schon auch auf eine gewisse Spezialisierung zu achten, sofern monetär sinnvoll machbar ^^ - und nicht einfach irgendein LLMA hinzustellen und zu sagen joa viel spaß..

 

[pseudopseudonym]

allerdings versuche ich da schon auch auf eine gewisse Spezialisierung zu achten, sofern monetär sinnvoll machbar ^^

Ich finde Cline als Agent sehr geil, ist Open Source und kann alles mögliche einbinden.
Dazu dann eben passende Rule-Files und MCPs, die dem Agent beim Testen helfen.

 

[luckysh0t]

Ich finde Cline als Agent sehr geil,

Genau den habe ich auf meinem Merkzettel ^^

 

[lynx007]

ich denke, ein menschlicher entwickler hätte vorher vll 2x überlegt, ob er eine umgebung einfach löscht und neu anlegt während die ki einfach macht... also mag sein, dass die KI wegen einem menschen zu viele rechte hatte.. aber trotzdem ist es ein ki-fehler...

Das ist doch 1 zu 1 aus "Silicon Valley S6E06" geklaut. Ich will das jetzt nicht unter jeden zukünftigen Beitrag über AI pinnen. Aber scheint sich genau dieser Fehler zu häufen? Oder greift nur die Sozial Media Buble diese Ereignis auf, weil es prakisch 1 zu 1 aus diser Serie ist?

Misst, dann muss ich diese Serie jetzt wirklich mal anschauen, einfach um auf unserer Zukunft vorbereite zu sein. Und weil der Mensch alles mindestens 1-3 mal ausprobieren muss bevor er merkt das es eine schelchte Idee ist kennen wir paktisch auch schon das Ende durch Terminator. Natrülich ohne Zeitsprung, als 2. Chance.

Ergänzung (Freitag um 22:03)

Weiß ich nicht - gibt schon echt einige die ungern nachdenke 🙂‍↔️

Aber sie können denken! Meistens führt das dazu das wen man sich nicht sicher ist, das man die ARbeit einstellt und das eben gar nichts passiert.

Ja, es gibt wir mcih auch negativ Beispiele. Aber selbst dann füre ich eine "Simulation" durch. Ob sie gut ist und ausreichend, das steht auf einen anderen Papier. Immerhin reichte es das ich bis heute noch nicht gegen einen Baum gefahren bin. Der AI ist das "egal". Die kennt keine konsequenzen, kein kausalkette, reflexion.

 

[Slim.Shady]

Ich werfe einfach mal das gelbe Schild mit schwarzer Schrift in den Raum -> Eltern haften für ihre Kinder (Admins haften für ihre KI Systeme)

Das Schild hat aber keine rechtlich bindende Relevanz. Eltern haften natürlich nicht für ihre Kinder. Wäre ja zu schön gewesen, wenn meine Eltern hätten bluten müssen, für den Bockmist, den ich in meiner Jugend verzapft habe.

Ob dann demzufolge Admins für ihr KI Systeme auch nicht haften mag ich bezweifeln. Will mein Chef etwas unbedingt durchsetzen (Arbeitsanweisung) und es geht in die Hose - hat mein Chef Schuld. Mache ich etwas im Projekt falsch - haften ich (sofern keine Versicherung, von denen es sehr viele gibt, greift)

Ich halte es für einen "Designfehler", dass die KI so weitreichende Rechte erhalten hat und außerhalb des definierten Rahmens "werkeln" konnte.

 

[theGucky]

Also hat die KI einen Fehler gemacht, weil ein Mensch zuvor einen Fehler bei der KI gemacht hat.
Da aber der Mensch der ausschlaggebende Faktor war, wird der KI keine Schuld gegeben.

Kurzgesagt, man kann den Mensch feuern, aber die KI nicht.

 

[rg88]

* Diese Presseerklärung wurde von der verantwortlichen KI formuliert

 

[Knilch]

Der verfolgte Ansatz, LLMs Code schreiben zu lassen der dann vielleicht oder auch nicht von einem Menschen kontrolliert wird ist komplett für die Tonne und zeigt wie man „KI“ falsch benutzen kann. Der umgekehrte Weg sollte derjenige sein, der Mehrwert bietet. Entwickler schreiben Code, LLMs analysieren ihn und geben Feedback und Diskussionspunkte. Dies würde den Code härten und die Sicherheit relevant verbessern. Aber es spart natürlich kein Geld, zumindest nicht unmittelbar (auf was Manager meist aus sind wegen des Jahresbonus).

 

[maxi_rodriges]

Merkt euch eins: in einigen Jahren wird KI uns so was um die Ohren fliegen, dass alles zu spät ist.

 

[Floxxwhite]

Immerhin reichte es das ich bis heute noch nicht gegen einen Baum gefahren bin. Der AI ist das "egal". Die kennt keine konsequenzen, kein kausalkette, reflexion.

Naja aber offensichtlich zahlst du ja 1-2% deines Autos als Versicherung. Heißt im Schnitt kommt das „Baum fahren“ (stark simplifiziert) halt doch oft vor.

Ich bin strikt gegen reine AI ohne menschliche Kontrolle - halte auch für blödsinn, dass sich eine GPT verselbstständigt. Aber gute Algorithmen werden den Großteil der Arbeit ablösen.

 

[Dark_Soul]

Das stellt das Gesamtkonzept hinter KI, nämlich Manpower und damit Kosten zu sparen, infrage.

Nein, das ist genau so geplant in der Industrie. Stichwort Human in the Loop.

Ergänzung (Gestern um 10:03)

Das ist doch exakt das, was Manager wollen? Vollautomatisierung. So lässt sich am allermeisten Geld sparen.

Komisch, auch das sagen mir meine Manager und Vorstände immer: "Einfach mal machen!" "Hands-on-Mentalität"

Absolut richtig. KI da einsetzen wo der meiste Mehrwert generiert werden kann. In den wichtigsten Prozessen.
Fail-Fast Kultur gehört besonders bei neuen Technologien und Forschungen dazu und ist essentiell um überhaupt einen Fortschritt zu haben. Dies beschleunigt die Entwicklung enorm. Ist übrigens auch bei "richtigen" Zukunftstechnologien, wie Quantencomputing, Kernfusion und sonstigem eigentlichen "Sci-fi-Themen" so. Du weißt nicht wie weit du von der Realisierung weg bist, wenn du nicht erste Schritte früh anstrebst.

On topic: finde es schon erbärmlich wie viele hier ihre Agenda verfolgen ohne Respekt für den Autor und den Artikel. Ihr werdet mit eurer Haltung in ein paar Jahren ziemlich abgehängt sein. Ich wünsche euch viel Spaß bei der Jobsuche mit dieser Einstellung "wird sich echt nicht durchsetzen"... 🙄

 

[maxi_rodriges]

keine Sorgen, auf dem Bau werden in 10 Jahren genügend Arbeitsplätze vorhanden, um marode Infrastruktur auf den Vordermann zu bringen.

 

[pseudopseudonym]

Ihr werdet mit eurer Haltung in ein paar Jahren ziemlich abgehängt sein. Ich wünsche euch viel Spaß bei der Jobsuche mit dieser Einstellung "wird sich echt nicht durchsetzen"... 🙄

Das checke ich auch nicht. Wenn man schon den Teufel an die Wand malt und sich Horrorszenarien ausmalt, warum bringt man sich dann selbst noch bewusst in eine schlechtere Lage, indem man sich dem Thema versperrt?

 

[aid0nex]

finde es schon erbärmlich wie viele hier ihre Agenda verfolgen

Klar, ich darf keine eigene Meinung haben und äußern, nein, ich verfolge eine "Agenda" 🥴

ohne Respekt für den Autor und den Artikel

Wo genau bin ich dem Autor respektlos gegenüber? Wo genau habe ich ihn angegriffen, beleidigt oder auch nur kritisiert? 🤔 Die Stelle hätte ich mal gerne zitiert. 🧐

Ihr werdet mit eurer Haltung in ein paar Jahren ziemlich abgehängt sein. Ich wünsche euch viel Spaß bei der Jobsuche mit dieser Einstellung "wird sich echt nicht durchsetzen"... 🙄

Und dir wünsche ich ganz ganz viel Spaß auf meiner Ignore List! ☺️

 

[saintsimon]

Eines der Ziele wird sein, dass genau das irgendwann nicht mehr nötig ist.

Wessen Ziele? Wer hat danach gefragt, arbeitslos zu werden?

 

[Dark_Soul]

@aid0nex, bitte lese meinen Kommentar korrekt. Ich habe dir explizit zugestimmt, recht gegeben. Offensichtlich warst du mit meiner Aussage nicht gemeint. Das war auf die allgemeine Richtung bezogen. Ganz schön empfindlich. Eieiei..

 

[Kuristina]

Wessen Ziele?

Die Ziele von denen, die das Ganze weiterentwickeln und den Investoren.

Wer hat danach gefragt, arbeitslos zu werden?

Das müsste man jetzt eigentlich aufbröseln, denn was du eigentlich meinst ist, wie sollst du künftig deine Rechnungen zahlen. Das ist dann eine andere Frage und wir kommen auf Dauer sowieso nicht drumherum, dafür eine zumindest zusätzliche Lösung zu finden.

Wie auch immer. Du möchtest deinen Job nicht an eine KI verlieren. Das verstehe ich. Aber gerade deshalb wäre es doch wichtig, dass du KI nicht reflexartig ablehnst, sondern es als Werkzeug siehst, um deine Arbeit zu optimieren oder auszuweiten und es damit zu deinem Vorteil zu nutzen. Denn irgendwann wird einer kommen, der kann genau das was du kannst, aber mit Hilfe von KI schneller. Und dann hast du die schlechteren Karten. Versuche dich mit neuen Werkzeugen zu arrangieren. Sie sind da, sie werden weiterentwickelt und sie verschwinden auch nicht wieder.

 

[samuelclemens]

Meine frage: Was ist in 20-30 jahren? Wie soll jemand den Know how stand (z.b. meines Bruders) erreichen wenn er das nie mehr selber macht?

Gar nicht. Die art von Code wie wir es heute kennen ist von menschen für menschen entwickelt worden. Ich nehme stark an das KI irgendwann direkt auf maschinenebene coden wird. Vielleicht wird es dann umgekehrt interpreter benötigen damit menschen da reinschauen können. Aber über kurz oder lang wird es derart komplex werden das kein Mensch mehr wird nachvollziehen können was die KI im hintergrund genau macht.
Für KI sind menschliche Programmiersprachen nur solange von belang wie es mit menschen daran zusammenarbeiten muss.