News Amazon: KI-Coding-Bots verursachten AWS-Ausfälle

[Axonteer]

Ich hab keine ahnung von Coding abseits von mal einem Freifach 2004 in der Berufsschule.
Aber ich hab da Bedenken zum Thema Peer Review.

Mein Bruder, ende 50 meint "ich schreib doch keinen code mehr selber, ich lasse die KI das machen und überprüfe das dann halt kurz, hab ja genug Ahnung um Fehler zu finden"
Bekannter Anfang 20: "Warum soll ich Code noch selber schreiben wenn die KI das besser und schneller kann"


Meine frage: Was ist in 20-30 jahren? Wie soll jemand den Know how stand (z.b. meines Bruders) erreichen wenn er das nie mehr selber macht?

Zudem find ich die Ausrede mal wieder Busines-Cringe gold "ja ne das ist nicht schuld der AI den fehler hätte auch ein Mensch machen können"... of corse of corse my cringy friend.

 

[aid0nex]

Amazon erklärte auf Anfrage der Financial Times, in beiden Fällen habe es sich „um Fehler, nicht KI-Fehler“ gehandelt. Es sei Zufall gewesen, dass KI-Tools involviert waren. Menschliche Entwickler hätten diese Vorfälle ebenfalls verursachen können.

Natürlich nicht
Es kann nicht sein, was nicht sein darf. Der Elefant im Raum darf nicht angesprochen werden.
KI-Kritik ist für den üblichen Tech Manager Blasphemie. Der Erlöser KI ist gekommen um uns alle zu ersetz.... äh zu retten! Zweifelt nicht an ihm!

Bei der Fehleranalyse gehe es also um die Zugriffsrechte, die Menschen erteilt haben und nicht um die autonom arbeitende KI.

Klar - es ist nicht die Schuld der KI, die den fehlerhaften Code produziert und deployed hat. NEIN! Es ist der Fehler der Menschen die der KI die Zugriffsrecht erteilt haben! 😂 Es wird ja immer lächerlicher.

Zeigt aber auch das Kernproblem auf: Manager haben gerne Köpfe von echten Menschen, die sie im Zweifelsfall rollen lassen können. Eine KI kann keine Verantwortung übernehmen. Nicht für Incidents gerade stehen. Also sucht man sich wieder einen menschlichen Deppen den man die Schuld in die Schuhe schieben kann. 🤡

 

[habla2k]

Tja, bin gespannt ob wir das MI: Final Reckoning Szenario in den nächsten 20 Jahren dann erleben werden.

 

[aid0nex]

Es gehört aber schon auch ein special kind of stupid dazu, KI direkt auf Prod deployen zu lassen...

Das ist doch exakt das, was Manager wollen? Vollautomatisierung. So lässt sich am allermeisten Geld sparen.

Ergänzung (Freitag um 12:56)

ich denke, ein menschlicher entwickler hätte vorher vll 2x überlegt, ob er eine umgebung einfach löscht und neu anlegt während die ki einfach macht...

Komisch, auch das sagen mir meine Manager und Vorstände immer: "Einfach mal machen!" "Hands-on-Mentalität"

Ergänzung (Freitag um 13:01)

Meine frage: Was ist in 20-30 jahren? Wie soll jemand den Know how stand (z.b. meines Bruders) erreichen wenn er das nie mehr selber macht?

Das Problem haben wir in einigen anderen Dingen heute schon erreicht: Es gab in der Vergangenheit z.B. schon Unfälle mit (Verkehrs-)flugzeugen, als Assistenten ausgefallen sind, weil in der Ausbildung nur noch mit den ganzen unterstützenden Systemen gelernt worden ist. Die Erkenntnis der IATA, FAA, EASA und co waren dann: Piloten sollen wieder mehr "manuelles Fliegen" üben müssen. Oder anderes Beispiel: Man glaubte in Deutschland auch, die Bundeswehr nicht mehr wirklich zu brauchen, es würde in der modernen globalisierten Welt schon keine Landkriege mehr geben. Jetzt die teure Erkenntnis, dass dies ein riesiger Fehler war. Genauso wird es sicherlich auch in Zukunft sein: Firmen werden menschliche Expertise dank KI weg rationalisieren und dann irgendwann wieder ganz teuer einkaufen müssen.

 

[Termy]

Das ist doch exakt das, was Manager wollen?

Das widerspricht meiner Aussage ja nicht?

 

[aid0nex]

@Termy leider richtig 😅

 

[gartenriese]

Nein! Doch! Ooh!

 

[Lan_Party94]

Wie jetzt? Ja, oder Nein? Habe die gesoffen?

Was ist daran so schwer zu verstehen? Die KI hat den Fehler verursacht, zugelassen haben es Menschen. Also waren Menschen, so wie es im Artikel auch steht, schuld daran - die Berechtigung hat sie die KI nicht selbst erteilt.

also mag sein, dass die KI wegen einem menschen zu viele rechte hatte.. aber trotzdem ist es ein ki-fehler...

Naja, die KI hat das getan was ihr aufgetragen wurde - mehr oder weniger.
Ich werfe einfach mal das gelbe Schild mit schwarzer Schrift in den Raum -> Eltern haften für ihre Kinder (Admins haften für ihre KI Systeme)

So einen Dreck zu erzwingen weil man sein schlechtes Investment nicht in Frage stellen will ist halt mal wieder typisch für blinde Manager.

Das liest sich für mich nach dem durschnittlichen 60+ Jahre Rentner der noch analoges TV guckt und das Internet verflucht. Erweitere mal deinen Horizont - ich hoffe du wirst alt genug um zu sehen wie extrem du mit dieser Aussage falsch liegst.

Ein Lehrling macht auch Fehler, die dürfen aber nicht auffallen. Deshalb muss man dem Lehrling Arbeiten übertragen die er ordentlich ausführen kann und/ oder dabei überwachen.
Die KI ist nichts anderes.

Keine Ahnung was du für Lehrlinge hast, aber ich habe in meiner Ausbildung viel selbständig gearbeitet. Ich kenne auch niemanden der 8h mit einem Argus Auge "überwacht" wurde. Und nach der Ausbildung? Ein Geselle und Meister macht mal nen Fehler - ob er kaum auffällt oder die Produktion 3 Tage lahm legt ist egal. Fehler passieren, ob Mensch oder KI.

Amazon macht alles richtig - wer das nicht so sieht meint auch das ISDN noch die nächsten 10 Jahre ausreicht... Ach moment mal..... 😜 😜 😜

 

[DonDonat]

Schon interessant, wie defensiv Mega-Corp hier ist, wenn sie auf offensichtliche Probleme des Blasen-Produkts angesprochen werden. Man hätte ja auch einfach sagen können "ja, ist passiert, wir verbessern den Prozess so dass mehr Menschen noch mal nen Blick drauf werfen" und es wäre voll ok gewesen.
Aber nein, man muss verteidigen "den Fehler HÄTTE ein Mensch auch machen können".
Ja HÄTTE. Jeder Fehler HÄTTE von einem Mensch kommen können.
Ist er aber hier nicht. Nur gut, dass es überhaupt so früh aufgefallen ist: "Schläfer" Fehler die sich erst in X Zeiteinheiten äußern, sind die viel böseren und je mehr "KI" dort eingesetzt wird, desto eher leidet die gesamte System-Integrität.

Aber wahrscheinlich muss ein Mega-Corp-"KI"-System erst mal die "Crash and burn" Phase erleben, damit die Manager aufwachen und verstehen, dass sowas nicht für integralen Code funktionieren kann.

Schon bei "nur" Tests sollte man nen genauen Blick drauf werfen, weil dank dem Nicht-Verständnis des Inhalts gerne mal Edge-Cases vergessen werden oder unnötige Tests auftauchen, die so keinen Sinn machen.

Statt den Einsatz zu forcieren, wäre der bessere Einsatz konkrete Aufgaben zu ermitteln und dafür konkrete Systeme zu entwickeln, die diese Aufgabe sinnvoller machen können. Bei Tests: wie wäre es mit einem smarten Template-Generator, der unter den Auflagen der Konzern-IT schon mal die Basis so legt, dass der Tester "nur noch" ermitteln muss was/wie zu testen ist? Oder für Devs, wie wäre es mit einem Handbuch, gerne mit LLM oben drüber damit natürliche Sprache verwendet werden kann, welches die Software RICHTIG erklärt, so dass neue Devs hier sinnvoll einsteigen können? Aber ne. Zu konkret. Zu sinnvoll. Lieber mit dem Buzzword "KI" alles erschlagen, auch wenn es Anno 02.2026 immer noch keine einzige Daten-Grundlage gibt, die schon mal ein Produktivitätsplus durch den "KI" Hammer gezeigt hätte.

 

[aspro]

Was ist daran so schwer zu verstehen? Die KI hat den Fehler verursacht, zugelassen haben es Menschen. Also waren Menschen, so wie es im Artikel auch steht, schuld daran - die Berechtigung hat sie die KI nicht selbst erteilt.

Es sind halt Berechtigungen notwendig, damit die KI überhaupt irgendwas produktives tun kann. Die Aussage suggeriert den Irrglauben, man müsse die KI nur richtig konfigurieren und dann passiert schon nicht mehr schlimmes. Vielleicht wäre das in dem konkreten Fall möglich gewesen, aber es ist halt nur ein Workaround. Wenn die KI nur das tun würde, was sie tun soll, sind Berechtigungen nicht das Problem.

Naja, die KI hat das getan was ihr aufgetragen wurde - mehr oder weniger.

In dem Fall eher weniger.

Ich werfe einfach mal das gelbe Schild mit schwarzer Schrift in den Raum -> Eltern haften für ihre Kinder (Admins haften für ihre KI Systeme)

Nach dieser Logik macht per Definition die KI gar keine Fehler. Schließlich lässt sich immer ein Mensch finden, dem man die Schuld geben kann.

Fehler passieren, ob Mensch oder KI.

Völlig richtig. Wäre für mich auch kein Problem, wenn Amazon das so sagen würde. Aber de versuchen ja gerade zwanghaft das Narrativ so zu drehen, dass das kein KI-Fehler war.

Amazon macht alles richtig - wer das nicht so sieht meint auch das ISDN noch die nächsten 10 Jahre ausreicht... Ach moment mal..... 😜 😜 😜

Billiges Totschlagargument.

 

[Axonteer]

dann irgendwann wieder ganz teuer einkaufen müssen.

Kauft mich! Ich habe zwar keine Ahnung, aber mehr als ihr allemal! :-D
Das mit den Mechadendriten und roten Roben können wir aber gerne weglassen (Warhammer witz) ;-)

Ja stimmt da war doch was mit dem Boing Assistenzsystem das auch nur einen Sensor hatte also single point of failure und die Piloten nicht wussten wie sie das System ausschalten konnten weil das im Trainingsdokument nicht thematisiert wurde.

 

[pseudopseudonym]

ich denke, ein menschlicher entwickler hätte vorher vll 2x überlegt, ob er eine umgebung einfach löscht und neu anlegt während die ki einfach macht... also mag sein, dass die KI wegen einem menschen zu viele rechte hatte.. aber trotzdem ist es ein ki-fehler...

Nein. Du lässt KI einfach nicht an Prod-Stacks und gibst dann noch die Tools zum Löschen frei (die Tools lassen sich feingranular für Agents freigeben/sperren).

 

[scryed]

also macht auch die KI Fehler. Beweis abgeschlossen.

Aber wie man schon gesagt hat ki kennt nur 01 an oder aus .... Da gibt es kein Brauchgefühl da wird gelöscht ohne zu denken wenn zb die Voranname alte Software weg neue rein zb...

Ob es da Verstrickungen geben kann auf welcher Ebene auch immer weiss die KI zb nicht wenn es ihr keiner sagt und das Geflecht aus Ineinandergreifender Programme ist teils enorm .... Fähige Programmierer fragen sicher auch erstmal rum bei benachbarten Abteilungen bevor kopflos was abgeschalten wird

Ich warte auf die Zeit bis solche "ki" soweit implementiert sind und der Mensch die gekonnt bescheisst und dadurch Millionen an Geld abzwackt

 

[Floxxwhite]

ich denke, ein menschlicher entwickler hätte vorher vll 2x überlegt, ob er eine umgebung einfach löscht und neu anlegt während die ki einfach macht...

Weiß ich nicht - gibt schon echt einige die ungern nachdenke 🙂‍↔️

 

[Kuestennebel79]

Wir schieben auch schon immer alles auf die AI und ja, es hat damit zu tun. Das Management ist horny, will das wir "shippen" und "business value" und US style .. Opus ballert guten Code raus, Senior reviewen es, aber das Problem ist, die Dinge rutschen durch. Warum? Nicht alle Details werden mit Tests erfasst, dass ist bis heute fast unmöglich und es gibt dynamische Aspekte die sich erst zur Laufzheit ergeben, die brauchen Sorgfalt und Erfahrung. Niemand ist es gewöhnt solch große Mengen an Code zu reviewen. Mir selber ist ein Log Message von Credentials durchgerutscht, das komplette dict von Parametern für einen HTTP Call mit Client Credentials ab ins Log auf hohem Log Level, also nicht abschaltbar. Warum ist mir uind minem Kollegen nicht aufgefallen? Niemand wäre darauf gekommen, dass sowas jemand macht und die Menge an Code ist einfach enorm, inflationär. Ich bin so gespannt, was für lustige Sachen im Bereich Securiry und Integrity noch erleben werden. Ausfälle, Breaches, Loss of Data .. das wird noch wild werden die nächsten Jahre

 

[Tsu]

KI ist halt noch dämlich und erzeugt in >90% einfach schlechtere Arbeit als Menschen.

Mein Bruder, ende 50 meint "ich schreib doch keinen code mehr selber, ich lasse die KI das machen und überprüfe das dann halt kurz, hab ja genug Ahnung um Fehler zu finden"
Bekannter Anfang 20: "Warum soll ich Code noch selber schreiben wenn die KI das besser und schneller kann"


Meine frage: Was ist in 20-30 jahren? Wie soll jemand den Know how stand (z.b. meines Bruders) erreichen wenn er das nie mehr selber macht?

Schlechte „Entwickler“ hast du in sehr vielen Unternehmen, je größer desto proportional mehr. (Kleine Unternehmen könnten sich das nicht leisten.)

Ihr nähert euch hier einem großen Problem, das KI sogar fördert:

Hinterher ist die Suppe schlecht wartbar. Beteiligte Menschen haben unterwegs auch nichts bemerkt, keine Ingenuität entwickelt, und werden wohl auch in der nächsten Version keine elegantere Lösung produzieren. Damit zurück zum Anfang des Absatzes. :-)

Insgesamt fällt damit auch Lernen auf höherer Ebene flach.

Fraglich ist nicht der Einsatz der KI, sondern warum kein ordentliches System etabliert wird, dass solche großflächigen Fehler/ Ausfälle weitgehend eindämmt. Amazon ist ja dein Einzelfall wo so geschlampt wird

Viele fangen „ambitioniert“ mit verpflichtenden „Peer“-Reviews an. Dann degeneriert es langsam aufgrund des Niveau-Gefälles und/oder wg. charakterlicher oder organisatorischer Mängel. Selbstdarsteller, Feuds, Leistung die nicht anerkannt wird bei gleichzeitiger Egalisierung usw.

Schließlich gibt es plötzlich viele neue Repos, neue interne Produkte (sofern das Management auch hier geschlampt hat) – damit es schneller und leichter geht.

Management soll sich doch bitte selbst mit „KI“ beschäftigen – statt sie denen da unten aufzudrücken…

die Menge an Code ist einfach enorm, inflationär

Wenn Bots beteiligt sind? Weil ansonsten ist es ein Zeichen schlechter Codequalität und Ingenieurspraktiken.

 

[aid0nex]

Ja stimmt da war doch was mit dem Boing Assistenzsystem das auch nur einen Sensor hatte also single point of failure und die Piloten nicht wussten wie sie das System ausschalten konnten weil das im Trainingsdokument nicht thematisiert wurde.

Du meinst das MCAS der 737 Max Familie.

Das hatte aber eher Zulassungsgründe. "Ist ja immer noch die gleiche alte 737, die muss die FAA ja nicht mehr neu prüfen." Aber ja, läuft letztlich auch auf's Geld sparen hinaus. "Augen zu und durch" Mentalität. "Wird schon klappen". Bedenkenträger (Ingenieure) bei Boeing waren für Manager eher Spielverderber.

 

[icetom]

Die Leute die den ki erzeugten Code reviewen sollen hauen es dann oft auch in ki. Und darum fallen die meisten Fehler nicht auf. Dann haben wir den Kreisschluss, ki Produkt das so schnell erzeugt wird dass der "Kunde" (hier im eigenen Unternehmen) ki einsetzt, um es genau so schnell auszulesen damit er zeitlich mithalten kann. Das passiert schon längst in allen Branchen wo man ki einsetzt.

 

[anexX]

Eine richtig "brillante" Argumentation seitens Amazon - wenn die Akzeptanz findet empfehle ich in Zukunft jedem Killer sich vor Gericht auf Gott zu berufen weil der ihn ja erschaffen hat, also ist der es auch Schuld.

 

[Creeping.Death]

Ach herrjeh, hat man der KI-Skeptiker-Bubble wieder Futter gegeben...

Wen überrascht es, wenn die KI Mist baut? Oft genug gibt mir ein KI-Chatbot völlig falsche Ergebnisse. Deshalb hinterfrage ich das, was mir da ausgespuckt wird und nehme es nicht als die endgültige Wahrheit hin.
Wegen solcher Fehler KI aber als völlig unnütz zu verteufeln ist halt auch dämlich. Nach diesem Maßstab müsste man mal die realen Menschen in diesem Forum beurteilen. Wenn man sich die Teils unfassbar unnützen Lösungsansätze auf Anfragen zur Soft- und Hardwareproblemen durchliest, verstehe ich, warum immer mehr Leute lieber mit einer KI chatten.