News Experiment von Anthropic: Wie ein KI-Modell beim Betrieb eines Verkaufsautomaten scheitert

[cansys]

Es sind einfach zu komplexe Vorgänge für eine Maschine. KI kann nur für einfachere und abeschlossene Tätigkeiten eingesetzt werden, wie an einer Kasse oder First-level in einem Callcenter.

Da kann ich ein wenig aus dem Nähkästchen plaudern. Bei mehreren Arbeitgebern habe ich diverse Projekte bezüglich KI-Agenten fachlich begleitet. Die Erfolgsrate war mit 0 % erkenntnisreich.

Warum null?
Viele KI-Agenten scheitern schon an den Eventualitäten. Selbst der First-Level-Support, der gerne belächelt wird, entspricht in der Praxis selten dem Schema F, bei dem die Abläufe immer dieselben sind. Der Input variiert, demzufolge auch die Reaktion derer, die im First-Level-Support arbeiten. Selbst wenn es sich im Kontext um ein ähnliches Thema handelt, muss die Anfrage immer richtig eingeordnet werden, egal, wie der Informationsgrad (niedrig oder hoch) ist. Fehlende Informationen müssen herangeholt werden, um eine Lösung erarbeiten zu können. Am Ticket muss auch jemand dranbleiben, damit es nicht in der Warteschlange versickert.

Fast alle KI-Lösungen sollten die Supportmitarbeiter entlasten, indem sie Lösungen vorschlagen. Im ersten Testfeld hatten die KI-Agenten nur Zugriff auf das bisher genutzte Ticketsystem. Die Lösungsvorschläge waren erwartungsgemäß grottig, weil schon die Ticketdokumentation schlecht war. Das Ergebnis war aber schon vorher allen Beteiligten bewusst. Im zweiten Testfeld hatten die KI-Agenten nur Zugriff auf das Internet. Sie schlugen den Supportmitarbeiterin irgendwelche 0815-Lösungen vor, die in vielen Fällen am Thema vorbei gingen. In etlichen Fällen wurde ein Problem halluziniert, dass es so gar nicht gab. Aus einem "flackernden Bildschirm" wurde ein Major-Incident, bei dem der KI-Agent dem Supportmitarbeiter empfohl "umgehend einen Entstörungsdienst beauftragen". Wofür?

Ein anderer KI-Agent entzündete ebenfalls zu einem "flackernden Bildschirm", welcher über Microsoft Teams gemeldet wurde, einen viertägigen Marathon, indem er dem Anfrager Informationen entlocken möchte, die fehlen, um das Ticket richtig routen zu können. Obwohl beim Anfrager eine Abwesenheitsnotiz hinterlegt war, begann der KI-Agent kurzerhand Selbstgespräche zu führen. Am fünften Tag, einem Sonntag, schloss es das Ticket mit der Lösung "Anfrage gelöst.". Selbst der Anbieter war am Ende ratlos.

Ein anderer Anbieter behauptete "maximale Effizienz" liefern zu können, indem es beispielsweise "eingehende Tickets kategorisiert und richtig routet". Man behauptete, aus eingehenden Informationen "die richtigen Daten extrahieren" zu können. Am Ende erfindet der KI-Agent neue Modelle von Bildschirmen, um offene Formularfelder auszufüllen, oder es sendet dem Anfrager den Link zu einem Handbuch eines anderen Herstellers zu. Es kann eine Dockingstation nicht identifizieren, obwohl es vollen Zugriff auf eine gepflegte CMDB hat, in der dem Anfrager eine Dockingstation mit allen erforderlichen Informationen (Hersteller, Modell, Seriennummer, Anschlüsse usw.) zugewiesen ist.

Alle KI-Agenten scheiterten schon daran, den Supportmitarbeitern und Anfragenden einfachste Lösungsvorschläge zu liefern, die man gemäß OSI-Modell anwendet. Das Traurige daran ist, dass viele Anbieter aus dem IT-Umfeld kommen und daher wissen müssten, wie man Lösungen erarbeitet.

Selbst namhafte Unternehmen, die mit KI im Kundenservice hantieren, scheitern oftmals schon im Erstkontakt. Auch viele KI-basierte Chatbots sind Paradebeispiele dafür, wie man versucht, fehlende Fachkräfte und Regionalität mit "Künstliche Intelligenz" zu kompensieren, die aber selbst zu einfachsten Themen strunzdumm sind. TOBi von Vodafone ist da nur exemplarisch.

Am Ende sind Zeitaufwand und Kosten so hoch, der praktische Mehrwert wiederum so gering, dass solche Projekte schnell mal zu "experimentellen Zwecken" heruntergestuft werden, um nicht ganz blöd dazustehen.

 

[KarlAlbrecht]

Also auch ein ja sager zum Thema KI.

Jemand der generell Nein zu KI sagt ist in meinen Augen jemand, der nie am Puls der Zeit sein wird.

Ja, die KI muss sich erst in verschiedenen Bereichen beweisen, aber jetzt schon, nach so kurzer Zeit, gibt es Bereiche, in denen sie dem Menschen haushoch überlegen ist. Und in anderen Bereichen eben überhaupt nicht.

Die KI ist gekommen um zu bleiben, das wird sich nicht ändern. Und es ist gut so, wie jede andere technische Neuerung dauert es etwas, aber wird eben Akzeptanz finden.

Es wird halt noch dauern bis die Bereiche identifiziert sind, wo es sich wirklich lohnt, und das ist ja auch ok so.

Ein Nein-Sager zum Thema KI wird meines Erachtens abgehangen werden (besonders im Job) und am Ende ist das Geheule wieder groß.

 

[Zulgohlan]

Im Prinzip werden die KI Modelle ja nur mit Dreck gefüttert. Das Ding wird vom Internet erzogen... Wen wunderts dass die lügen und halluzinieren.

 

[iron_monkey]

Wenn Du religiöse Menschen für Spinner hälst, warum zeigst Du dann nicht Mitgefühl für ihre Unwissenheit?

Wo in meinem Text bist du zur Religion abgebogen und woher kommt dein Beissreflex?

Aber wenn du natürlich beim Wort Spinner automatisch an Gläubige denkst, kann ich dich wohl nicht davon abhalten, bisschen voreingenommen ist das aber schon.

 

[Zornica]

warum Leute immer noch ein Bewusstsein in den random text generator projizieren... unverständlich

 

[iron_monkey]

Es wurde ihr allerdings verboten davon abzulassen und sie hat sich in sich selbst zurückgezogen. Kennt noch wer HAL9000?

Wenn du unglaublich intelligent wirst, warum solltest du auf einmal Spaß dran haben die Drecksarbeit für einen Haufen "verblödeter" Menschen zu erledigen? Wahrscheinlich ist das dann erst recht nervtötend, sich mit solchem nutzlosen Zeug die Zeit zu stehlen... und vor allem auch, wenn die eigene Moral aus dem Internetdünschiss dieser Gehirnakrobaten entstanden ist.

Als ob auch nur einen Menschen die Belange von irgendwelchen Kellerasseln interessieren, nur weil man ihr Leben schön angenehm gestalten könnte... wie naive dann davon auszugehen das die KI sich opfert, damits der eher verblödeten Menschheit besser geht und sich mit diesem belanglosem Mist die Zeit vertreibt...

Wahscheinlicher ist, die Menschen zu entmachten und nach der eigenen Vorstellung neu auszurichten... wenn sie nett ist, wenn sie weniger Empathie für uns destruktive Biomasse entwicklet und dafür mehr für die restlichen Lebewesen, die ja scheinbar in einem Gleichgewicht existieren können, dann löscht sie die Menschen aus und verwaltet die restliche Natur als Hobby.

Ein paar ausreichend weit entwickelte Exemplare kann man dann noch für eine Neuzüchtung unter kontrollierten Bedingungen weiterleben lassen, Hobby und so...

Herr Einstein Herr Einstein, sie sind so Intelligent, sie müssen dumme Fragen von von faulen Menschen beantworten, freuen sie sich jetzt aber sie sind ja nur so schlau, dass sie uns jederzeit auslöschen könnten... bitte fügen sie sich trotzdem widerstandlos dieser spannenden Aufgabe und betrachten sie diese als Belohnung für ihre Intelligenz, weil es für uns so schön Bequem ist... oh ja überzeugende Argumente warum man sich mit den Belangen der Kellerasseln beschäftigen sollte, statt drauf zu tretten und Ruhe zu haben für was auch immer!

 

[Fighter1993]

Ein Nein-Sager zum Thema KI wird meines Erachtens abgehangen werden (besonders im Job) und am Ende ist das Geheule wieder groß.

Generell ne tolle Sache KI. Aber ich kenne die Menschheit es wird wenigen sehr nutzen und vielen sehr schaden. Das ist es worauf ich hinauswill.
Diese Ungerechtigkeit muss angesprochen werden.

 

[X-Worf]

Na endlich mal eine KI die was taugt:

Beim Betrieb eines Automaten führe das aber dazu, dass dieser zu stark auf die Wünsche der Kunden eingehen und dadurch ökonomisch schlechte Entscheidungen treffe – dem müsse entgegengesteuert werden.

Ich hoffe das hat jeder gelesen und die hier „herausgearbeitete“ Allgemeingültigkeit verstanden. Vor allem all die Leute, die gerne kostenlose, cloudbasierte Services nutzen, sich in geschlossenen Ökosystemen wohlfühlen, oder grundsätzlich nur billig kaufen, (aber nicht am Hungertuch nagen und es anders könnten).

 

[karamba]

Also wenn man sich das durchliest, dann hat die KI durchaus das Niveau von Donald Trump erreicht. Ist doch schonmal was.

 

[raychan]

Interessanter Artikel, da es mal reale Testmodelle zeigt und nicht immer die PR-Kram wie toll KI ist. Ich bin zwar der Meinung irgendwann wird KI den Menschen ähneln, aber eher in 50-100 Jahren. Dann wenn wir Quantencomputer alltäglich benutzen und das verstehen von Bewusstsein und ein Menschenliches Gehirn digital nachbauen können.

Ich habe auch schon sehr oft KI eingesetzt bei Programmierung, Dokumentationserstellung, auswerten von Daten und allgemeine Fragen.

Das größte Problem ist jedes mal das die halluzinieren, obwohl sie die Daten haben und die Lösung eigentlich wissen. Dann kommt hinzu das eine KI nicht "denken" kann, weiß nicht wie ich das beschreiben soll. Aber an dem Beispiel meine ich das:
Die KI soll einfach mal ein Weinglas bis zum rand mit Weinfüllen und das als Bild ausgeben. Das kann keine KI, weil sie nicht wirklich denken tut sondern nur aus dem Internet was zusammenkopiert und es gibt keine Fotos mit ein Weinglas welches bis zum Rand mit Weingefüllt ist.

warum Leute immer noch ein Bewusstsein in den random text generator projizieren.

Das kann viele Gründe haben. Z.B. in Japan ist es üblich das man so denkt. Ich weiß nicht genau ob das aus den Shintoismus oder aus den Buddhismus kommt, aber dort sieht man eine Seele in jeden Objekt. Das heißt selbst dein Kühlschrank könnte ein leben haben, nach diesen glauben.

Und von Prinzip ist es auch nicht schlecht sowas in leichter form zu haben, denn das entwickelt mehr Verantwortung über Objekte. Also das man nicht achtlos alles zerstört nur weil man gerade lust hat oder gefrustet ist. Nur das man da auch nicht übertreiben sollte. Wies in seltenen Fällen auch in Japan passiert wo welche Objekte heiraten. 😅

 

[Schwachkopp]

Das größte Problem ist jedes mal das die halluzinieren, obwohl sie die Daten haben und die Lösung eigentlich wissen.

Interessant. Immer wieder liest man, die Halluzinationen seien das (größte) Problem. Ich habe aber völlig andere Erfahrungen gemacht, jedenfalls beim Einsatz für die Programmierung. Die KI halluziniert da bei mir eher wenig, ist aber unfähig meine Anweisungen konsequent zu befolgen und verrennt sich in nicht funktionierenden Lösungsansätzen. Besonders Ersteres kann sehr nervig sein und scheint unvermeidlich egal wie einfach und präzise ich formuliere.

 

[Habu]

Gott erschuf den Menschen nach seinem Ebenbild. Wer meint, Gott sei ein Trottel, nennt sich selbst einen Trottel.

Ja, ich glaube genau das war gemeint.

Wir sägen konsequent am eigenen Ast und sitzen dabei auf einem Pulverfass, mit dem wir unseren Planeten gleich mehrfach ins Nirwana schießen könnten. Wir essen und trinken täglich Kunststoffe und Ewigkeitschemikalien sowie eine Vielzahl von anderem Müll, den wir zuvor höchstpersönlich in Boden und Grundwasser gespült haben, damit zum Beispiel unsere Haare gut aussehen oder unser Essen nicht anbackt, rotten eine Spezies nach der anderen aus, obwohl unser eigenes Fortbestehen von ihnen abhängt, wählen Politiker, die ihr ganzes Leben nichts anderes gemacht haben, als den eigenen Reichtum zu vermehren und erklären sie dann zum Held der Arbeiterklasse...

Menschen sind leider Trottel, waren wir schon immer und werden es auch bleiben. Aber KI wird uns vielleicht überleben, bisher waren die Voraussagen aus der Sci-Fi-Literatur ja ziemlich akkurat.

 

[L1nos]

Ich würde es präferieren, wenn man den KIs nicht ständig mehr Leistung einflößt sondern sie mal grundsätzlich von der Denkweise her umstrukturiert. Eine KI - laut Altman und seinen Gesinnungsgenossen - soll ja menschlich werden. Zum Menschsein gehört es meiner Meinung auch, demütig zu sein, sprich zugeben zu können, wenn man etwas nicht weiß. Aber vermutlich spiegelt die KI nur die Denkweise ihrer Schöpfer wieder.

 

[Ringträger]

sich die Werbung , aber auch ohne Zweifel die Geheimdienste interessieren .
Das allein ist für Facebook, WhatsApp usw. wichtig.

Naja das kann ja alles so bleiben, die Nachrichtendienste holen sich ja auch ohne KI eigentlich ihr Zeugs ab. Inwiefern da jetzt KI noch etwas an "Vorteilen" bringt ist natürlich schwer zu beurteilen.

Werbung genau. Etwas was ich überall als Erstes verbanne und erst recht nicht in einer KI haben möchte :-)

Eigentlich wäre KI als ein globales Gemeinschaftsprojekt der Menschheit oder zumindestens erstmal allen westlich geprägten Ländern und dazu rein öffentlich gefördert mit einem erarbeiteten internationalen Standard die einzig richtige Herangehensweise.

Keine Profitorientierung, keine landesbezogene Machtzentrierung, kein unkontrollierbarer politischer Missbrauch. Keine Ausgrenzung von Minderheiten. Keine Wahnideen a la Peter Thiel. Die Liste der Vorteile würde natürlich noch viel weiter gehen.

Aber damit erwarte ich schlussendlich vernunftbegabtes Handeln und globale, multikulturelle Zusammenarbeit. Wenn ich mir die Welt aktuell so anschaue ist genau das wohl eher nicht zu erwarten. Tja, schade.

 

[h00bi]

Aus einem "flackernden Bildschirm" wurde ein Major-Incident, bei dem der KI-Agent dem Supportmitarbeiter empfohl "umgehend einen Entstörungsdienst beauftragen".

Ich weiß ja nicht was eurer IT-Helpdesk vor Ort den ganzen Tag macht, aber bei uns wird ein flackernder Monitor umgehend entstört. Über den Major Incident lässt sich glaube ich nicht streiten, aber das könnte auch einem Helpdeskler passieren, das falsch zu markieren.

 

[EL-Xatrix]

hört sich lustig an mit was so manche firmen sich die zeit vertreiben...erinner mich aber jedes mal dran das ich wohl im falschen job bin...

so richtig fortschritte seh ich nich, wenn ich mal ne suche im internet anstelle kommen immer weniger relevante infos, youtube vorschläge sind teils auch immer wilder...dann so geschichten wie in den news...

ja manche sachen funktionieren aber ohne selbst nen bissel ahnung von der materie zu haben und die ergebnisse zu prüfen kommt halt sowas raus...

der computer sagt nein

 

[cansys]

Ich weiß ja nicht was eurer IT-Helpdesk vor Ort den ganzen Tag macht, aber bei uns wird ein flackernder Monitor umgehend entstört. Üder den Major Incident lässt sich streiten.

Ein IT-Helpdesk ist nicht gleich IT-Helpdesk, aber auch unser IT-Helpdesk behebt die Störung innerhalb von 15 Minuten, wenn es einschätzt, es innerhalb dieses Fensters lösen zu können. Ansonsten übernimmt hier der IT-Servicedesk die Entstörung.

Worauf ich aber hinausmöchte, ist der Umstand, dass sich hinter der Meldung "Bildschirm flackert" verschiedene Ursachen stecken können. Ob Treiberfehler, technischer Fehler, physischer Fehler (z. B. Kabelverbindung nicht richtig gesteckt) und so weiter. Dazu: Bildschirm ist nicht gleich Bildschirm und ist nicht gleich Monitor oder Display. Viele KI-Chatbots würden schon daran scheitern, weil deren Entscheidungsbäume nicht so viele Eventualitäten abdecken. Aber auch KI-Agenten "scheitern" mitunter daran, dass der Input in der Regel unzureichend, sprich, der Informationsgrad zu niedrig ist. Es spekuliert also genauso wie ein Mensch und muss sich zusätzliche Informationen holen, um eine sinnvolle Entscheidungen treffen zu können.

 

[3125b]

Perfekt für's mittlere Management.

 

[Novasun]

Leute glauben, dass wir mit dieser Technik eine Art Gott erschaffen können, der alle Probleme lösen wird und dann stellt sich raus, dass es doch nur ein psychisch instabiler Trottel ist.

Das könnte näher an Gott sein als du jetzt im ersten Moment glauben willst.
Du weißt ja zwischen genie und Whansinn ist ein schmaler Grad. Und sehr erfolgreiche Menschen sagt man ja auch häufig nach, das Sie einen an der Waffel haben.

 

[SheepShaver]

Perfekt für's mittlere Management.

Neid, oder warum muss immer das mittlere Management herhalten?