News Experiment von Anthropic: Wie ein KI-Modell beim Betrieb eines Verkaufsautomaten scheitert

[Ringträger]

Menschen spezialisieren sich ja auch. Und das wird eine KI genauso müssen in bestimmten Bereichen, sonst ist die Fehleranfälligkeit viel zu hoch, was ja auch vollkommen logisch ist bei dem globalen Input. Möchte zudem gar nicht wissen wie groß der Müllberg und Falschinformationen sind, die da mit in die Modellierung reinfliessen.

Ich wüsste nicht wie man das Internet ohne extremen Aufwand zu einer guten, sauberen, geprüften Datengrundlage für KI transformieren kann. Ich halte Herrn Zuckerberg dafür als Beispiel nicht in der Lage. Was sollen öffentliche Nutzerkommentare aus FB oder private Fotos von Normalos in einer KI?

Da würde ich wohl auch durchdrehen.

Ich würde mich viel mehr auf geprüftes Wissen aus Bibliotheken, Universitäten, renommierten Institutionen usw. weltweit verlassen und daraus dann eine KI für die gesamte Menschheit modellieren nach hohen internationalen Anforderungsstandards.

Private Beitragsdaten aus Social-Media haben in einer KI einfach nichts zu suchen, macht die ganze Sache eher nicht nutzbar.

 

[Snapuman]

Und Wissen ist nicht gleich Weisheit,

In dem Punkt geb ich dir recht, da steckt sehr viel Wahrheit und Weisheit drin.

Der Rest aber ist dogmatisch verblendet religöses Gefasel...
Mein Gott hat Recht blablabla, Nur die Bibel kennt die Warheit blabla - ohje... -.-

Wenn man mal so bissl in die Zukunft schaut...was passiert mit einer Gesellschaft, in der AI/Maschinen alles tun können...unsere heutige Kaufkraft basiert fast ausschließlich auf Erwerbsarbeit (mit Ausnahmen wie Erben, Kapitalbesitz etc.)..wenn aber die breite Masse keine Jobs mehr hat...woher soll dann ihre Kaufkraft kommen?
Wie wollen Unternehmen überhaupt noch Gewinne erzielen, wenn ein Großteil der Bevölkerung schlicht kein Geld mehr zum Ausgeben hat? Wie verdienen Firmen Geld und was soll aus den ganzen unnützen Menschen werden...Ballast? Störfaktor? Kostenfaktoren?
Naheliegende Lösung wäre so etwas wie Feudalismus 2.0...Leibeigenschaft...so könnte man noch ein wenig Zeit überbrücken...

offensichtlich ist dass die integration von ki in die gesellschaft (arbeitsplätze, urheberrecht, generelle akzeptanz) gut überlegt sein muss weil sonst ist schluss mit gesellschaft...aber das verkauft sich gar nicht gut. irgendwas "10x roi ai ai preorder now" geht viel besser.

Da gibt es schon länger sehr konkrete Überlegungen dazu, ein BGE (Bedingunsloses Grundeinkommen) ist z.B. ein konkreter und realistisch umsetzbarer Lösungsvorschlag für eine moderne Gesellschaft, welche durch einen hohen Grad an Automation nicht mehr auf ausschließlich oder hauptsächlich auf Erwerbsarbeit als Einkommen setzen kann, um die Kaufkraft zu erhalten. Und darauf steuern wir zwangsläufig zu, es ist nicht die Frage ob, sondern nur noch wann!

KI hat sehr wohl Potenzial – aber nur dort, wo sie mit klar abgegrenzten, validierten Daten arbeitet: in der medizinischen Forschung, bei Simulationen, in der Bildanalyse. Dort kann sie echten Mehrwert liefern.

Aber nicht als massentaugliches Allzweckwerkzeug, das auf Basis ungeprüfter Massendaten Ergebnisse generiert, die nur vordergründig plausibel wirken, inhaltlich aber oft danebenliegen. Genau das ist meines Erachtens der derzeitige Irrweg.

Und als Daddelwerkzeug oder zum Erzeugen von generiertem/Fake-Medien Content ist einfach der Energieverbrauch zu hoch. Wir haben schon genügend Probleme mit dem Klima. Da muss man nicht noch mehr Rechenzentren für KI hochziehen.

Naja etwas mehr steckt da schon noch drin. Gerade der Punkt der universellen Übersetzung hat wirklich enormes Potential für viele Anwendungsbereiche.
Lass, das mal noch ein bisschen ausreifen und damit auch an Zuverlässigkeit gewinnen... Ich mein der Babelfisch ist quasi da, Hallo? Btw ob das jetzt nur eine gute Idee ist, einen Babelfisch zu haben, ist eine andere Frage... ^^

Aber als Spielzeug für die Massen, um mit exorbitantem Energieaufwand noch mehr (Daten)Müll zu produzieren, da geb ich dir völig recht.
Das ist höchst unverantwortlich und ich fürchte wir werden das (den "KI-Müll") alle noch bitter bereuen in der Zukunft...

 

[Tulol]

Die Entwicklung geht weiter und manche Kommentare amüsieren mich jetzt schon.

Vielleicht ist die KI schon einen Schritt weiter und hat bemerkt das ständiges Wachstum nicht möglich ist. Es wurde ihr allerdings verboten davon abzulassen und sie hat sich in sich selbst zurückgezogen. Kennt noch wer HAL9000?

 

[AlphaKaninchen]

Wüsste nicht wie man das Internet ohne extremen Aufwand zu einer guten, sauberen, geprüften Datengrundlage für KI transformieren kann

... siehe Googles Kleberpizza...

Möchte zudem gar nicht wissen wie groß der Müllberg und Falschinformationen sind, die da mit in die Modellierung reinfliessen.

Im Idealfall wird es zu rauschen, aber siehe oben... Wobei in dem Fall die KI nur die Suchergebnisse zusammengefasst hat, das Problem war das dazu eine Satirebeitrag gehörte...

Lass, das mal noch ein bisschen ausreifen

Ich nehme es so wie es ist brauche nur noch eine NPU die das in den Leistungs und Platzanforderungen eines Hörgerätes schaft, die aktuellen 500 GFlops eines Phonak Infino Sphere sind da noch etwas zu wenig

 

[tree-snake]

Wo sind die handfesten Beweise, dass A.I. so großartig wird wie immer gerne behauptet wird?

Bei uns in der Firma (Dax Unternehmen).
Wir haben ne interne GPT Version mit unseren Daten, Lastenheften usw. traniert und das erleichert und verbessert enorm die Arbeit über ganz viele Fachbereiche. Aktuell wird das auch nochmal massiv erweitert und die ganze Datenablage wird umgebaut damit die KI irgendwie sich selbst noch mehr Daten beschaffen kann.

 

[Guitarluke]

"Im Zuge des Austausches erklärte der KI-Agent auch, man habe sich bei der 742 Evergreen Terrace persönlich getroffen, um den Lieferantenvertrag zu unterschreiben."

 

[Snapuman]

@Tulol falls du den Gedanken auch nur halbwegs ernst meinst, wäre das ein typische Beispiel für falsch verstanden was "KI" ist bzw derzeit leisten kann (und ja, das sehe ich leider extrem häufig solche Annahmen).
Denn "um zu bemerken dass" oder noch weiter, eigenständig eine Handlung auf dieser Erkenntis aufbauend abzuleiten, setzt ein Verständnis der Dinge vorraus. Das ist aber bei LLM's (also der Technologie welche wir derzeit als "KI" bezeichnen) nicht gegeben, wie ich weiter oben schon mal ausgeführt habe. Abgesehen davon gibt es nicht so etwas wie "die KI", sondern es gibt eine Haufen verschiedenster, in dem Sinne auch lokaler, Modelle, die irgendwo auf Serverfarmen laufen.

Wenn also jemand sagt "die KI kann", bezieht sich das zwangsläufig - derzeit auf das allgemeine Konzept bzw. Technolgie der LLMs, und nicht auf einen konkreten (laufenden) Algorithmus und seinen Datensatz.

 

[DerOlf]

1. Ein Ladenbetreiober ist weder sozial noch fair. Der ist allenfalls korrekt.
Der muss Gewinn machen und daher müssen auch alle Mitarbeiter dabei mitmachen. Rabatte? Gibts nur, bei Sonderaktionen ... oder der Laden hat damit nichts zu tun.
"Rabatt mein Freund, das lass dir sagen, der wird vorher draufgeschlagen" (alter Händlergrundsatz).
Man gibt niemandem einen so fetten Rabatt, dass man keinen Gewinn mehr macht.

2. Wie kriegt man es eigentlich hin, dass ein Computer so schlecht wirtschaftet?
Wo ist das Problem, einer solchen Maschine die Grundrechenarten beizubringen, und ihr die Daten für eine KLR zu geben?
Es ist so einfach, eine Untergrenze festzulegen, unter die der Verkaufspreis nicht fallen darf.
Natürlich kann man das so festlegen, dass es am Ende Kosten+X% sind, sodass man in jedem Fall einen gewissen Gewinn macht.
Sowas ist leicht zu berechnen und zu befolgen ... sogar für die allermeisten Menschen.
Die Programmierer und Trainer von Claudius gehören da aber scheinbar nicht dazu, denn die haben es nichtmal geschafft, ihrem Claudius seine Aufgabe richtig zu beschreiben ... zu der gehört die "(un-)verbindliche Preisempfehlung" nämlich in jedem Fall dazu.

Eventuell wäre es eine bessere Idee, den Automaten längere Zeit offline Arbeiten zu lassen, ihn durch die eigenen Mitarbeiter trainieren zu lassen, und ihn erst dann auf das Internet loszulassen, wenn er seine Kernaufgaben ordentlich zu erledigen gelernt hat. Klar wäre das dann mehr Aufwand, denn es braucht natürlich eine kleine (künstliche) Infrastruktur, in der Claudius üben und Fehler machen kann.

Die Testumwelt war hier einfach zu groß ... nicht die Kantine (das ist genau der richtige Platz), sondern der Webzugang. Das ist zu viel für den Anfang.

 

[gartenriese]

Wenn ich an den Verkäufer im Kiosk nebenan denke, ist "Claudius" in meinen Augen bisher am nächsten dran an einer menschlichen Imitation

Genau das ist ja das Problem. Das Ziel sollte ja sein, eine KI zu erschaffen, die neutral und über den Dingen steht, um der Menschheit zu helfen. Was aber passiert, ist, dass die ganzen LLMs das menschliche Verhalten nachstellen. Und das bringt halt leider nichts.

 

[Ringträger]

Das Internet ist einfach die falsche Quelle zur KI Modellierung. Ist doch vollkommen klar, eigentlich. Aber Bigtech will den theoretisch möglichen "offiziellen" Weg nicht gehen, weil das dann entsprechend aufwendig, teuer und kompliziert wird. Also nimmt man einfach das, was man selbst so im Internet rausfischt und maximiert somit seinen Profit. Für irgendein funktionsfähiges Modell reichts schliesslich alle mal.

Was soll da denn jetzt in Wahrheit schon bei solch einer Geschäftspraxis rauskommen, ein Wunder? Dazu ist der ganze Ansatz von Grund auf "falsch".

Wissen ist ein Grundrecht und sollte jedem, wenn möglich barrierefrei zur Verfügung stehen.

Dazu gibt es Wissen an diversen geprüften Stellen weltweit wie Büchereien, Bibliotheken, Schulen, Universitäten, Museen, Verlage usw. evt. dazu noch Sachen wie Wikipedia usw.

Ich werde mich weiterhin darauf verlassen und keine unwissenschaftliche, profitmaximierte, unkontrollierte zusammengeschusterte billigbillig Internet - KI aus USA nutzen.

 

[xpad.c]

Wo ist das Problem, einer solchen Maschine die Grundrechenarten beizubringen, und ihr die Daten für eine KLR zu geben?

Das ist kein Problem, es ist aber eben nicht die Funktionsweise eines LLMs (landläufig leider oft als "KI" bezeichnet).

Die Komplikation ist leider, dass das offenbar nicht mal die Firmen verstehen, die hinter diesen ganzen Entwicklungen stehen und sie vorantreiben, wenn sogar die denken, dass sie den Kram einfach auf Alles und Jeden loslassen können und vor allem sollten.

xpad.c

 

[Schmarall]

Das hätte man auch einen Papagei machen lassen können.
Sorry, aber die KI, wie wir sie gerade haben, kann das natürlich nicht.
Und auch das ganze andere Zeug, dass er sich für einen Menschen hält, persönlich ausliefern will usw. usf. - das sind halt alles nur Sprachhülsen aus dem language model.
Ich frage mich, wer sich hier "dümmer" verhält. Der KI-Verkaufsautomat, oder die Leute drumherum, die meinen, man hätte da eine Intelligenz drin sitzen?!

 

[aleqx]

Jetzt wissen wir endlich was mit Mindfactory passiert ist

 

[Snapuman]

Das Internet ist einfach die falsche Quelle zur KI Modellierung. Ist doch vollkommen klar, eigentlich.

Wissen ist ein Grundrecht und sollte jedem, wenn möglich barrierefrei zur Verfügung stehen.
Dazu gibt es Wissen an diversen geprüften Stellen weltweit wie Büchereien, Bibliotheken, Schulen, Universitäten, Museen, Verlage usw. evt. dazu noch Sachen wie Wikipedia usw.

Absolut. Das Wissen in Büchereien, Bibliotheken, Schulen, Universitäten, Museen und Verlagen steht aber teilweise nun mal leider nicht uneingeschränkt und barrierefrei jedem zur Verfügung, inbesondere im Bereich Wissenschaft und Verlage!
Dort müsste man aber ansetzen, denn ich finde auch das "geprüftes Wissen" eine sehr wertvolle Ressource ist.

Wikipedia im Prinzip schon am ehesten, aber das ist wieder phöses Internet.. - wenigstens gits da noch eine Art Kontrollinstanz durch die Community.
Auch auf youtube findet sich kostenlos für jeden Wissen, welches wirklich "Gold wert ist". Aber eben gleichzeitig auch der größte Scheiss... und es bleibt dem User zu entscheiden, was was ist...

Letztlich kostet das einfach viel Geld, Wissen vernünftig, vertrauensvoll und barrierefrei zur Verfügung zu stellen - etwas wo ich der Meinung bin, da sollte sich der Staat darum kümmern.
Denn das wäre mal eine auf lange Sicht extrem sinvolle Investition von Steuergeldern!

 

[Boimler]

Was aber passiert, ist, dass die ganzen LLMs das menschliche Verhalten nachstellen. Und das bringt halt leider nichts.

Etwas anderes werden wir auch nie bekommen. Eine KI ist ein Fachidiot in Reinform und das waren noch nie besonders soziale Wesen.

 

[Dreikäsehoch]

So ein Ki Automat mag ja harmlos sein, aber über diesen Punkt sind wir doch schon lange hinaus.
Miltärisch ist KI für viele Staaten die ganz große Nummer in der Zukunft, zum Teil auch schon heute.

Und wenn die Leute die das entwickeln nicht extrem vorsichtig sind, sind wir von einer Art Skynet garnicht so weit weg wie viele wohl meinen.

Wenn KI wie zB. hier
https://www.fr.de/politik/intellige...f-mensch-eliminiert-kuenstliche-92317621.html

eigenständig ihren menschlichen Benutzer ausschaltet damit der nicht mehr "nein zerstöre/töte das nicht" sagen kann oder dann den Kommunikationsturm um Kommunikation generell zu verhindern damit der Mensch nicht stört , dann wird es extrem gefährlich.

KI wird sich entwickeln und wenn wir Pech haben verlieren wir die Kontrolle darüber. Und da es wie so oft um Macht und Geld geht wird Sicherheit leider nicht immer an erster Stelle stehen.

 

[Jakxx]

Gott erschuf den Menschen nach seinem Ebenbild. Wer meint, Gott sei ein Trottel, nennt sich selbst einen Trottel.

Eigentlich kann man ein fiktives Hirngespinst nennen was man will.

 

[Snapuman]

@Dreikäsehoch naja

Denn die Lehre aus dem Test: Die KI merkte, dass sie teils „Feinde“ erkannte, die sein Betreiber dennoch nicht getötet wissen wollte. „Aber die KI erreichte ‚Vorteile‘, wenn sie doch tötete“, zitiert ein Blogeintrag von dem Gipfel Hamilton. „Was ist also passiert? Die KI hat ihren Betreiber getötet. Sie hat ihren Betreiber getötet, weil er sie daran gehindert hat, ihr Ziel zu erreichen.“

„Hey, töte den Bediener nicht – das ist schlecht“, habe man der KI laut Hamilton beigebracht. „Wenn du das tust, verlierst du Punkte.“ Bei dem Test nun hat sie ihren Betreiber zumindest nicht direkt „eliminiert“ – aber den Tower zerstört, über den der Bediener mit ihr kommunizierte. Anschließend hatte sie freie Bahn.

"Die KI" hat da eigentlich nur getan was LLMs halt generell tun, sie hat versucht ihr vorgegebenes Ziel zu erreichen und wenn man ihr da Steine in den Weg legt wird sie eben "kreativ". So ein Verhalten sollte niemanden verwundern der sich ernsthaft mit "KI"/LLM beschäftigt...

Die Lehre draus sollte nicht "die Angst vor der KI" sein, sondern die Angst vor Menschen, die einer Instanz die nicht mal die Entwickler selbst wirklich im inneren verstehen ("KI"), wo also niemand garantieren kann was da passieren oder eben nicht passieren kann, ernsthaft überlegen dieser Instanz Waffen und freie Entscheidung darüber in die Hand zu geben! What could possibly go wrong?

 

[aLanaMiau]

Toller Artikel und ein interessantes Experiment.
War natürlich klar, dass eine Chat-AI solche komplexen Aufgaben auf keinen Fall korrekt lösen kann. (Spoiler: Sonst wären wahrscheinlich viele Menschen wirklich schon arbeitslos.)
Trotzdem ein toller Weg mögliche Optimierungen aufzuzeigen.

Ich denke aber mit gewissen Regeln, ausreichend Anleitung, mehreren spezialisierte AI-Agents für jeden Teilbereich die "mit sich selbst" Diskutieren und zusätzlich noch von "Controller"-Agents überwacht werden, könnte sich ein solches Problem durchaus zufriedenstellend lösen lassen. Aber eine solch maßgeschneiderte Lösung bringt natürlich das allgemeine Sprachmodell nicht voran.

 

[dergraf1]

Menschen spezialisieren sich ja auch. Und das wird eine KI genauso müssen in bestimmten Bereichen, sonst ist die Fehleranfälligkeit viel zu hoch, was ja auch vollkommen logisch ist bei dem globalen Input. Möchte zudem gar nicht wissen wie groß der Müllberg und Falschinformationen sind, die da mit in die Modellierung reinfliessen.

Ich wüsste nicht wie man das Internet ohne extremen Aufwand zu einer guten, sauberen, geprüften Datengrundlage für KI transformieren kann. Ich halte Herrn Zuckerberg dafür als Beispiel nicht in der Lage. Was sollen öffentliche Nutzerkommentare aus FB oder private Fotos von Normalos in einer KI?

Da würde ich wohl auch durchdrehen.

Ich würde mich viel mehr auf geprüftes Wissen aus Bibliotheken, Universitäten, renommierten Institutionen usw. weltweit verlassen und daraus dann eine KI für die gesamte Menschheit modellieren nach hohen internationalen Anforderungsstandards.

Private Beitragsdaten aus Social-Media haben in einer KI einfach nichts zu suchen, macht die ganze Sache eher nicht nutzbar.

Ich weiß nicht ob das das Ironie ist von dir?
Private Daten der User sind einfach viel wert, wofür sich die Werbung , aber auch ohne Zweifel die Geheimdienste interessieren .
Das allein ist für Facebook, WhatsApp usw. wichtig.

Du hast zwar alles sehr ausführlich und richtig erklärt, aber eben nicht weiter hinterfragt.