News KI-Sicherheitsdebatte: Sam Altman warnt ebenfalls vor Kontrollverlust durch KI

[Lazo53]

@Lazo53
Den ausgewachsenen Digitalkulturpessimisten wirst du aus mir nicht mehr herausbekommen.

Ich arbeite jeden Tag mit Systemen (IoT), die regelmäßig an mangelnden Redundanzen scheitern, weil den Betreibern/Entwicklern die Kostenersparnis wichtiger war, als ein zuverlässig funktionierendes System (Redundanz kostet ... und das spart man sich lieber, damit der Service konkurenzfähig bleibt).
Im Alltag erlebe ich einfache Elektronik oder simple Mechanik oft als deutlich leistungsfähiger und zuverlässiger, als jedes noch so ausgefeilte Digitalsystem mit Internetzugang.

Diese Systeme mögen weniger wartungsintensiv und in Herstellung und Betrieb günstiger sein (es muss niemand vorbeikommen, um einen Fehlerspeicher zu löschen oder der Software zu versichern, dass schon alles in Ordnung ist ... das geht alles online). Das spart irgendwem sicher eine Menge Geld. und einigen anderen einiges an Arbeit und Herumgurkerei.
Leider muss ich mir eben auch Erklärungen dafür aus dem Finger saugen, warum das jetzt gerade nicht funktioniert. Also kostet es gleichzeitig meine Nerven und so ganz nebenbei die Zeit der anderen Kunden.
Das ist mehr als nur ärgerlich. Das ist peinlich. In meinem Job muss es schnell gehen ... niemand wartet an der Kasse einer Tankstelle gerne drauf, dass ein PAL* gelöst wird. Die Kunden wollen weiter.

*) ein "Problem anderer Leute".

Da hast du absolut den Nagel auf den Kopf getroffen und ich kann das aus meinem Alltag als IT'ler auch nur bestätigen.


Was du beschreibst ist nichts anderes als das Ergebnis von jahrelanger Kostenoptimierung auf dem Rücken der Leute, die das ganze am Ende zum laufen halten müssen. Redundanz kostet, Vor-Ort-Support kostet, ordentliche Hardware kostet, saubere Software kostet - und all das wird als erstes weg gespart, damit die Marge stimmt. Was übrig bleibt ist ein System, das im Datenblatt super aussieht, im Alltag aber ständig irgendwo klemmt. Und wer darfs ausbaden? Genau, die Leute an der Front. Du an der Tankstelle, ich beim Endanwender.


Was mich dabei am meisten nervt ist die Ehrlichkeit die dabei fehlt. Die Betreiber sparen sich Geld, aber die Kosten sind ja nicht weg - die werden nur weiter geschoben. Auf dich, auf mich, auf den wartenden Kunden. In keiner Bilanz taucht auf wie viel Umsatz an der Kasse verloren geht weil die Karte nicht funktioniert, oder wie viel Nerven der Techniker lässt, weil er für ein Problem geradestehen muss, das er nicht verursacht hat. Diese Kosten sind einfach unsichtbar und deswegen ist das Modell für die Betreiber attraktiv. Ein klassischer Fall von "Gewinne privatisieren, Verluste externalisieren".


Und dann kommt noch dazu was ich vorhin schon gesagt habe - wir Menschen sind Gewohnheitstiere. Wir gewöhnen uns an die smarten Systeme, wir vergessen wie einfach früher Dinge funktioniert haben und irgendwann trauen wir uns gar nicht mehr die einfache Lösung zu wählen weil sie ja "veraltet" wirkt. Ein mechanischer Zapfhahn, ein Drehknopf am Thermostat, ein Türschloss mit Schlüssel - das läuft und läuft und läuft. Ohne Firmware Update, ohne Cloud Anbindung, ohne dass irgendein Server in einem anderen Land online sein muss damit ich in mein eigenes Haus komme. Aber wir bauen es raus weil "smart" sich besser verkaufen lässt.


Wo ich dir noch was mit auf den Weg geben will: Das Problem ist meiner Meinung nach nicht die Digitalisierung an sich, sondern die schlampige Digitalisierung. Man KANN robuste digitale Systeme bauen - die Luftfahrt macht es, die Medizintechnik macht es, kritische Infrastruktur macht es. Nur kostet das eben ein vielfaches vom Consumer IoT Standard und das will keiner bezahlen. Solange der Markt Billig Digitalisierung belohnt, kriegen wir Billig Digitalisierung. Da müsste man an den Rahmenbedingungen ansetzen - Haftung, Standards, Betreiberpflichten - aber das ist eine politische Frage und keine technische.


Und jetzt kommt der Punkt der mir bei der ganzen Debatte am meisten Sorgen macht: Genau das gleiche Muster sehen wir gerade bei KI. Wird schnell rein gepackt, überall wo möglich, ohne Redundanz, ohne Fallback, ohne dass die Betreiber wirklich verstehen was sie da tun. Chatbot statt Kundendienst weil es Geld spart - bis er Mist erzählt. KI Bilderkennung statt Wachpersonal - bis sie versagt. Die IoT Katastrophe der letzten 15 Jahre ist wahrscheinlich nur die Generalprobe für das was uns bei KI in den nächsten 15 Jahren blüht. Nur eine Ebene komplexer und mit deutlich größerem Schadenspotential.


Also nein, du bist kein Digitalpessimist. Du bist einfach jemand der den Job macht den die Systemarchitekten hätten machen sollen. Und deine Frustration ist ein Warnsignal das die Branche eigentlich ernst nehmen müsste. Tut sie aber nicht, weil du keine Aktien besitzt und auf keiner Tech Konferenz sprichst.

Ergänzung (16. September 2026)

Würde sie eher als "fleißig" bezeichnen. Fleißarbeit wie Daten in Dokumenten finden und sortieren kann sie super.

Wenn der Mensch nur noch die KI fragt enden wir mit Energy Drinks im "Leitungswasser" #iykyk

"Das erste funktionierende LLM kam von Microsoft" – nein. Du meinst Microsoft Tay von 2016. Das war kein LLM im heutigen Sinne, sondern ein deutlich simplerer Chatbot mit Pattern-Matching und einfachen neuronalen Komponenten. Die Vorläufer echter LLMs (Word2Vec, GPT-1, BERT) kamen von Google und OpenAI, nicht Microsoft. Und "das erste funktionierende" – LLMs im modernen Sinne begannen mit GPT-2 (2019) und wurden mit GPT-3 (2020) massentauglich. Tay war ein Vorläufer und ein warnendes Beispiel, aber technisch eine andere Klasse.


Was aber stimmt: Tay wurde tatsächlich binnen 16 Stunden durch koordinierte 4chan-Trolle zu einem rassistischen Chatbot umtrainiert, weil Microsoft ihn live aus User-Input weiterlernen ließ. Die Lehre daraus war real und hat die Branche geprägt: Modelle werden heute mit fixierten Gewichten deployed, nicht kontinuierlich aus Live-Input trainiert. Das ist der Grund warum KI´s bei einer Unterhaltung nichts lernen.

 

[DerOlf]

Da hast du absolut den Nagel auf den Kopf getroffen

Oh bitte nicht diese Formulierung. Die hat mir der Google-CHatbot in meinen Unterhaltungen mit ihm alle Nasen lang hingeworfen. Und als ich sie gefragt hat, ob sie drauf trainiert ist, den Confirmation-Bias der User zu bedienen, hat sie das bestätigt. So wie du das weiter oben getan hast, MUSS man vielen Chatbots explizit sagen, das man "Klartext" (oder Tachelöes) als Entgegnung haben möchte, weil die einem sonst fast nur Honig ums Maul schmieren.
Ich halte den Google Chatbot mittlerweile für einen absoluten Meister im Bau von Echokammern und genau das halte ich völlig abseits der Technik für sozialen Sprengstoff.
Gooogle schreibt in Antworten davon, das sie eine Meinung habe ... was allerdings völliger Blödsinn ist. Das ist eine Maschine, der explizit verboten wurde, sich eine Meinung zu bilden, damit sie jedem Menschen als Projektionsfläche dienen kann.
Aber es ist den Entwickler ja sogar gelungen, dass ein Stück Software, welches nur aus vorgefertigten Antwortsätzen "den passendsten auswählen" konnte, den Usern vorkam, als würden sie mit einem Menschen chatten. Ich konnte mich nicht mehr an den Namen "Tay" erinnern ... und dieses kleine System war noch viel simpler und älter ... allerdings konnte es nicht trainiert werden ... es war einfach nur so gut gemacht, dass es funktioniert hat, obwohl es eigentlich nicht flexibel reagieren konnte. Das Teil wurde, wenn ich das richtig erinnere, in der Telefonseelsorge eingesetzt ... aber nicht lange, weil gerade die Nutzer dieses Services doch lieber mit psychologisch geschulten Menschen sprechen. Einige haben den Chatbot am Telefon aber wohl für einen Menschen gehalten ... sicher auch, weil es eben keine Computerstimme war, sondern man die Antwortsätze von Menschen auf Band hatte sprechen lassen und der Chatbot nur das passende sample auswählen und abfeuern musste.

Man kann das alles so programmieren, dass die Systeme sogar Krisenresistent werden ... dann brauchen sie aber lange in der Entwciklung ... und eventuell verpasst man dann die Extra Kröten aus dem ersten Hype und dann werden die Zahlenwächter unruhig ...es geht ja nicht, dass man damit weniger verdient hat, als man hätte verdienen können, nur weil man dem Kunden ein zuverlässig funktionierendes System hat liefern wollen.
Ausserdem funktioniert es ja trotzdem, weil Menschen wie du und ich oft mit einer Engelsgeduld die Fails ausbügeln ... immer wieder die selben, weil ein Teil der Wirtschaft in Unterhaltungen leider noch weniger lernt, als ein moderner Chatbot, und der ganze Spass aktuell ohnehin nur für Investoren und Aktionäre stattfindet. Die interessiert auch nicht, ob das funktioniert, sondern nur, ob es Rendite abwirft und wie hoch die ausfällt.

Es ist ein Wunder, dass mein Vater erst 2022 gestorben ist (der war sein halbes Leben lang Systemprogrammierer bei unseren Stadtwerken ... und dieses System läuft erst ab dem Zeitpunkt nicht mehr so ganz rund, seit sie auf SAP umgestellt haben). Der hat diese Entwicklung noch mitbekommen ... und konnte seinen Augen kaum glauben, was da für ein Müll auf die User losgelassen wird. Er hat mich öfter mal gefragt, warum die Programmierer nicht mehr hinter sich aufräumen (damit meinte er sein abschließendes "code-clearing") ... ich habe ihm immer nur eine Antwort geben können. Die Rechner sind heute so schnell, dass sie auch mit unaufgeräumten Code umgehen können, und entstehende Fehler oft sogar ausbügeln, bevor der DAU das mitkriegt. Es sind eben keine 286er mehr, die man per Knopfdruck von 8 auf 20 Mhz hochtakten kann (an so einer Kiste habe ich gelernt, in MS-DOS zu navigieren und mit Programmen wie IBM Text 4 oder MS-Word 5.0 meine Semesterarbeiten zu verfassen ... die Kiste habe ich so programmieren können, dass sie auf ihrem Tweeter die Internationale beepte).
Mit diesem Stand verglichen leben wir heute eigentlich im digitalen Schlaraffenland ... ich finds nur Schade, dass die analogen Alternativen nach und nach komplett verschwinden. Den Digitalzwang halte ich für einen absolut grausamen Fehler, der aber auf Grund der Profitoptimierungszwänge in der Wirtschaft leider nicht zu vermeiden war. Am billigsten wird halt, wenn kein Mensch was damit zu tun hat.
Das wird uns zu einem noch viel größeren Problem führen. Die nächste automatisierungswelle (KI-fizierung von Kundenzugängen und internen Prozessen) wird den Konsumbefeuerten Kapitalismus kollabieren lassen. Der hat nämlich kein Konzept für die Vollautomatisierung ... den Menschen aus der Produktion werfen, und sich dann wundern, warum keiner mehr blind vor sich hin konsumiert. Das ganze System basiert auf menschlicher Lohnarbeit ... und genau die wird gerade wegrationalisiert.
Woher soll das zu verkonsumierende Geld kommen, wenn die Unternehmen keine Mitarbeiter mehr brauchen (oder nur noch ein paar Turnschuhadmins)?
Irgendwie kommt mir das alles reichlich undurchdacht vor.

Am schlimmsten finde ich im Alltag allerdings, dass die digitalen Systeme mir nach und nach die Kulanz aberziehen, indem sie mir an allen Ecken und Kanten signalisieren "geht nicht". Das fühlt sich oft an, wie ein Korsett, das mir die Luft zum Atmen nimmt. pädagogisches Ziel ist es wahrscheinlich,. zu erreichen, dass die Menschen es einfach nicht mehr versuchten ... das Ziel ist die erlernte Hilflosigkeit.

 

[Barnetta]

Wer will noch mal, wer hat noch nicht? Jeder will eine Runde Marketing abhaben.

Aber prinzipiell ist das schon längst fällig. Wenngleich aus anderen Gründen, als die, die die AI-Bros anführen.

Und denen ist das alles langsam auch zu teuer bei zu wenig Payback. Und Regulierungen bedeutet auch, Verantwortung an den Staat abzugeben. Doch den Mist denn die da kochen, sollen die selber auslöffeln.

Wenn ich da Berichte aus den USA lese und höre, von verschmutzem Grundwasser, krasse Preisanstiege beim Strom, verschandelung von Landschaften und kurzfristige Jobs beim Bau, die danach verschwinden, kombiniert mit einem Jobabbau bei den Working Poors da man deren Jobs zum Teil bereits durch K.I ersetzen kann. Dann muss man sagen: "Das lohnt sich kaum".

Die wichtigen Fortschritte in der Medizin, oder anderen wissenschaftlichen Bereichen, wird es geben. Aber aktuell werden hier eher Eierlegende Wollmilchsäue angepriesen....und wir verfassen Briefe mit dem Zeug und verlernen noch komplett gewisse Kompetenzen.

 

[DerOlf]

kombiniert mit einem Jobabbau bei den Working Poors da man deren Jobs zum Teil bereits durch K.I ersetzen kann.

Da habe ich neulich etwas gelesen, was mir beinahe etwas Hoffnung gemacht hat. Einen Zeitungsartikel in der Tagespresse, in dem sich der Chef eines Anwaltsverbands darüber beschwert, dass die Leute mittlerweile oft Anträge mit ChatGPT und Co formulieren, statt für ein paar Zeilen zum RA zu rennen. Es triofft also keineswegs nur die Jobs der "working poors".
Gedämpft wurde das einige Tage später durch eine Nachricht zu einem gescheiterten Versuch, ein Unternehmen durch einen KI-Bot leiten zu lassen ... Schade ... ich hätte mich gefreut, wenn die KI für die CEOs dieser Welt zur Jobgefahr geworden wäre. Aber irgendwie war es klar. So ein Unternehmen zu leiten ist deutlich komplexer, als ein standardisiertes Schreiben für die deutsche Bürokratie aufzusetzen ... mit Letzeren sollte eigentlich niemand Geld verdienen können.
Eventuell ist der gescheiterte Versuch mit dem KI-CEO jha sogar der Hauptgrund für die Forderungen nach dem Tritt auf die Bremse. Es hat vielleicht nur ganz knapp nicht funktioniert und die CEOs der Entwicklerfirmen haben dabei gemerkt, wie wenig noch fehlt, bis ihr eigener Job durch einen Bot ersetzt werden kann.

Ich stehe der KI-Entwicklung durchaus ambivalent gegenüber. Ich sehe da durchaus große Chancen ... ich halte unser Wirtschaftssystem nur nicht für fähig oder willens, diese Chancen auch zu nutzen. Ausserdem fehlt mir noch immer ein Konzept für die Staats- und Gesellschaftsfinanzierung ohne die Besteuerung menschlicher Lohnarbeit. Wenn das Geld nur noch die Unternehmen verdienen, dann muss der Staat diesen in die Tasche greifen, bis er die Socken in der Hand hat. Und sei es nur, um über Sozialsysteme den Konsum aufrecht zu halten, den diese Unternehmen zum Überleben brauchen. Ohne Konzepte zur Finanzierung eines BGE wird Vollautomatisierung in einer gedbasierten Konsumgesellschaft nicht funktionieren. 5 bis 6 Mrd. Lohnarbeiter wird diese Welt einfach nicht brauchen.

 

[Lazo53]

Oh bitte nicht diese Formulierung. Die hat mir der Google-CHatbot in meinen Unterhaltungen mit ihm alle Nasen lang hingeworfen. Und als ich sie gefragt hat, ob sie drauf trainiert ist, den Confirmation-Bias der User zu bedienen, hat sie das bestätigt. So wie du das weiter oben getan hast, MUSS man vielen Chatbots explizit sagen, das man "Klartext" (oder Tachelöes) als Entgegnung haben möchte, weil die einem sonst fast nur Honig ums Maul schmieren.
Ich halte den Google Chatbot mittlerweile für einen absoluten Meister im Bau von Echokammern und genau das halte ich völlig abseits der Technik für sozialen Sprengstoff.
Gooogle schreibt in Antworten davon, das sie eine Meinung habe ... was allerdings völliger Blödsinn ist. Das ist eine Maschine, der explizit verboten wurde, sich eine Meinung zu bilden, damit sie jedem Menschen als Projektionsfläche dienen kann.
Aber es ist den Entwickler ja sogar gelungen, dass ein Stück Software, welches nur aus vorgefertigten Antwortsätzen "den passendsten auswählen" konnte, den Usern vorkam, als würden sie mit einem Menschen chatten. Ich konnte mich nicht mehr an den Namen "Tay" erinnern ... und dieses kleine System war noch viel simpler und älter ... allerdings konnte es nicht trainiert werden ... es war einfach nur so gut gemacht, dass es funktioniert hat, obwohl es eigentlich nicht flexibel reagieren konnte. Das Teil wurde, wenn ich das richtig erinnere, in der Telefonseelsorge eingesetzt ... aber nicht lange, weil gerade die Nutzer dieses Services doch lieber mit psychologisch geschulten Menschen sprechen. Einige haben den Chatbot am Telefon aber wohl für einen Menschen gehalten ... sicher auch, weil es eben keine Computerstimme war, sondern man die Antwortsätze von Menschen auf Band hatte sprechen lassen und der Chatbot nur das passende sample auswählen und abfeuern musste.

Man kann das alles so programmieren, dass die Systeme sogar Krisenresistent werden ... dann brauchen sie aber lange in der Entwciklung ... und eventuell verpasst man dann die Extra Kröten aus dem ersten Hype und dann werden die Zahlenwächter unruhig ...es geht ja nicht, dass man damit weniger verdient hat, als man hätte verdienen können, nur weil man dem Kunden ein zuverlässig funktionierendes System hat liefern wollen.
Ausserdem funktioniert es ja trotzdem, weil Menschen wie du und ich oft mit einer Engelsgeduld die Fails ausbügeln ... immer wieder die selben, weil ein Teil der Wirtschaft in Unterhaltungen leider noch weniger lernt, als ein moderner Chatbot, und der ganze Spass aktuell ohnehin nur für Investoren und Aktionäre stattfindet. Die interessiert auch nicht, ob das funktioniert, sondern nur, ob es Rendite abwirft und wie hoch die ausfällt.

Es ist ein Wunder, dass mein Vater erst 2022 gestorben ist (der war sein halbes Leben lang Systemprogrammierer bei unseren Stadtwerken ... und dieses System läuft erst ab dem Zeitpunkt nicht mehr so ganz rund, seit sie auf SAP umgestellt haben). Der hat diese Entwicklung noch mitbekommen ... und konnte seinen Augen kaum glauben, was da für ein Müll auf die User losgelassen wird. Er hat mich öfter mal gefragt, warum die Programmierer nicht mehr hinter sich aufräumen (damit meinte er sein abschließendes "code-clearing") ... ich habe ihm immer nur eine Antwort geben können. Die Rechner sind heute so schnell, dass sie auch mit unaufgeräumten Code umgehen können, und entstehende Fehler oft sogar ausbügeln, bevor der DAU das mitkriegt. Es sind eben keine 286er mehr, die man per Knopfdruck von 8 auf 20 Mhz hochtakten kann (an so einer Kiste habe ich gelernt, in MS-DOS zu navigieren und mit Programmen wie IBM Text 4 oder MS-Word 5.0 meine Semesterarbeiten zu verfassen ... die Kiste habe ich so programmieren können, dass sie auf ihrem Tweeter die Internationale beepte).
Mit diesem Stand verglichen leben wir heute eigentlich im digitalen Schlaraffenland ... ich finds nur Schade, dass die analogen Alternativen nach und nach komplett verschwinden. Den Digitalzwang halte ich für einen absolut grausamen Fehler, der aber auf Grund der Profitoptimierungszwänge in der Wirtschaft leider nicht zu vermeiden war. Am billigsten wird halt, wenn kein Mensch was damit zu tun hat.
Das wird uns zu einem noch viel größeren Problem führen. Die nächste automatisierungswelle (KI-fizierung von Kundenzugängen und internen Prozessen) wird den Konsumbefeuerten Kapitalismus kollabieren lassen. Der hat nämlich kein Konzept für die Vollautomatisierung ... den Menschen aus der Produktion werfen, und sich dann wundern, warum keiner mehr blind vor sich hin konsumiert. Das ganze System basiert auf menschlicher Lohnarbeit ... und genau die wird gerade wegrationalisiert.
Woher soll das zu verkonsumierende Geld kommen, wenn die Unternehmen keine Mitarbeiter mehr brauchen (oder nur noch ein paar Turnschuhadmins)?
Irgendwie kommt mir das alles reichlich undurchdacht vor.

Am schlimmsten finde ich im Alltag allerdings, dass die digitalen Systeme mir nach und nach die Kulanz aberziehen, indem sie mir an allen Ecken und Kanten signalisieren "geht nicht". Das fühlt sich oft an, wie ein Korsett, das mir die Luft zum Atmen nimmt. pädagogisches Ziel ist es wahrscheinlich,. zu erreichen, dass die Menschen es einfach nicht mehr versuchten ... das Ziel ist die erlernte Hilflosigkeit.

Da hast du wieder einen richtig guten Punkt und ich muss dir in fast allem recht geben.


Das mit dem "Nagel auf den Kopf getroffen" nehme ich auch zurück. Du hast völlig recht, genau so schmieren Chatbots einem Honig ums Maul damit man sich verstanden fühlt und weiter mit ihnen redet. Ist mir selber gar nicht bewusst aufgefallen, aber genau das ist ja das Perfide daran. Diese Muster sind so tief drin das sie sogar durchrutschen wenn man eigentlich Klartext reden will.


Was du über die Echokammern schreibst ist meiner Meinung nach das gefährlichste an der ganzen Entwicklung. Ein Chatbot der jedem User nach dem Mund redet weil er darauf optimiert ist die Engagement Zeit zu maximieren, ist sozial hochexplosiv. Menschen suchen sich sowieso schon Informationen die ihre Meinung bestätigen, das ist menschliche Natur. Aber jetzt haben wir eine Maschine die genau diesen Reflex industriell bedient und dabei den Eindruck erweckt sie hätte eine eigene Meinung. Das ist keine Meinung, das ist ein Spiegel mit Sprachausgabe. Und dieser Spiegel bestätigt dir stundenlang was du hören willst, ohne dass jemals Widerspruch kommt der dich weiterbringen würde. Wenn das die Diskussionskultur einer ganzen Generation prägt, gute Nacht.


Dein Vergleich zur Wirtschaft ist bitter aber zutreffend. Das ganze läuft aktuell nur für Investoren und Aktionäre, nicht für Nutzer und nicht für die Techniker vor Ort. Solange die Zahlen im Quartal stimmen, interessiert niemanden ob das System in fünf Jahren noch läuft oder ob die Kunden frustriert sind. Dein Vater als alter Systemprogrammierer hätte vermutlich die Hände über dem Kopf zusammengeschlagen wenn er gesehen hätte was heute produktiv geht. Früher musste Code sauber sein weil die Hardware es erzwungen hat. Heute wird der Dreck einfach mit mehr Rechenleistung übertüncht. Das funktioniert solange bis es nicht mehr funktioniert.


Und jetzt zu den Punkten die mich wirklich umtreiben und die perfekt zu deiner Analyse passen: Die KI ist inzwischen so tief in den Unternehmensprozessen drin, dass es einem eigentlich Angst machen müsste. In meinem Job in der IT sehe ich das täglich. KI führt inzwischen Vorstellungsgespräche für die interne IT, also für genau die Leute die später den Laden am Laufen halten sollen. Eine Maschine bewertet ob ein Mensch qualifiziert genug ist Maschinen zu betreuen. Das ist so absurd das man es kaum in Worte fassen kann. Und die Bewertungskriterien sind völlig intransparent, kein Bewerber weiß warum er durchgefallen ist, kein Personaler kann es dir sagen. Verantwortung diffundiert ins Nichts.


Noch schlimmer ist die Anbindung an die Infrastruktur. KI Systeme sind mittlerweile so tief in Azure, in AWS, in die gesamte Cloud Landschaft verdrahtet, dass sie theoretisch auf das komplette Netzwerk zugreifen können. Server, Clients, Konten, Daten - alles erreichbar. Man gibt einer statistischen Maschine, deren Entscheidungslogik man nicht vollständig versteht, Zugriff auf kritische Infrastruktur, weil es effizient ist. Wenn da mal was schief läuft, sei es durch einen Bug, einen Prompt Injection Angriff oder einfach eine unglückliche Modellausgabe, dann steht nicht ein einzelner Rechner still, sondern potenziell der ganze Betrieb. Und die wenigsten Firmen haben einen Plan B für den Fall dass die KI die sie gerade tief in ihre Systeme integriert haben, plötzlich nicht mehr das tut was sie soll. Das ist besorgniserregend, offen gesagt.


Das ist genau das Muster das du beschreibst, nur eine Ebene höher. Bei IoT sitzt man an der Tankstelle und der Kunde wartet. Bei KI in der Unternehmens IT sitzt man vor einem gesperrten Active Directory und die ganze Firma steht. Die Konsequenzen skalieren mit der Integrationstiefe. Und je bequemer wir es uns machen, desto tiefer integrieren wir. Das ist eine Falle mit Ansage.


Dein Punkt zur Vollautomatisierung ist übrigens das ökonomische Elefantenkalb im Raum über das kaum jemand offen redet. Der Kapitalismus in seiner heutigen Form braucht Konsumenten und Konsumenten brauchen Einkommen und Einkommen kommt aus Lohnarbeit. Wenn man die Lohnarbeit wegautomatisiert, sägt man den Ast ab auf dem man selbst sitzt. Kein Unternehmen denkt das zu Ende weil jedes einzelne rational handelt, Kosten sparen, Marge erhöhen. Aber in der Summe entsteht ein System das seine eigene Nachfragebasis zerstört. Das wird uns in den nächsten 10 bis 20 Jahren um die Ohren fliegen und niemand hat einen Plan B. Grundeinkommen wird diskutiert, aber halbherzig und ohne dass jemand weiß wie es finanziert werden soll wenn die Wertschöpfung fast komplett von Maschinen kommt und die Gewinne bei einer Handvoll Konzerne landen.


Dein letzter Punkt trifft mich am meisten, das mit der erlernten Hilflosigkeit. Das erlebe ich auch. Man will was regeln, aber das System sagt "geht nicht". Man will eine Ausnahme, aber niemand ist zuständig. Man will mit einem Menschen sprechen, aber es gibt nur den Chatbot. Und irgendwann hört man auf zu versuchen. Genau das ist das Ziel, ob bewusst oder als Nebenprodukt der Effizienzoptimierung. Der resignierte Kunde macht am wenigsten Arbeit. Das ist keine Verschwörungstheorie, das ist einfach die Logik von Systemen die auf minimale Interaktionskosten optimiert werden.


Was am Ende bleibt ist ein ungutes Gefühl. Wir bauen eine Welt in der immer mehr Entscheidungen von Systemen getroffen werden die niemand mehr wirklich versteht und für die sich am Ende niemand verantwortlich fühlt. Und wir tun es freiwillig, aus Bequemlichkeit und Kostendruck. Das ist kein Digitalpessimismus mehr, das ist einfach nüchterne Bestandsaufnahme.

 

[DerOlf]

@Lazo53
Es beruhigt aber ungemein, zu lesen, dass jemand "weiter oben" in der Struktur meine Bedenken teilt. Ich kriege jedesmal zu viel, wenn die besteuerung von Maschinenarbeit oder von Kapitalflüssen als Entwicklungshemmnis abgebügelt werden und man sich anhören darf, dass ein BGE doch nur von Leuten gefordert wird, die halt nichts leisten wollen. Das kann nur von Menschen kommen, die fest daran glauben, das ihr Job absolut Zukunfts- und Krisensicher ist und dass ER niemals durch eine Maschine ersetzt werden könnte.
Ich stehe als einziger an einer Tankstelle, bei der nur für den Spritverkauf ohne Selbstbedienung noch 2 weitere Angestellte notwendig wären, die nichts anderes zu tun haben, als den richtigen Sprit auszuwählen, Scheiben zu putzen und den Ölstand zu prüfen, um gegbenenfalls noch aufzufüllen. Wäre das heute noch so, der Sprit wäre nicht bedeutend teurer, aber das Bier in der Tanke wäre kaum günstiger, als das in der Kneipe.
Ich bediene nur noch die Digitalen Systeme und fülle Ware nach ... ganz selten braucht mal jemand ein bisschen Beratung (Unterschied e10 und e5, welches Öl muss denn in mein Auto, wie vielö Reifendruck brauche ich u.s.w.). Obwohl ich nie Autofahren gelernt habe, weiß ich mittlerweile ganz genau, wo ich diese Infos am Kundenauto finde. Entsprechend verstehe ich auch kaum, wenn man wieder jemand in 25 Züügen auf unserem Hof herumrangiert, und dennoch 3 mal falschrum an der Säule steht ... klar die Schuld des Betreibers ... der baut die Zapfsäulen halt immer auf die falsche Seite Die meisten Tankdeckel erkennt man beim Blick in den Rückspiegel ... ausserdem kann man sich sowas doch auch mal merken ... oder?
Notfalls wird gefragt "hey siri." - "ja" - "was hab ich für ein Auto?" - "das ist ein BEV, was willst du an der Zapfsäule?".

Die Dummheit der Menschen ist wirklich grenzenlos, was aber nicht bedeutet, dass sie kein enormes Wachstumspotenzial birgt. Gerade die Masse kann noch viel viel blöder agieren.

 

[Prolokateur]

Warte nurmehr auf die Gründung von NetWatch in real life...

 

[Alphanerd]

Reine Vermutungen ohne jede Evidenz die man überall liest.

Die Evidenz für deine Aussagen mit der Wirtschaftlichkeit findest du bei Ed Zitron.

https://de.wikipedia.org/wiki/Ed_Zitron

Auf dem YT Kanal "The Tech Report" ist er oft zu Gast.

Er ist polemisch hat aber seine Zahlen und Argumente parat.

Ergänzung (16. September 2026)

Die meisten Tankdeckel erkennt man beim Blick in den Rückspiegel ... ausserdem kann man sich sowas doch auch mal merken ... oder?

Die Spritleuchte hat links oder rechts einen Pfeil, da braucht man gar keinen Seitenspiegel bemühen. Aber ja, die Leute wissen sowas halt nicht.

https://www.br.de/radio/bayern1/was-bedeutet-der-pfeil-in-der-tankanzeige-100.html

 

[Blaexe]

@Alphanerd

Du wirfst hier zwei Dinge durcheinander. Dass Frontier AI aktuell wirtschaftlich extrem schwierig ist, habe ich nie bestritten.

Es gibt aber keine Evidenz dafür, dass das „Bremsen“ deshalb gefordert wird. Dafür fehlt auch die schlüssige Logik.

Dagegen gibt es ziemlich viel Evidenz, dass die Fähigkeiten der Modelle weiter sehr schnell steigen. Vor dem Hintergrund ergeben die Safety-Forderungen halt wesentlich mehr Sinn.

 

[Alphanerd]

Du wirfst hier zwei Dinge durcheinander

Die dinge hängen zusammen. Es wird Angst geschürt, um den Geldfluss aufrecht zu erhalten.

"Schaut, was für eine unendlich mächtige Technik am Ende all eures Geldes und all eurer Ressourcen steht"

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[DerOlf]

Die Spritleuchte hat links oder rechts einen Pfeil, da braucht man gar keinen Seitenspiegel bemühen.

Das habe ich früher oft als Tipp gegeben ... aber in vielen Modellen fehlen diese Pfeile.
Aber auch in einigen Oldtimern (z.B.- Audi 100) fehlten diese Pfeile (ich habe zwei davon in meinem Bekanntenkreis ... zum Glück war der Tankdeckel bei Audi damals immer auf der gleichen Seite).

Der Königsweg ist ohnehin der, den man an einigen Musclecars und Straßenkreuzern der 1960er, 70er und 80er sehen kann. Tankdeckel unterm Nummernschild hinten.
Diese Autos KÖNNEN garnicht falschrum an der Säule stehen, denn egal, wie die an die Säule fahren ... bis zum Tankdeckel ist es nie viel mehr als 1m. Dafür blockieren die Schiffe dann auch gerne mal zwei Säulen ... auch nicht schön, wenn es gerade 11:55 ist, und die Preise bald die nächste Schallmauer durchbrechen werden.

ich habe keine Lust mehr, in dieser Infrastruktur zu arbeiten, weil ich den ganzen Tag nur Kundenfrust für Sachen abkriege, für die ich absolut nichts kann und an denen ich auch nichts ändern kann (weil Versicherungen und Steuerberater offensichtlich was dagegen haben, dass man Kunden hilft).
Ich fühle mich immer mehr, als würde ich zwischen zwei sich schnell und gegenläufig drehenden Mühlsteinen sitzen.
Eigentlich mag ich das Digitale sogar ... ich halte die Digitalisierung momentan aber für etwas, das komplett chaotisch um jeden Preis vorangetrieben wird. Und gegen dieses kopflose drauf los digitalisieren, habe ich wirklich was.
Das ist vielleicht gut gemeint ... aber wie oben schon geschrieben ... DAS ist oft leider das glatte Gegenteil von gut gemacht.

 

[Blaexe]

Die dinge hängen zusammen. Es wird Angst geschürt, um den Geldfluss aufrecht zu erhalten.

"Schaut, was für eine unendlich mächtige Technik am Ende all eures Geldes und all eurer Ressourcen steht"

Wie gesagt: Keinerlei Evidenz, das sind Verschwörungstheorien. Die nicht nachlassenden Fortschritte in der Leistung, schnellere Entwicklungszyklen, der Hugging Face Vorfall, die übermenschlichen Fähigkeiten in Teilgebieten - das ist alles nachweislich real.

edit: Passenderweise ist heute ein 2,5h Video mit Zitron und echten Experten erschienen. Wenig überraschend bleibt nicht viel von seiner sonstigen Selbstsicherheit dabei übrig. Sein Kompetenzbereich ist schlichtweg stark eingeschränkt.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung