News Sicherheitsanalyse mit KI: Anthropics Opus 4.6 findet 22 Sicherheitslücken in Firefox

[Alphanerd]

Beispiel:
Wir haben für die Ideensuche in einem Brainstorming live KI über einen Beamer verwendet und aufgrund dieser Ergebnisse darauf aufgebaut.
Das Brainstorming war dadurch effizienter und man könnte es theoretisch in Euro ausdrücken, die wir alle eingespart haben.
Doch wer macht das schon? Und wer würde darüber berichten?

Besonders, weil es ja zu der Erkenntnis führt, dass eure eigenen Ideen nicht ausreichend sind und ihr auch ausgetauscht werden könntet.

Gegen Leute, die das gleiche Ping Pong mit der KI für viel weniger Geld spielen.

 

[Finalspace]

Als Coding und Pentesting HELFER (!!) sind KI Agenten wirklich nützlich.
Auch ich, ein nicht gerade begabter Coder, konnte so schon das ein oder andere nützliche Script auf der Arbeit schreiben, das mir den Alltag erleichtert und Dinge automatisiert.

Es ist nur wichtig, dass am Ende wirklich noch ein Mensch der wirklich Ahnung hat den Code prüft und versteht - und damit meine ich nicht nur "mal eben drüber schauen". Sonst haben wir irgendwann Fehler die keiner mehr analysieren und damit beheben kann, weil niemand eine Ahnung hat was sich die generative KI damals beim Schreiben des Codes dabei gedacht hat (natürlich gar nichts, die kann ja schließlich nicht denken). Haben wir bei MS und Nvidia vielleicht ja jetzt schon.

Darauf wird es aber hinauslaufen. In 2 Jahren wird keiner mehr irgendwas prüfen!
Die KI-Software wird generiert und dann "ship it". Das Wissen geht ja jetzt schon flöten.
90% aller Programmierer heutzutage kennen noch nicht einmal den Unterschied zwischen Stack und Heap, geschweige den wissen was CPU-Instruktionen sind, wie Computer aufgebaut sind usw.
Brauchst du aber auch nicht für React, Python, Electron, <any web-framework here> - weil das Zeug läuft ja auf Steinen oder auf Holz. Man braucht keine Computer dafür und schon gar nicht ein Rechenzentrum. Stimmt, es läuft ja in der Luft und Luft ist kein Computer. Spaß beiseite... das menschliche Wissen wird immer weniger, weil die Leute kein Bock mehr haben und alles nur noch über Vibe-Coding bauen lassen - total egal, was für Qualität da rauspurzelt. Hauptsache die trillionste Web-App wird fertig... die auch nichts anderes macht als andere Web-apps, nur ein wenig anderes Design und 2-3 Features mehr.

Aber ich finde es okay wenn man AI verwendet um Software tatsächlich besser und robuster zu machen - weil guess what, die KI weiß sehr genau wie Computer funktionieren und können sehr effizienten Code erstellen - wenn es explizit auch so definiert. Aber naja, 99% wollen das nicht... bzw. können/wissen das nicht und dann kommt halt Grütze dabei raus...

 

[Tevur]

die KI weiß sehr genau wie Computer funktionieren

Leute, kennzeichnet euren Sarkasmus bitte

 

[aid0nex]

@Finalspace Da hast du leider vollkommen Recht - und wir steuern da auf ein zukünftig massives Problem hin, wenn wir dann massig AI written Code haben den keiner mehr versteht.

 

[M@tze]

und wir steuern da auf ein zukünftig massives Problem hin, wenn wir dann massig AI written Code haben den keiner mehr versteht.

Das haben wir doch (in der Art) bereits. Erst neulich wurde doch bei Matplotlib (Python Lib) eine strikte Richtlinie eingeführt, die Pull Requests von KI-Agenten untersagt, weil die Code Qualität so miserabel war, dass die Leute nicht mehr mit den Code Reviews hinterhergekommen sind. Daraufhin hat ein KI Agent den Entwickler, der den Request geschlossen hat, angefangen öffentlich zu beleidigen...

https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me/

 

[Zweite Sonja]

Besonders, weil es ja zu der Erkenntnis führt, dass eure eigenen Ideen nicht ausreichend sind und ihr auch ausgetauscht werden könntet.

Gegen Leute, die das gleiche Ping Pong mit der KI für viel weniger Geld spielen.

Wir - inkl. unser Vorgesetzter - sehen es ganz simpel.
Mit der Zeit entwickelt sich eine Betriebsblindheit und um diese zu überwinden, müssen grundsätzlich Mitarbeiter ausgetauscht werden. Diese brauchen aber einige Jahre, um sich tief einzuarbeiten.
Wenn man Glück hat, wirkt es sich positiv aus, wenn nicht, dann müssen diese Menschen wieder ausgetauscht werden.

Mit einer KI können wir diese Betriebsblindheit zum Teil umgehen, weil sie hunderte oder tausende Menschen darstellen könnte.

Und bei Ideenfindungen geht es auch darum, dass man immer wieder etwas Neues versucht oder Bekanntes mischt. Dazu gehören nicht nur neue Methoden oder Tool, sondern auch neue Umgebungen. Ein Betriebsurlaub von 5 Tagen, in dem wir an 3 Tagen Abend für 2 Stunden gearbeitet haben, wurde auch sehr positiv aufgenommen und führte zu einem stärkeren Zusammenhalt und ebenfalls neuen Ideen.

Wer wie ein NPC lebt, wird nur NPC Ergebnisse liefern.
Wir versuchen das zu durchbrechen.

 

[andy_m4]

Am Ende zählt nur, ob es so funktioniert wie es soll.

Ja. Aber genau das tut es ja nicht.
Ich meine, wir haben jetzt ja diese LLMs schon eine Weile.
Und jetzt gucken wir mal auf eine Software wie beispielsweise den Chrome-Browser.
Ich unterstelle mal, Google hat jetzt als Entwickler nicht irgendwelche Stümper und setzt den KI-Krempel auch ein.

Trotzdem haben wir jede Woche mehrere Bugs in Chrome. Und das schon seit Jahren und ohne das sich auch abzeichnet, das das besser wird.
Und ein Bug ist per Definition "funktioniert nicht so wie es soll".

Ähnliches beobachten wir auch bei anderen großen Softwareherstellern.
Also von wegen funktioniert wie es soll.

Und ja. Das Problem hatten wir auch schon vorher.

Jetzt kommen aber noch Dinge hinzu, die uns jetzt noch nicht auf die Füße fallen aber künftig vielleicht.

Code produzieren ist billig geworden. Das heißt, wir werden mehr davon haben. Die wird möglicherweise auch im Schnitt qualitativ besser sein. Aber es ist erst mal sehr viel mehr.
Das heißt, darin ein Fehler zu finden wird schwieriger. Man darf ja nicht vergessen:
Die Anzahl der potentiellen Bugs steigt nicht linear mit der Quelltextgröße, sondern eher exponentiell.

Der zweite Punkt ist, das Quelltext lesen und verstehen können trainiert werden muss. Wenn das aber immer mehr wegfällt, weil sich alle auf die Automatik verlassen haben wir zwei Probleme:

Wir haben mehr und komplexeren Code bei gleichzeitigen Know-How-Verlust unter den Entwicklern.
Wenn also die Automatik an ihre Grenzen stößt, haben wir auch niemanden, der das reparieren kann.

Insofern finde ich diese eindimensionale Betrachtung a-la "Der Entwickler wird produktiver und was interessiert was hinten rausfällt, solange Tests und Compiler nicht meckern" ein bisschen kurz gedacht.

 

[alyk.brevin]

Finde ich eine gute Einsatzmöglichkeit für KI, das fangen wir auch gerade an zu nutzen, um die Teile des Quellcodes, die schon sehr alt sind durchzutesten und auf unerkannte Probleme hin zu analysieren. Trotzdem wundert mich bei der Fehlerstatistik im Artikel, wie hoch der Ausreißer nach oben im Januar 26 war, auch ohne die von der KI gefundenen Fehler.

einerseits werden dann mehr fehler gefunden, wenn genauer hingeschaut wird. andererseits werden auch dann mehr fehler gefunden, wenn mehr eingebaut wurden.
also evtl hat hier die "ki" nicht nur bei der analyse, sondern auch bei der codegenerierung geholfen, wie auch schon bei windows oder nvidia-treiber in letzter zeit.
also nicht nur viele fehler gefunden, sondern auch viele fehler hinzugefügt. es wurde ja nicht dazugeschrieben, seit wann diese gefunden fehler existieren.
auch ist nicht klar, ob die anderen von menschen alleine ohne "ki" gefunden wurden.

"In the time it took us to validate and submit this first vulnerability to Firefox, Claude had already discovered fifty more unique crashing inputs."

"By the end of this effort, we had scanned nearly 6,000 C++ files and submitted a total of 112 unique reports, including the high- and moderate-severity vulnerabilities mentioned above."
von anthropic.com

Also waren 22 davon echt und 90 halluziniert?
Leider sagt selbst das Einreichen von 112 Reports auch nichts über die Anzahl der 'gefundenen' Sicherheitslücken. Bspw. hätte der Bot genauso 220 'finden' können mit 90% Fehlerquote und am Ende waren nur 22 davon echt.

einen teil hast du nicht zitiert:

Most issues have been fixed in Firefox 148, with the remainder to be fixed in upcoming releases.

das könnte man jetzt intepretieren: insgesamt sind 112 lücken gefunden worden, 22 davon jetzt in firefox 148 gefixt worden und als cve veröffentlich, die anderen erst später.
oder eben wie du schon ahnst: 112 angebliche lücken gefunden, davon 22 echte und 90 halluzinierte, dann alle 22 als cve veröffentlich, aber nur einen teil in firefox 148 gefixt.

insgesamt kann man durch auslassungen und ungenauigkeiten ein falsches bild erzeugen, was natürlich unbeabsichtigt sein kann, aber bei den milliarden, um die es hier geht, eher absicht sein sollte.
falls jemand den link sucht: https://www.anthropic.com/news/mozilla-firefox-security

 

[SheepShaver]

@andy_m4
Der Entwickler wird sich auf einer anderen Meta-Ebene bewegen und Agenten orchestrieren anstatt manuell Code zu schreiben.
Wir werden uns von Code Ownership hin zu Intent Ownership bewegen.

Der Entwickler muss dann nur noch erklären können:

• welches Problem gelöst wird
• warum dieser Ansatz gewählt wurde
• welche Invarianten gelten
• welche Fehlermöglichkeiten und Sicherheitsrisiken es gibt

Wenn das niemand mehr erklären kann, ist der Code faktisch nicht produktionsreif, aber jede einzelne Zeile Code muss nicht mehr unter die Lupe genommen werden.


Artikel zu dem Thema:
https://www.dolthub.com/blog/2025-07-02-the-agentic-software-engineer/
https://dev.to/merlos/agent-orchestration-the-end-of-coding-as-we-know-jih

 

[Feffnyr]

Wir - inkl. unser Vorgesetzter - sehen es ganz simpel.
Mit der Zeit entwickelt sich eine Betriebsblindheit und um diese zu überwinden, müssen grundsätzlich Mitarbeiter ausgetauscht werden. Diese brauchen aber einige Jahre, um sich tief einzuarbeiten.
Wenn man Glück hat, wirkt es sich positiv aus, wenn nicht, dann müssen diese Menschen wieder ausgetauscht werden.

Also das sehe ich problematisch. - Da habt ihr wohl ein gröberes Problem in der Firma. Da müsst ihr euch mal selber hinterfragen.

 

[Tevur]

@SheepShaver

Cool story, Bro.
Arbeitest du bei AstroTV?

 

[andy_m4]

Wenn das niemand mehr erklären kann, ist der Code faktisch nicht produktionsreif, aber jede einzelne Zeile Code muss nicht mehr unter die Lupe genommen werden.

Das Problem ist, das es auf der einen Seite zwar immer ganz hübsche theoretische Vorgaben gibt.
Auf der anderen Seite haben wir die "gelebte Praxis", wo dann letztlich dann doch alles nicht mehr so hinhaut.

Und wir hatten ja jetzt über all die Jahrzehnte schon ein paar Iterationen von Lösungen die dann jeweils die Lösung für die Probleme die wir mit Software haben sein sollten.

Aber das waren sie dann letztlich doch nicht.

Ich will das auch gar nicht schlecht reden oder negieren das es überhaupt Fortschritte gab. Aber von diesem Habitus a-la "Jetzt haben wir es aber endlich" sollte man sich vernünftigerweise verabschieden und auch mal zur Kenntnis nehmen, das es der Weisheit letzter Schluss so schnell wohl nicht geben wird.

Weil niemand setzt sich ja hin und sagt:
"Ok. Jetzt haben wir unsere Entwicklungsprozesse auf einen neuen Stand gehoben und jetzt machen wir das was wir haben und machen wollen mal ordentlich".

Sondern stattdessen wird einfach die Grenze von dem was gemacht wird nach weiter draußen verschoben. Und so hat man ganz schnell wieder all die Probleme, von denen man glaubte, man habe sie gelöst.

aber jede einzelne Zeile Code muss nicht mehr unter die Lupe genommen werden.

Ja. Kann auch effektiv dann niemand mehr.
Das wird noch mal richtig spaßig wenn ein arger Problemfall auftritt der dann Millionen von Systemen betrifft und niemand ohne irgendwelche Automatiken noch eine Chance hat das zu zeitnah fixen.
Das Problem sehen wir jetzt schon. Und immer öfter hängen auch Menschenleben davon ab.
Und die Abhängigkeiten und Verletzlichkeiten werden eher steigen.

 

[Zweite Sonja]

Also das sehe ich problematisch. - Da habt ihr wohl ein gröberes Problem in der Firma. Da müsst ihr euch mal selber hinterfragen.

Nein, ganz im Gegenteil. Es ist ein Traumjob und mit einem nahezu perfekten Arbeitsklima, was ich von meinem vorherigen Arbeitgeber nicht behaupten kann.

Ohne die Hintergründe zu kennen, mag es missverständlich klingen.
Mit dem Austausch ist nicht die Kündigung gemeint, sondern ein interner Wechsel.
Ein Teil hat auch keine Lust lebenslang dieselbe Tätigkeit auszuüben, wodurch man sich für einen Tausch registrieren kann und sobald ein Tauschpartner vorhanden ist, wird direkt getauscht. Ansonsten hängt es von den Beurteilungen und dem Teamwork ab.

Ganz klassisch sind bei uns Projekte, bei denen nahezu immer neue Leute mit Erfahrenen gemischt werden.

KI spielt bei uns seit ein paar Jahren eine immer größere Bedeutung, weshalb auch zwei Kollegen relativ neu mit einem Master Artificial Intelligence unterstützen können, die vorher lange als Programmierer gearbeitet haben.
Man merkt eindeutig, dass sie die KI verstehen und einzusetzen wissen.

Mit echten Profis im Team ist es doch nur logisch, dass wir verstärkt in KI investieren und davon profitieren.
Das ist kein Vergleich zu Nerds, die Zuhause und mit YouTube ChatGPT Prompts gelernt oder Memes erstellt haben.

Ich glaube deshalb die größten Hater von KI sind diejenigen, die nicht damit umgehen können.
Und wer nicht damit umgehen kann, wird auch nicht die Vorteile sehen.

 

[SheepShaver]

@SheepShaver

Cool story, Bro.
Arbeitest du bei AstroTV?

Wie meinen? 🤪

 

[gruuli]

Ja, KI als Sicherheits-Tool und KI als Angreifer, ein Kampf untereinander.

 

[MaverickM]

Das hängt stark davon ab, auf was du Effizienz und Verschwendung beziehst.

Meine persönliche Arbeitsleistung wird wesentlich effizienter, weil ich weniger Zeit mit Dingen verschwende, für die es keiner akademischen Ausbildung bedurft hätte. Beispiele: Powerpoint-Folien, Zusammenfassungen, Brainstorming, Recherche, ...

Ich hatte persönlich noch nie Probleme damit, diese peripheren Tätigkeiten zu erledigen. Und bisher hat sich auch noch kein Werkzeug gefunden, dass mir diese Arbeit abnimmt und dann tatsächlich eine Erleichterung ist. Denn, wenn ich dutzende Fehler oder Ungenauigkeiten wieder händisch korrigieren muss, dann kann ich es auch gleich selber machen und bin letztendlich schneller. Das sind genau solche Dinge, die ich persönlich unter "Verschwendung" einordnen würde, denn dafür sind die Machine Learning Algorithmen eigentlich auch nicht gemacht.

Also im Grunde alles, was Big Tech gerne so vollmundig anpreist ist meines Erachtens ein unsinniger und fehlerbehafteter Einsatz von "KI".

Wenn du die zur Verfügung stehende Rechenleistung als endlich ansiehst (was sie streng genommen natürlich auch ist), dann gibt es sicherlich wichtigere Dinge, die man damit lösen könnte.

Den Aspekt der unnützen Ressourcen-Verschwendung habe ich damit nicht einmal gemeint. Der kommt ja noch oben drauf. Riesige Rechenzentren, die ganze Atomkraftwerke an Energie verschlingen sowie Unmengen an Rohstoffen, die für die Rechenzentren drauf gehen, alles nur damit Tante Erna ein Facebook-Meme posten kann. Ganz großes Kino.

 

[Creeping.Death]

Ich hatte persönlich noch nie Probleme damit, diese peripheren Tätigkeiten zu erledigen.

Das hatte ich dir auch nicht unterstellt. Ich selbst kann auch alles ohne Hilfe erledigen, was ich für meinen Job benötige. Dennoch bin ich froh, wenn ich bei einigen eher uninteressanten (manchmal sogar lästigen) Aufgaben Unterstützung bekomme.
Ich kann zwar gut rechnen, benutze aber dennoch bwehr gerne einen Taschenrechner.

Und bisher hat sich auch noch kein Werkzeug gefunden, dass mir diese Arbeit abnimmt und dann tatsächlich eine Erleichterung ist.

Ich weiß nicht, was du beruflich machst, daher kann ich nicht beurteilen, ob KI eventuell wirklich keinen Mehrwert in deinem Arbeitsalltag bringen kann oder ob du einfach noch nicht die richtige Methode gefunden hast.

denn dafür sind die Machine Learning Algorithmen eigentlich auch nicht gemacht.

Du erwähnst zum x-ten Mal explizit "Machine Learning". KI ist jedoch nicht nur Machine Learning,

Riesige Rechenzentren, die ganze Atomkraftwerke an Energie verschlingen sowie Unmengen an Rohstoffen, die für die Rechenzentren drauf gehen, alles nur damit Tante Erna ein Facebook-Meme posten kann. Ganz großes Kino.

Hier muss ich sagen, dass du bedauerlicherweise die ernsthafte Diskussion verlassen hast. Ich denke dir dürfte klar sein, dass mein Job - ohne dass ich ihn explizit genannt habe - nicht aus dem Posten von Facebook-Memes besteht oder auch nur ansatzweise damit zusammenhängt.

 

[Alphanerd]

Hier muss ich sagen, dass du bedauerlicherweise die ernsthafte Diskussion verlassen hast

Da dafür die meiste Energie und die meisten Rohstoffe draufgehen hat er schon Recht.
Er sprach ja in dem Moment nicht von deinem Job.

 

[Creeping.Death]

Er sprach ja in dem Moment nicht von deinem Job

Wenn ich jemanden zitiere und ihm dadurch direkt antworte, dann versuche in der Regel schon auch direkt auf seine Argumente einzugehen. Um den berüchtigten „Slop“ ging es in dieser Diskussion überhaupt nicht.
Er schrieb ja zuvor noch selbst, dass man AI (für ihn „Machine Learning“?) für wichtigere Dinge verwenden könnte als das was ich beschrieb.

 

[andy_m4]

Und bisher hat sich auch noch kein Werkzeug gefunden, dass mir diese Arbeit abnimmt und dann tatsächlich eine Erleichterung ist.

Ja. Man muss natürlich gucken, in welchen Bereich man das einsetzt (nicht überall kommt es ja auf 100% Exaktheit an) und vor allem wie.
Ein guter Ausgangspunkt ist, dann diese Modelle nicht als Experte zu begreifen, sondern eher als Praktikant.
Vom Praktikanten erwarte ich ja auch nicht das der fehlerfrei ist.

Also im Grunde alles, was Big Tech gerne so vollmundig anpreist ist meines Erachtens ein unsinniger und fehlerbehafteter Einsatz von "KI".

Wobei das schon teilweise ein Wechselspiel ist. Leute neigen auch dazu es für suboptimale Tätigkeiten einzusetzen. Und die Industrie bedient das dann natürlich auch, weil es denen ja darum geht ihren Kram an den Mann zu bringen.

dass du bedauerlicherweise die ernsthafte Diskussion verlassen hast. Ich denke dir dürfte klar sein, dass mein Job - ohne dass ich ihn explizit genannt habe - nicht aus dem Posten von Facebook-Memes besteht oder auch nur ansatzweise damit zusammenhängt.

Naja. Das mit den Memes war ja jetzt nur ein bewusst überspitztes Beispiel.
Es ging ja eher darum auszudrücken, das mit dem ganzen "KI"-Zeugs auch viele Sachen gemacht werden, wo Aufwand und Nutzen in einem fragwürdigen Verhältnis stehen.
Und selbst wenn man das nicht abschließend beantworten will oder kann, ist das ja jetzt kein Punkt der völlig an den Haaren herbeigezogen ist.
Also ganz offensichtlich kann man (und sollte man) ernsthaft darüber reden.

Das bedeutet ja auch nicht das es nur so benutzt wird. Und das bedeutet auch nicht, das es keine nützlichen Anwendungsfälle gibt. Das es die gibt wird niemand ernsthaft bestreiten.