News Autonom Exploits entwickeln: Anthropics neues Modell ist so stark, dass es nicht veröffentlicht wird

0xffffffff schrieb:
Mit anderen Worten: Wir haben ein super krasses Modell, das ist so krass, dass wir das nichtmal veröffentlichen! Trust me bro!

Als würde nen Autohersteller den besten Motor der Welt entwickeln und ankündigen, aber dann nicht veröffentlichen wollen weil er zu Leistungsfähig ist. Sounds legit.
Als würde ein Glühbirnenhersteller eine unendlich haltbare Glühbirne entwickeln, aber dann nicht veröffentlichen..
 
SheepShaver schrieb:
Ein „Coder“ schreibt Code, aber entwirft keine Software-Systeme. „Coder“ sind schon jetzt zunehmend obsolet.

Viele benutzen die Worte Coder, Programmierer, Softwareentwickler … synonym.


ETI1120 schrieb:
Wenn man die klassische Literatur zu Softwareentwicklung anschaut dann geht die davon aus, dass die Performance von den besten Softwareentwicklern um den Faktor 28 über dem der schlechtesten liegt

Quelle? Wie wird das denn gemessen? Eines der großen Probleme von Software, besonders im industriellen Umfeld, ist: dass sie nur ungenügend die Anforderungen erfüllt - darum geht es oft in der Literatur … und um Strategien für den Umgang mit den begrenzten kognitiven Fähigkeiten von Menschen.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Kuristina
0xffffffff schrieb:
Naja, wenn ich ein tolles neues Produkt habe und damit Werbewirksam an die Öffentlichkeit trete, dann aber Einschränke, dass es nur ein Handverlesener Cool-Club nutzen darf weil GeFäHrLiCh... was soll es anderes sein als ein PR-Stunt?
Es wird doch bereits aktiv genutzt und bringt da auch seinen Nutzen? Da es schon seit einer Woche Leaks gab wäre es auch unmöglich es unter Verschluss zu halten - also was wäre deiner Meinung nach die Alternative?
 
Also als jemand der jetzt seid gut einem Jahr intensiv mit KI programmiert und auch andere IT und Büroarbeiten damit ausführt, lasst euch gesagt sein: Ich glaube jedes Wort davon!

Wenn ich den Sprung von Opus 4 auf Opus 4.5/4.6 sehe, dann kann Mythos nur der nächste logische Schritt sein. Das ist der Weg gewesen von "nettes Tool um mal ne Funktion zu schreiben" zu "ich programmiere gar nicht mehr, macht alles die KI" und das waren ein paar Monate.
Aber nicht nur programmieren ist sein Steckenpferd. Ich lasse von Opus Server administrieren und auf Sicherheit prüfen. Das Dingen hat mir komplexe Netzwerkstrukturen aufgezogen, Firewalls konfiguriert und Dinge mit DNS und Provider APIs getan, von denen ich vorher nicht mal wusste. Das es jetzt ein Model geben soll, dass krasse Sicherheitslücken findet und Exploits dafür schreibt, überrascht mich gar nicht.
 
  • Gefällt mir
Reaktionen: Jurial und Sinush
@GrooveXT
Dein Versuch in allen Ehren, aber mindestens 29 Leute

417.jpg


wollen lieber an die Verschwörung den Witz glauben als irgendwelchen ominösen Quellen, interessensgeleiteten Erfahrungsberichten gar oder - Gott bewahre - schlechten Argumenten.

Do mähste nix! 🤷‍♂️
 
  • Gefällt mir
Reaktionen: GrooveXT und LamaMitHut
Ergänzung ()

@GrooveXT Kann das Ganze so in etwa bei mir bestätigen. Während vor 2 Jahren das Ganze häufig mehr nette Spielerei war, hat es sich innerhalb des letzten Jahres auch krass in unserer Nutzung geändert.
Die neuen Modelle können (eingepackt in Claude Code oder GitHub Copilot) noch nicht alles und machen manchmal richtigen Quatsch aber für passende Coding/Design Aufgaben sind sie ein mächtiges Tool.

  • Hübsche lauffähige Prototypen lassen sich z.B. heute innerhalb von wenigen Minuten anstatt von Tagen hochziehen.
  • Recherche und Implentierung nach der aktuellen Dokumentation eines SDKs funktioniert gut
  • vergleiche von z.B. verschiedenen Versionen komplexer Excel Schlachten funktionieren auch überraschend gut
  • Code Reviews sehen Dinge, die mir auch bei der doppelten Zeit nicht aufgefallen wären (ehrlicherweise auch neben false positives)
  • der Performance boost bei der Umsetzung privater Projekte ist krass. Während ich vorher 2 Tage gebraucht habe, um eine Erweiterung von einem c++ Projekt zu realisieren, bekomme ich was ähnliches jetzt in einer Stunde hin.

Die Agenten Unterstützung (!) ist nicht perfekt, aber sie wird bleiben und besser werden. Wenn man keine unheimlich esoterischen Dinge handhabt, wird man in der IT um die Nutzung nicht drumherum kommen in der Zukunft.
 
Zuletzt bearbeitet:
Ich Calle PR BlaBla
 
ETI1120 schrieb:
Coden ist überbewertet. Es geht um Softwareentwicklung und das umfasst weit mehr als Coden.

Das Internet quillt über von Statements die besagen, dass die Person noch nie so viel Software geschrieben hat und dabei nicht eine Zeile Code geschrieben hat. Darunter sind viele Leute, die verstehen was Softwareentwicklung ausmacht.


Wenn man die klassische Literatur zu Softwareentwicklung anschaut dann geht die davon aus, dass die Performance von den besten Softwareentwicklern um den Faktor 28 über dem der schlechtesten liegt. Und dieses Verhältnis wird sich durch den Einsatz von AI-Tools noch erheblich vergrößern.
Das ist alles schön und gut. Ja, es gibt einen positiven Aspekt. Augmentation. Leute die keine Software geschrieben haben (oder zu faul waren) können das jetzt. Super.

Das Problem an dem "gute Softwareentwickler steigern ihren Output" Szenario ist: um gut zu sein muss man seine Skills nutzen, das macht einen erst gut. Den produktiven Teil an die Ki auszusourcen auch wenn es schnell ist, auch wenn die Person einen immensen Wissensvorsprung hat kann aber nur ein Resultat erzielen: Verkümmerung des Skillsets das die Ki übernimmt.

Und irgendwann haben wir keine Leute mehr die ohne Ki vernünftige Software schreiben können. Dann sind wir darauf angewiesen. Außerdem gibt es die Theorie das, wenn Ki trainiert, und das zunehmend an synthetischem Code geschieht (also Ki generiertem), dies einen Feedback Loop erzeugt der die Resultate langsam aber ständig qualitativ degradiert da alles abgeschrieben wird also keine echte Innovation mehr stattfindet. Ich bin nicht ganz sicher ob das so stimmt aber es ist ganz klar ein ernstzunehmendes Argument.
 
swage schrieb:
Den produktiven Teil an die Ki auszusourcen auch wenn es schnell ist, auch wenn die Person einen immensen Wissensvorsprung hat kann aber nur ein Resultat erzielen: Verkümmerung des Skillsets das die Ki übernimmt.
Kommt drauf an wie man das nutzt. Einfaches "Vibe Coding", ohne sich den generierten Code anzuschauen, führt sicherlich zu dem was du beschreibst. Den Code mit dem Agent durchgehen und an komplexen Stellen reinzugehen und mit eigenen Skills für Anpassungen sorgen, trainiert genau das was wichtig ist. Aber klar, dazu muss man in die Diskussion mit seiner KI gehen.
 
Es ist sehr verführerisch, gerade bei längerem Code. Die Ki hat schon eine sehr genaue Vorstellung in welche Richtung es geht und alles jedesmalig akribisch zu prüfen ist umständlich.
 
Uzer1510 schrieb:
Naja Programmcode ist halt nichts magisches oder Zauberfeenstaub in Säcken - das ist am Ende einfache deterministische Mathematik nach supereinfachen Regeln. Ein Modell muss keinesfalls superkrass sein Programmcode zu verstehen und Edge Cases zu finden das ist lediglich einfache "Handwerksleistung".

Habe ich ein Modell das einen Überblick über alles hat sowas wie Overflows, fehlende "else", race conditions, Division durch 0 vielleicht, Code per Data Injection etc erkennt, mögliche Zeigermanipulationen etc das reicht doch es gibt viellecht was weiss ich vielleicht geratene 100 Möglichkeiten für Exploits aber nicht unendlich viele - und auch nicht superkrass viele - kein Programm kann durch "Telekinese" oder "Geisterstimmen" anderen Programmcode ändern.

Man kennt grundsätzlich die einzige Möglichkeit wie ein Exploit funktioniert - es muss zwingend dazu nicht vorgesehener Code ausgeführt werden - und die Möglichkeiten wie das passieren kann sind halt sehr endlich. Es gibt kein ja vielleicht erscheint auf wundersame unerklärliche Weise durch unerklärbaren göttlichen Eingriff Byte X and Stelle Y und wird dann als Code ausgeführt.

Achso, ja, klar. Dann müsste man also nur richtig testen und man würde in einer Software jeden Exploit finden der auch nur theoretisch irgendwie möglich wäre und könnte dadurch 100% sichere Software schreiben? Achso na klar, wenn das alles ohne KI schon praktikabel gewesen wäre, dann gibt es sicher mindestens hochkritische Software bei der das auch so gemacht wurde und die Garantiert keine Sicherheitslücken hat und bei der dann auch eine KI in 100 Jahren keine Lücke mehr findet. Bisschen Automatisierung schreiben die alle Fälle abtestet und fertig ist das ding...
Achso gibt's nicht? Warum das denn?


Das ist in etwa so als würdest du behaupten, dass jeder Mensch ein hochbezahlter Entwickler sein kann. Bisschen auf den Tasten rumdrücken und etwas Mathe wird ja wohl jeder hinkriegen oder? Am Ende sinds alles eh nur einsen und nullen. Easy! :lol:


Letztendlich veranschaulicht das ganze mal wieder, warum Staaten und Unternehmen mittlerweile All-in in AI gehen. Solche Modelle die dermaßen Effizient Sicherheitslücken entdecken und Exploit code schreiben können sind ein gigantisches Risiko für die nationale Sicherheit. Niemand kann es sich leisten, hier ins Hintertreffen zu geraten, weil er sonst allen anderen gandenlos ausgeliefert ist.
 
Ja klar könnte man das wenn Zeit egal wäre - das ist eine GRUNDEIGENSCHAFT deterministischer Systeme dass sie KOMPLETT berechenbar sind.

Auch KI findet nicht alle Exploits aber halt vermutlich statistisch gesehen die wichtigsten.

Das hängt beim Menschen vom Basis IQ, verschiedenen biologischen Ausprägungen der Gehirnareale etc ab ob der ein guiiter Entwickler werden kann oder nicht aber wenn ALLE Voraussetzungen erfüllt sind natürlich auch das menschliche Gehirn ist keine "Zaubermaschine" mit Einhorn Elefensteinantrieb sondern auch nur eine Biomaschine. Wenn die biologischen Vorausstzungen passen natürlich kann dann jeder Mensch ein guter Entwickler werden.

Genausowenig wie eine 2 Gbyte Mini AI die auf einem Handy läuft nicht Firefoiix analysieren kann so kann auch nicht jeder Mensch alles werden was aber nichts daran ändert dass wenn die Voraussetzungen passen das machbar ist.

Deshalb gewinnt auch AI beim Schach nicht weil die ALLE Züge berechnet obwohl das auch wenn Zeit egal wäre möglich wäre auch Schach ist letzendlich endlich - sondern es reicht die wahrscheinlichsten für den Sieg auszuwählen und die zu berechnern - und die wahrscheinlichten zu wählen bei denen die Berechnung sich lohnt ohne dass für den Menschen ein Muster offensichtlich ist warum es die sind ist das, was AI aufgrund von Emergenzeffekten halt gut kann.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: SheepShaver
LuciusVorenus schrieb:
Ich habe einen sehr tiefsinnigen Kommentar zu dieser Nachricht verfasst, kann ihn aber aus Sicherheitsgründen nicht posten. Bitte liked ihn trotzdem, denn der Kommentar hat es echt in sich.
Wo darf ich die Investmentgelder hin überweisen? Der tiefsinnige Post klingt so aufregend und lukrativ, dass ich nicht "abgehängt" werden möchte und direkt investieren will!
Ergänzung ()

g0dy schrieb:
Da kein System 100% sicher sein kann, ist jetzt alles in kürzester Zeit kompromittierbar?
Zurück zum guten alten Stift und Papier. Es wird keine KI geben, die das hacken kann.
 
Zuletzt bearbeitet:
swage schrieb:
Und irgendwann haben wir keine Leute mehr die ohne Ki vernünftige Software schreiben können. Dann sind wir darauf angewiesen. Außerdem gibt es die Theorie das, wenn Ki trainiert, und das zunehmend an synthetischem Code geschieht (also Ki generiertem), dies einen Feedback Loop erzeugt der die Resultate langsam aber ständig qualitativ degradiert da alles abgeschrieben wird also keine echte Innovation mehr stattfindet. Ich bin nicht ganz sicher ob das so stimmt aber es ist ganz klar ein ernstzunehmendes Argument.


Hmmm wnen ich mir so neue Modelle wie Chinas GLM 5.1 (ist glaub Opensource) ansehe glaube ich das nicht man kann das ganze Modell (1,5 TByte) meine ich sogar unverändert runterladen.

Bei einem Test bei dem es um die Optimierung einer Vektor basierten Such datenbank geht haben die besten Modelle die es je gab ~ 3500 Anfragen geschafft pro Sekunde - GLM 5.1 kam auf 21.000 :D Weil das jede seiner Entscheidungen auch wenn sie funktionieren benchmarkt analysiert und hinterfragt - in 600 Iterationen und immer neue Strategien wie man effizinter zugreifen kann etc entwickelt und getestet und zwar OHNE dass das verlangt wurde völlig autonom.

Kontextlänge ist halt leider - aktuell - nur bei 200k was halt schon insgesamt (noch) limitiert - aber Z.AI bringt inzwischen alle paar Wochen ein neues Modell raus - echt nice (vor allem weil die auf China Hardware trainieren ganz ohne NVidia und Co)
 
Uzer1510 schrieb:
Ja klar könnte man das wenn Zeit egal wäre - das ist eine GRUNDEIGENSCHAFT deterministischer Systeme dass sie KOMPLETT berechenbar sind.

Also wie erwartet. Du willst also nur sagen, dass Menschen "theoretisch" auch alle Lücken finden könnten.

Aber davon spricht doch niemand. In der Theorie ist extrem viel möglich. In der Praxis aber nur ein winziger Bruchteil.

Es geht darum, was KI in der Praxis vs dem Menschen leistet. Das ist doch der Knackpunkt. Das philosophieren über theoretische Umstände hat keinerlei Relevanz. Schon klar, dass KI keine neue Logik oder Physik erfindet die irgend etwas macht, was dem Menschen völlig unmöglich ist. Schon klar, dass ein Mensch oder ein Team mit unendlich viel Zeit alle Fehler finden kann, die theoretisch existieren. Aber das hat NULL praktische Relevanz.

Ich glaube du hast den Sinn von KI nicht verstanden. Wenn ich das gleiche kann, wie die KI dann ist die KI nicht obsolet. Der Vorteil ist, dass die KI es 100x schneller und effizienter machen kann und sie beliebig skalierbar ist bzw. sein wird. Keine Ahnung, warum du versuchst diesen astronomischen Vorteil zu ignorieren.

Bei KI geht es (noch) nicht darum, dass sie alles besser macht, sondern dass sie Dinge ermöglicht, die man vorher nicht getan hätte.

Das fängt ja schon bei einfachsten Dingen an. Mit KI kann sich heute jeder der technisch nicht ganz auf den Kopf gefallen ist tools und scripte schreiben um seine Arbeit zu automatisieren. Das geht teilweise in wenigen Minuten.

Vor KI hätte man das nicht getan, weil ein Softwareentwickler mit solchen "kleinigkeiten" mindestens nen Tag oder ne Woche beschäftig gewesen wäre. Daher viel zu teuer. Kosten und Nutzen würden in keinem Verhältnis stehen. KI ist in so einem Fall also der Enabler für neue Möglichkeiten in der Praxis. Nicht weil es vorher nicht möglich gewesen wäre, sondern weil es nicht praktikabel gewesen wäre. Und genau das zieht sich durch alle möglichen Einsatzgebiete von KI.
 
  • Gefällt mir
Reaktionen: ETI1120 und Sinush
Mimir schrieb:
Das geht teilweise in wenigen Minuten.

Spannend ist, wie man als Unternehmen mit den ganzen KI unterstützten „Citizen Developer“ umgeht, ohne ein noch größeres Chaos als vorher zu haben.
 
Anthropic hat ja deutliche Engpässe bei ihrer Rechenkapazität. Und das neue Modell ist 5x (!) so teuer wie Opus 4.6. Da bietet es sich doch an, dass man erstmal nur ausgewählte, gut-zahlende Großkunden bedient ;) Gleichzeitig wird damit noch vermieden, dass das Modell von der Konkurrenz destilliert wird. Der Rest ist dann eine nette Marketingkampagne.
 
Chuzam schrieb:
Da bietet es sich doch an, dass man erstmal nur ausgewählte, gut-zahlende Großkunden bedient ;)
Vorher stecken die aber Kohle rein:
Heise schreibt:
Insgesamt stellt Anthropic demnach Nutzungsrechte im Wert von bis zu 100 Millionen US-Dollar für das neue KI-Modell zur Verfügung, 4 Millionen US-Dollar sollen direkt an Betreiber von Open-Source-Software gehen.
 
swage schrieb:
Es bleibt auch in Zukunft deppert solche Umwege zu gehen, die Größenordnungen an erhöhtem Rechen- und Speicherbedarf benötigen.
Ganz abgesehen davon, dass LLMs und andere auf neuronalen Netzwerken basierte Systeme im Regelfall von klar strukturierten Daten profitieren.
 
Zurück
Oben