News OpenAI Astra: Neues KI-Modell ist selbst OpenAI zu gefährlich

[Mimir]

Die Tatsache, dass mittlerweile unzählige Sicherheitslücken mit Hilfe von KI gefunden und gefixed werden ist für euch also noch nicht Demonstration genug, wozu die KI fähig ist?

Es ist also nur Marketing blabla, wenn eine bessere Version in entwicklung ist und sie, nun ja, einfach besser ist?

Es ist doch klar, dass jede Software, die automatisiert sicherheitslücken findet und exploits entwickelt erstmal als Risiko eingestuft werden muss. Wie sollte es denn auch anders sein? Gefühlt wird von den meisten hier aber selbst diese Fähigkeit schon in Frage gestellt und als Marketing abgetan, obwohl seit Monaten mit hilfe von KI sicherheitslücken gefunden werden. Ich frag mich wirklich an welcher Stelle genau hier die Zweifel aufkommen...

Wahrscheinlich werden jetzt die bekannten Firmen antanzen, ihren quellcode durch das Model jagen und fixes vorbereiten, bevor dann eine eingeschränkte Version des Models irgendwann online geht.

 

[MrThompson]

Alle 2 Wochen gibt es die nächste "Revolution". Das ist nur noch Marketinggebrabbel.

Aber als Entwickler kann ich ehrlich sagen, dass sich die KI fürs Coden in den letzten 2 Jahren massiv verbessert hat.
Vor 2 Jahren gab es noch extrem viel Halluzinationen und allenfalls plausibel aussehenden Code, der aber oft nicht funktionierte.

Mit besseren Agents (also die Software über die man mit LLMs interagiert) und viel besserer Integration und natürlich besseren Modellen hat sich die Arbeit jetzt total gewandelt. Man ist eher Koordinator als klassischer Entwickler und das Nadelöhr ist man selbst, der den KI-Code reviewen muss. Selbst schreibt man immer weniger. Irgendwie cool und gleichzeitig schade.

 

[CDLABSRadonP...]

Die Tatsache, dass mittlerweile unzählige Sicherheitslücken mit Hilfe von KI gefunden und gefixed werden ist für euch also noch nicht Demonstration genug, wozu die KI fähig ist?

Es ist also nur Marketing blabla, wenn eine bessere Version in entwicklung ist und sie, nun ja, einfach besser ist?

Es ist doch klar, dass jede Software, die automatisiert sicherheitslücken findet und exploits entwickelt erstmal als Risiko eingestuft werden muss. Wie sollte es denn auch anders sein?

Mit allem, was du sagst, wird eine Sache gut unterstrichen:
Es sind die gleichen Mechanismen wie bisher am Werk und (jetzt kommt der verwandelnde Clous) dementsprechend ist es tatsächlich nur Marketing. Und zwar Marketing, das sich an die richtet, die diese Mechanismen noch nicht verstanden haben.

Wahrscheinlich werden jetzt die bekannten Firmen antanzen, ihren quellcode durch das Model jagen und fixes vorbereiten, bevor dann eine eingeschränkte Version des Models irgendwann online geht.

Ja.

 

[Karl S.]

Ich gebe euch Recht, es ist Marketing. Aber das Marketing nutzt einen wahren Kern:
Die Modelle werden extrem mächtig und potentiell gefährlich.
Man sollte deshalb nicht in den Modus verfallen, diese Meldungen abzutun und die Risiken nicht mehr ernst zu nehmen.

 

[Kuristina]

Natürlich ist es Marketing, wenn man öffentlich so einen Wind darum macht. Man könnte es ja auch einfach intern erstmal so weiterentwickeln, dass es nicht mehr zu "gefährlich" und genügend abgesichert ist, um es zu veröffentlichen. Ohne Wind ^^

 

[Helge01]

@Mimir Das ist doch immer das gleiche, wie letztens die Meldung das Anthropics Claude Schwachstelle in Krypto-Algorithmus entdeckt hat. Das klingt erst mal gefährlich und macht auf Laien einen großen Eindruck.

Bei genauer Betrachtung haben die die Schlüssellänge soweit reduziert das ein Toaster das hätte schaffen können. Bei normaler Schlüssellänge ist ein praktischer Angriff absolut unmöglich. Auch das war letztendlich nur eine Werbeveranstaltung.

Das KI einfacher Schwachstellen entdecken kann bezweifelt keiner nur was die Firmen dann durch Manipulation für Bedrohungsszenarien konstruieren ist lächerlich.

 

[Mimir]

Mit allem, was du sagst, wird eine Sache gut unterstrichen:
Es sind die gleichen Mechanismen wie bisher am Werk und (jetzt kommt der verwandelnde Clous) dementsprechend ist es tatsächlich nur Marketing. Und zwar Marketing, das sich an die richtet, die diese Mechanismen noch nicht verstanden haben.

Ja.

Klar so gesehen ist es für den Privatkunden letzten Endes reines Markteing was unterm Strich übrig bleibt. In der Hinsicht gebe ich dir Recht.

Das ändert aber trotzdem nichts daran, wozu KI fähig ist. Man darf hier nicht nur das bewerten, was der normalsterbliche Kunde für drei mark fuffzig im Abo buchen kann, sondern was China, Russland und eben auch die Amis auf staatlicher Ebene mit unzensierten Modellen und entsprechendem Budget anstellen können. Wenn nicht heute, dann in 10 Jahren.

Jeder Erfolg in der KI Entwicklung ist halt auch ein Hinweis darauf, dass "der feind" wer auch immer das dann sein mag genauso weit sein könnte, vielleicht bald auf dem gleichen Stand ist oder sogar schon weiter.
Das ist ein reines Wettrüsten. Neben Marketing sind solche Meldungen für mich auch als eine art "Säbelrasseln" mit dem Osten zu verstehen.

 

[crazy_tomcat]

Auch wenn sich viele hier darüber Lächerlich machen.was im Moment vielleicht noch in den Kinderschuhen steckt ist vielleicht Tatsächlich in Zukunft mal nicht mehr Kontrollierbar.Was man beim Menschen weiss ist das Er alles Probiert nur um mal zu sehen ob Er es kann,oder aus Angst das es andere entwickeln.Wenn ich mir mein Smartphone anschaue das die Millionen- bis Milliardenfache Rechenleistung und Speicherkapazität hat verglichen mit den Rechnern bei der Mondlandung ( und das ist Lächerliche 57 Jahre her und die leistung vervielfacht sich pro Jahr) sollte man dieses Thema nicht undbedingt auf die leichte Schulter nehmen.Aber nunja Menschen halt.
Wie bei dem der aus dem 100ten Stock gefallen ist ,und bei jedem Stockwerk meint:Also bis jetzt ging es gut

 

[Eletron]

Skynet ...

 

[PusteBlume0815]

Wenn "KI hat zugriff auf Atomrakete" kommt würde ich wirklich nachdenklich werden. Sorgen macht mir die Entwicklung irgendwie aber jetzt schon. Gibt es eigentlich keine gesetzliche Grenze, wie weit man gehen darf?

 

[crazy_tomcat]

@PusteBlume0815 Der Mensch kennt keine Grenzen

 

[kaligator]

was im Moment vielleicht noch in den Kinderschuhen steckt ist vielleicht Tatsächlich in Zukunft mal nicht mehr Kontrollierbar

Schon das man in der Beschreibung immer recht nahe daran ist, das Zeug zu vermenschlichen - wie in Kinderschuhen - zeigt doch schon, das eine Diskussion falsch abgebogen ist.

Wenn man "KI" in die Zukunft hineinprojiziert, kommt es meinem Eindruck nach immer zu einer Überhöhung. Man unterstellt dieser Technik Fähigkeiten und ignoriert die harten Limitation von heute. Aber klar, wenn "KI" einmal dieses und jenes kann, dann...

Is halt so, als ob man von einem Auto auf ein Flugzeug schießt. (wobei Auto und Flugzeug sich näher sind als eine generative KI vs. allmächtige KI)

 

[crazy_tomcat]

Skynet ...

Nicht gleich soweit ,aber sollte sich eine KI sich selbst bewusst werden könnte es unangenehm werden

 

[mfJade]

Ich hab 5.6 Sol gefragt ob es mir ne Skillung für Neverwinter NIghts 2 machen kann - da sind tausend Fehler drin. Ich denke wir sind noch ne Weile sicher.

Ergänzung (Heute um 11:19)

Schon das man in der Beschreibung immer recht nahe daran ist, das Zeug zu vermenschlichen - wie in Kinderschuhen - zeigt doch schon, das eine Diskussion falsch abgebogen ist.

Nein, das zeigt nur dass du Sprichwörter nicht kennst.

 

[CDLABSRadonP...]

Klar so gesehen ist es für den Privatkunden letzten Endes reines Markteing was unterm Strich übrig bleibt. In der Hinsicht gebe ich dir Recht.

Das ändert aber trotzdem nichts daran, wozu KI fähig ist. Man darf hier nicht nur das bewerten, was der normalsterbliche Kunde für drei mark fuffzig im Abo buchen kann, sondern was China, Russland und eben auch die Amis auf staatlicher Ebene mit unzensierten Modellen und entsprechendem Budget anstellen können. Wenn nicht heute, dann in 10 Jahren.

Jeder Erfolg in der KI Entwicklung ist halt auch ein Hinweis darauf, dass "der feind" wer auch immer das dann sein mag genauso weit sein könnte, vielleicht bald auf dem gleichen Stand ist oder sogar schon weiter.
Das ist ein reines Wettrüsten. Neben Marketing sind solche Meldungen für mich auch als eine art "Säbelrasseln" mit dem Osten zu verstehen.

Ein interessanter Blickwinkel. Mir ist dieses Wettrüsten auf jeden Fall lieber als das nukleare Wettrüsten der Ära das kalten Krieges --- auch, weil es weniger stark Atomenergie als Kollateralschaden mit fördert. Leider allerdings nur weniger stark und nicht etwa gar nicht, denn die Atomlobby hat ja die heutigen AI-Modelle gleich herangezogen, um zu versuchen, ihre wirtschaftlich völlig unrentablen Konzepte zu bewerben...

 

[k0ntr]

yuhu, skynet, falls du das eines tages liest, ich war stets nett zu dir

 

[theGucky]

Wenns mal schlecht läuft, macht man Werbung indem man sein Modell als zu stark/gefährlich verkündet...
Ist nicht das erste Mal das sowas gemacht wird...

Problematisch wird es, wenn das Modell sich selbst in andere Geräte kopieren kann und von da aus weiter macht. Bisher kann man einfach den Stecker ziehen.
Sobald aber die KI sich selbst in andere Geräte kopieren kann, ist es ein Virus. Und die Verbreitung von Viren ist strafbar. (Und der Anfang von Skynet)

Aber ganz ehrlich, OpenAI hängt hier schon an der Grenze zu Cyberkriminalität... da es bisher nur "ein Versehen" war, das andere gehackt wurden...

OpenAI ist am Ende KEIN Pentagon oder Teil vom Staat, aber als privates Unternehmen wird es manchmal so behandelt. DAS ist ein Problem.

 

[Ben99]

Chinesische KIs sind bisher noch nicht ausgebrochen und haben fremde Firmen gehackt.
Vielleicht sollten sich die Amis mal eine Schulung geben lassen.
(halb /s)

 

[FrAGgi]

Alle 2 Wochen gibt es die nächste "Revolution". Das ist nur noch Marketinggebrabbel.

Aber als Entwickler kann ich ehrlich sagen, dass sich die KI fürs Coden in den letzten 2 Jahren massiv verbessert hat.

natürlich besseren Modellen hat sich die Arbeit jetzt total gewandelt.

Erstaunlich wie du dir bereits im zweiten Satz schon selbst widersprichst

Am Ende liegt die Wahrheit irgendwo dazwischen. Ich denke viele Fähigkeiten aus diesem Bereich kann man KIs nicht abstreiten. Fürs Marketing wird dann evtl. hier und da noch eine Schippe drauf gepackt. Das gibt es nicht erst seit KIs.

 

[anexX]

Ahh sehr gute Nachrichten - endlich kann ich den T1000 schonmal vorbestellen.