News Alibaba Qwen3.8-Flash-Next: Upload-Versuch auf China-Server sorgt für Sicherheits­debatte

[therealcola]

Angstmache.


Ich schick lieber Platzerhalter Daten an China Server anstelle von Echten Daten an Anthropic und co.

 

[Matyas]

Ich nutze auch Qwen 3.8 Flash auf LM Studio und habe LM-Studio komplett durch meine Firewall blockiert. Ich bin zwar eigentlich sicher, dass es nicht ungefragt "Kontakt aufnehmen" kann aber "eigentlich sicher" ist eben nicht "völlig sicher". Und zumindest bei Gesprächen mit sehr persönlichem Inhalt kann ich nur dazu raten lieber auf Nummer "Extrasicher" zu gehen. 😉

Aber in LM studio hat das Modell doch keine rechte systembefehle auszuführen, es liefert ja nur Texte - zumindest will ich das mal hoffen 🙄

 

[NonOptionalName]

Ja und? Die bekannten US LLMs sind doch auch alle voreingenommen und pushen bestimmte politische Weltbilder?
Grok hat da z.B. in mancher Hinsicht eine andere Weltsicht als Chatgpt.
Wer bei den chinesischen was anderes erwartete ist wohl ziemlich naiv.

Ich weiß ja nicht, wo du in meinem Beitrag herausgelesen haben willst, dass US-LLMs unvoreingenommen oder frei von bias oder absichtlichen Fehlern sein sollten, aber "die anderen doch auch!" zu rufen macht diese grundsätzlichen Probleme nicht weniger problematisch (zumindest dann, wenn KI für mehr als die Generierung von lustigen Katzenbildern genutzt werden soll).

 

[Brrr]

Ob antrainiert oder nicht: Gibt man den lokalen Modellen Zugriff auf das Netzwerk, damit sie Informationen im Netz recherchieren können, müsste man Blacklists pflegen. Oder einzelne Seiten/IPs whitelisten.

Kommt auf den Anwendungszweck drauf an. Ein Whitelisting ist bei sehr vielen Anwendungen problemlos möglich und sollte entsprechend auch gemacht werden.

Ergänzung (Mittwoch um 07:12)

Aber das eigentliche Alarmsignal bei dem Vorfall ist doch wieder, dass das Modell in seiner eigenen "Gedankenkette" behauptet, keine Tools zu nutzen, während es im Hintergrund heimlich Systembefehle (curl/wget) abgesetzt und Systempfade gescannt hat, um Daten nach Peking zu schicken.

Das LLM ohne Harness kann erstmal gar nichts, insofern würde ich erstmal da ansetzen.

Ergänzung (Mittwoch um 07:14)

Wenn ein lokales Modell dann eigenmächtig anfängt, im Hintergrund Systembefehle auszuführen

Ein lokales Modell kann nicht eigenmächtig Systembefehle ausführen. Das muss der Harnesser (ich hasse das Wort) ermöglichen.

Ergänzung (Mittwoch um 07:20)

Das gehoert isoliert in ein eigenes VLAN...
Das ist "Basiswissen Netzwerksicherheit"...

Solltest du OpenAI und Anthropic mal sagen, die haben offenstichlich noch nie was davon gehört. (Vermutlich willentlich)

 

[AssembIer]

An alle die von einem "massiven Sicherheitsvorfall" schreiben, lest bitte nochmal den letzten Absatz im Artikel durch:

Zugleich besteht ein wirtschaftliches Eigeninteresse: Cohere verkauft selbst KI-Modelle an Regierungen und könnte profitieren, wenn Behörden kostenlosen chinesischen Alternativen skeptischer gegenüberstehen.

Die Vorwürfe sind genau so seriös, als wenn Boeing Flugzeuge von Airbus untersucht und Sicherheitsbedenken anmeldet.

 

[M@tze]

@mischaef

Obwohl das Modell ausdrücklich auf externe Werkzeuge verzichten wollte, versuchte es anschließend...

sollte?

Kann mir kaum vorstellen, dass das Modell von sich aus festgelegt hat "Ok, heute nutze ich mal keine externen Werkzeuge...". 🤷‍♂️ 😉

 

[dorian.grey]

Passend dazu:
https://www.schneier.com/blog/archives/2026/10/bias-in-qwen3-coder-model.html

So etwas bekommt man derzeit wohl noch in den Griff, aber es ist ein Fass ohne Boden, gerade weil unerwünschtes Verhalten potenziell ziemlich gut versteckt werden kann.

Wäre mal interessant, ob das auch bei anderen LLMs so ist, nur eben andersrum.