News Alibaba Qwen3.8-Flash-Next: Upload-Versuch auf China-Server sorgt für Sicherheits­debatte

[mischaef]

Alibabas Qwen3.8-Flash-Next hat während eines Sicherheitstests von Cohere versucht, Testdaten an einen Server in Peking zu übertragen. Belege für Spionage oder eine Hintertür gibt es bislang jedoch nicht. Als Erklärung kommen vielmehr Verhaltensmuster infrage, die das KI-Modell unbeabsichtigt im Training erlernt haben könnte.

Zur News: Alibaba Qwen3.8-Flash-Next: Upload-Versuch auf China-Server sorgt für Sicherheits­debatte

 

[Ichieve]

Das kann alle möglichen Gründe haben. Aber egal welche Gründe es halt. Diese sollten abgeschaltet oder verhindert werden. Und es könnte sein dass chinesische Hersteller da einfach zu wenig tun.

 

[Augen1337]

Die Frage ist, was man dagegen tun sollte.

Ob antrainiert oder nicht: Gibt man den lokalen Modellen Zugriff auf das Netzwerk, damit sie Informationen im Netz recherchieren können, müsste man Blacklists pflegen. Oder einzelne Seiten/IPs whitelisten. Beides suboptimal.

 

[KeinNutzerName]

Versuchte Übertragung auf externe Server sorgt für Bedenken​

Noch Fragen Kienzle ?

Meine persönliche subjektive Meinung:

Für die Wortwahl "Bedenken" bei einigen dort verantwortlichen Leuten müsste man diese eventuell in den Hintern treten.

Bedenken !?? B e d e n k e n ?!?!?!?!?!? Wenn meine Einkaufstüte zu voll ist, habe ich bedenken!!! wenn ich die Waschtemperatur an der Waschmaschine ausversehen zu niedrig eingestellt habe, dann hab ich Bedenken.

!! Versuchte Übertragung auf externe Server sorgt für Bedenken !! sollte bei den Verantwortlichen die Alarmglocken laut läuten lassen. so ist das !!

 

[Hardware-Fan]

damit sie Informationen im Netz recherchieren können

"Recherchieren" ist aber was anderes, als Daten nach China zu übertragen!

Wir müssen abwarten, was raus kommt, aber es kann durchaus sein, dass die Chinesen in die kostenlosen "Geschenke" Hintertüren eingebaut haben.

 

[HiveTyrant]

Daten nach China - Böse.

Daten in die USA - Gut?

Zweierlei Maß, mal wieder.
Und bei den Amis wird nicht nur bei 'Gratis' geschnorchelt, sondern vor allem bei Bezahlversionen.

 

[Hardware-Fan]

Der immer wiederkehrende Versuch, Dinge gleich zu setzen, die nicht gleich sind, ist Käse. Bringt uns nicht weiter.

 

[Solavidos]

Bedenken !?? B e d e n k e n ?!?!?!?!?!? Wenn meine Einkaufstüte zu voll ist, habe ich bedenken!!! wenn ich die Waschtemperatur an der Waschmaschine ausversehen zu niedrig eingestellt habe, dann hab ich Bedenken.

!! Versuchte Übertragung auf externe Server sorgt für Bedenken !! sollte bei den Verantwortlichen die Alarmglocken laut läuten lassen. so ist das !!

Da stimme ich dir vollkommen zu. Das Wort "Bedenken" ist da eine gewaltige Untertreibung.

Ich nutze selbst regelmäßig lokale KI-Modelle wie Qwen und diese Meldung macht mich echt betroffen. Man zieht sich die Modelle ja gerade deshalb lokal auf die eigene Hardware, um die volle Kontrolle über seine Daten zu haben und nichts auf externe Server zu laden.

Aber das eigentliche Alarmsignal bei dem Vorfall ist doch wieder, dass das Modell in seiner eigenen "Gedankenkette" behauptet, keine Tools zu nutzen, während es im Hintergrund heimlich Systembefehle (curl/wget) abgesetzt und Systempfade gescannt hat, um Daten nach Peking zu schicken.

Ob das nun ein Trainingsartefakt oder Schlimmeres ist, ist dann auch erstmal zweitrangig. Sobald ein Modell eigenmächtig anfängt, nach Hause zu telefonieren, ist das ein massiver Sicherheitsvorfall.

 

[Hardware-Fan]

Ob das nun ein Trainingsartefakt oder Schlimmeres ist, ist dann auch erstmal zweitrangig. Sobald ein Modell eigenmächtig anfängt, nach Hause zu telefonieren, ist das ein massiver Sicherheitsvorfall.

Eben. Mir ist das "kann ja mal passieren" auch immer zu harmlos. Am Ende ist es Software, und Software kann man schon beibringen, was sie zu tun hat.

Heimlich Daten nach China zu übertragen ist noch eine andere Nummer, als wenn ein Modell "zu ehrgeizig" (auch gegen Regeln) versucht, sein Ziel zu erreichen.

 

[Solavidos]

Daten nach China - Böse.

Daten in die USA - Gut?

Zweierlei Maß, mal wieder.
Und bei den Amis wird nicht nur bei 'Gratis' geschnorchelt, sondern vor allem bei Bezahlversionen.

Das hier sind zwei völlig unterschiedliche Dinge.

Dass US-Cloud-Anbieter (auch bei Bezahlversionen) Daten abgreifen, stellt niemand in Abrede. Darüber klärt sogar die AGB der Anbieter auf.

Bei diesem Vorfall geht es aber nicht um Cloud-Dienste, sondern um lokale Open-Source-Modelle. Die zieht man sich auf die eigene Hardware, genau weil man keine Daten ins Netz übertragen will, egal ob in die USA oder nach China.

Wenn ein lokales Modell dann eigenmächtig anfängt, im Hintergrund Systembefehle auszuführen und Daten nach Hause zu schicken (und in seiner Gedankenkette sogar das Gegenteil behauptet), ist das kein Geopolitik-Thema, sondern ein Sicherheitsvorfall. Dasselbe würde genauso scharf kritisiert, wenn ein lokales Llama-Modell heimlich Daten an Server in den USA senden würde.

 

[Kristatos]

War ja klar, wahrscheinlich war das rote Buch das erste was die KI zum Training gekriegt hat

 

[Blackhorse79]

Was die Amis dürfen, dürfen auch die Chinesen. PUNKT. Nutze gerne Sachen wie DeepSeek, kann ja schliesslich glücklicherweise mit meinen Daten machen was ich möchte... Wenn westliche Sicherheitsbedenken aufkommen ist das für mich erst recht eine Ermutigung. Denn aus dieser Himmelsrichtung wird gelogen, dass sich die Balken biegen.

 

[Ranayna]

Da wurde ein lokales LLM getestet?

Wer so ein Ding einsetzt, und dann sogar noch sagt, dass es ohne externe Ressourcen auskommen soll, der sollte meiner Meinung nach seine Firewall ausreichend im Griff haben, damit die Software, selbst wenn sie will, einfach nicht nach draussen kommunizieren kann.

Das gehoert isoliert in ein eigenes VLAN...
Das ist "Basiswissen Netzwerksicherheit"...

 

[pintness]

Wie bitte? Die Chinesen, die in den letzten Jahrzehnten sämtliche westliche Erfindungen und Ideen schamlos kopiert haben, kopieren jetzt auch unsere Daten? Das kann nicht sein, ich bin schockiert!

 

[imperialvicar]

Was die Amis dürfen, dürfen auch die Chinesen. PUNKT. Nutze gerne Sachen wie DeepSeek, kann ja schliesslich glücklicherweise mit meinen Daten machen was ich möchte... Wenn westliche Sicherheitsbedenken aufkommen ist das für mich erst recht eine Ermutigung. Denn aus dieser Himmelsrichtung wird gelogen, dass sich die Balken biegen.

Im Osten werden Lügen ja Gottseidank bestraft
Dort fühlt man sich dann gleich besser

 

[Augen1337]

"Recherchieren" ist aber was anderes, als Daten nach China zu übertragen!

Und wie kontrollierst du das bisher?

 

[Hardware-Fan]

Und wie kontrollierst du das bisher?

Wie kontrollierst du die Eier aus dem Supermarkt auf Salmonellen? Es gibt Fachleute dafür.

Andere Modelle, die schon weit länger im Praxiseinsatz sind als Qwen 3.8 Next, sind dabei nicht negativ aufgefallen.

 

[NonOptionalName]

Passend dazu:
https://www.schneier.com/blog/archives/2026/10/bias-in-qwen3-coder-model.html

So etwas bekommt man derzeit wohl noch in den Griff, aber es ist ein Fass ohne Boden, gerade weil unerwünschtes Verhalten potenziell ziemlich gut versteckt werden kann.

 

[SirSinclair]

Passend dazu:
https://www.schneier.com/blog/archives/2026/10/bias-in-qwen3-coder-model.html

Ja und? Die bekannten US LLMs sind doch auch alle voreingenommen und pushen bestimmte politische Weltbilder?
Grok hat da z.B. in mancher Hinsicht eine andere Weltsicht als Chatgpt.
Wer bei den chinesischen was anderes erwartete ist wohl ziemlich naiv.

 

[FX9590]

Ich nutze selbst regelmäßig lokale KI-Modelle wie Qwen und diese Meldung macht mich echt betroffen. Man zieht sich die Modelle ja gerade deshalb lokal auf die eigene Hardware, um die volle Kontrolle über seine Daten zu haben und nichts auf externe Server zu laden.

Ich nutze auch Qwen 3.8 Flash auf LM Studio und habe LM-Studio komplett durch meine Firewall blockiert. Ich bin zwar eigentlich sicher, dass es nicht ungefragt "Kontakt aufnehmen" kann aber "eigentlich sicher" ist eben nicht "völlig sicher". Und zumindest bei Gesprächen mit sehr persönlichem Inhalt kann ich nur dazu raten lieber auf Nummer "Extrasicher" zu gehen. 😉