News DeepSeek und Co.: Anthropic wirft chinesischen KI-Startups vor, Claude-Fähigkeiten zu stehlen

[M-X]

Kann mir jemand mit Detailwissen erklären wie man mit Destillation ein besseres Modell erzeugen soll ? Das kann doch maximal so gut sein wie das Modell dessen Daten destilliert werden mit dem Nachteil das man die ganzen Fehler vom destillierten Model noch mit einbaut?

 

[Quantität]

@M-X Versuch mal hier, vielleicht bist danach bisl schlauer:

- https://medium.com/@tahirbalarabe2/understanding-llm-distillation-attacks-929306ca38cd

 

[tomgit]

Kann mir jemand mit Detailwissen erklären wie man mit Destillation ein besseres Modell erzeugen soll ?

Der Gedanke ist, dass man den Output von größeren Modellen nutzt um kleinere Modelle zu trainieren, wodurch die kleineren Modelle die Fähigkeiten der größeren Modelle adaptieren sollen.
Wie ich in dem anderen Posting dargelegt habe, ist die Qualität von Distillation Attacks bestenfalls umstritten, weil nicht wirklich klar ist, ob damit bessere Modelle produziert werden können oder ob kleinere Modelle bei einfacheren Fragen dann besser wirkende Ausgaben erzeugen.

Kann auch einfach sein, dass Anthropic die "Attacke" als Vorwand nimmt um zu sagen, dass DeepSeek und co einfach nur synthetische Daten mit den Modellen haben produzieren lassen, womit sie ihre Modelle trainierten.

 

[M-X]

Qualität von Distillation Attacks bestenfalls umstritten, weil nicht wirklich klar ist, ob damit bessere Modelle produziert werden können oder ob kleinere Modelle bei einfacheren Fragen dann besser wirkende Ausgaben erzeugen.

Genau das war die Frage, leider hast du auch keine Antwort.

 

[tomgit]

@M-X Wie gesagt, in der Literatur gibt es dafür auch keine eindeutige Antwort

 

[knoxxi]

An die ganzen KI Firmen....

 

[Riegelstriegel]

Wer im Glashaus sitzt, sollte lieber im Keller onanieren.

Ich bin zwar nicht der erste der das hier sagt, aber es ist schon zynisch wenn man erst im großen Maßstab urheberrechtlich geschütztes Material stiehlt und sich dann beschwert wenn die liebevoll geklauten Daten einfach von anderen übernommen werden.

 

[Diablokiller999]

I don't care, wenn wir schon alle bestohlen wurden, machen wir einfach ein free for all draus.
Deepseek Coder läuft auf der 24GB RTX echt gut und die Daten bleiben bei mir. Hoffe das die Chinesen weiter machen, sehe da absolut keine Probleme.

 

[7H0M45]

Also irgendwo hab ich mal aufgeschnappt, dass Anthropic selbst die robots.txt ignoriert.

Unabhängig davon wundert mich diese "News" irgendwie. Ich dachte das war damals beim DeepSeek Hype schon klar, dass das mit einer der Hauptgründe für die geringen Entwicklungskosten war.

 

[Biervampyr]

"verschärfte Urheberrechts- und Handelsvorgaben"...
Wie war das denn nochmal mit den Trainingsdaten?

Bin absolut kein Freund von der chinesichen Methode Wissen anzueignen, aber wer im Glashaus sitzt...

Habe mal gehört das es eine Ehre in China ist Sachen zu kopieren. Nach dem Motto "Nur was sich lohnt (gut ist), wird kopiert." Keine Ahnung ob das stimmt aber würde die Mentalitätsunterschiede bei dem Thema Kopieren in Bezug zur westlichen Welt erklären.

 

[aufkrawall]

Mal sollte nicht auf das Narrativ der amerikanischen KI-Firmen reinfallen, dass der Erfolg der chinesischen Modelle vornehmlich durch Nachahmen kommt. GLM 5 in OpenCode ist extrem beeindruckend.

 

[mytosh]

Was?! Ich bin ja völlig fassungslos. Das machen die Chinesen doch sonst nicht.

 

[Hornblower]

Interessant!

Um den Kreis zu schließen sollten wir in Europa dann von den chinesischen Modellen extrahieren. Ich verstehe eh nicht warum wir nicht auch in vielen Bereichen hacken/stehlen, kopieren und nachbauen.
Zumindest einigen Staaten treten wir mit diesen Methoden ja nicht auf die Füße, denn dort ist das ja gelebte kulturelle Zukunft.Die alte Welt ist aufgelöst, also sollten wir uns neue Methoden und Fähigkeiten aneignen.

 

[projectneo]

KI Firmen betreiben seit einigen Jahren den größen Diebstahl geistigen Eigentums den jemals gegeben hat (und wohl auch geben wird) und beschweren sich wenn es die Konkurrenz auch so macht. Interessante Ansicht.

 

[WiP3R]

Ach wie süß, da beschwert sich Anthropic das jemand ungefragt die Daten abgreift ohne dafür zu bezahlen.
Tja, fühlt sich blöd an, findet euch damit ab, mussten wir auch!

Es ist ja noch besser. Die Chinesischen Labore stehlen die Daten von Anthropic nicht einmal. Die bezahlen ja brav für den Zugang.

 

[BxBender]

Quasi alle KI Firmen (zumindest die bekannten Größen in Amerika) klauen unaufgefordert und gesetzeswidrig Daten Anderer, ohne sich deren Zustimmung zur Nutzung einzuholen, oder dafür zu zahlen, so wie wir z.B. Abgaben für Musik und fernsehen zahlen müssen, selbst dann, wenn man es offiziell nicht einmal nutzt.
Dass China sich maximal an deren "Standards" hält, um mindestens mitzuhalten, oder gar zu übervorteilen, ist doch klar.
Das ist der nächste große Gag in der Industriespionage und der Globalisierung des "gläsernen Kunden".
Alle schauen schon immer voneinander ab und besorgen sich Insiderwissen durch Personalabwerbung und Datenmitnahme.
Kenne ich nur zu gut, wenn plötzlich auffällige Merkmale bei anderen Firmen auftauchen, die das nicht einmal auf Messen zu verheimlichen wissen, weil sie keine Ahnung davon haben, wofür das eigentlich gut ist, und ob das überhaupt benötigt wird, und eine Änderung oder dessen Weglassen zu irgendwelchen Konsequenzen führen würde.
Was man aber bei China weiß, ist, dass die viel besser bei der Verarbeitung von Daten und der Entwicklung sind als der gesamte Westen zusammen.
Wie kann es ansonsten sein, dass die bei den E-Autos und jetzt vor allem bei den Robotern Fimen wie Tesla innerhalb weniger Jahre sowas von ausstechen und deklassieren können?
Musk hat vor 10 Jahren im Interview lauthals über BYD hergezogen, die Chinesen haben aber ihre Hausaufgaben gemacht und Tesla längst abgelöst, während Tesla noch imemr keine der angekündigten technoliegien der letzten 10 Jahre tasächlich erfüllt hat.
Schon mal neue Messepräsentationen mit Robotern gesehen?
Chinaroboter laufen im Haufen koordiniert durch die Gegend springen gegen eien Wand und drehen sich in der Luft und landen auf den Beinen, Tesla Dinger werden noch von Menschen schlecht gesteuert und laufen stocksteif mit einem Ast im Hintern durch die Gegend und führen Befehle auf Zuruf falsch aus (z.B. der Befehl "folge mir" wird mit stehenbleiben und einem Winken quittiert und alle lachen).

 

[Daywalker1986]

"dass OpenAI von der US-Regierung verschärfte Urheberrechts- und Handelsvorgaben einforderte." erst raubkopiert man alles was man in die Finger bekommt und dann fordert man ein schärferes Urheberrecht um das geraubte wissen zu schützen, kann man sich nicht ausdenken.

 

[Gandalf2210]

Und was ist daran jetzt verboten?
Anthropic ist doch extra auf Business Kunden spezialisiert?
Dafür bezahlen ich doch um Zugriff auf die ki zu haben?

 

[Cabranium]

Die Stellungsnahme der Ki Firmen wäre mal interessant, in wie weit sich ihre Methoden von denen der Chinessischen unterscheiden. Ah stimmt. Die Chinessen zahlen dafür 🤣

 

[NameHere]

Die Luft für Anthropic wird dünner

KI-Firma Anthropic rückt in Trump-Fokus​

Das Pentagon hat führende US-Rüstungskonzerne aufgefordert, ihre Abhängigkeit vom KI-Unternehmen Anthropic zu bewerten. Boeing und Lockheed Martin sollen laut Reuters darlegen, inwieweit sie auf Dienste der KI-Firma angewiesen sind. Der Schritt könnte ein erster Schritt zu einer möglichen Einstufung von Anthropic als "Risiko für die Lieferkette" sein, meldete das Nachrichtenportal Axios. Ein Sprecher von Lockheed Martin bestätigte gegenüber Axios, vom Kriegsministerium bezüglich einer Analyse der Abhängigkeit von Anthropic kontaktiert worden zu sein.

Das für seinen Chatbot Claude bekannte Unternehmen hat bis Freitag Zeit, auf die Forderungen der Regierung zu reagieren. Das Pentagon will KI-Modelle verstärkt in geheimen Netzwerken einsetzen. Mit seiner ablehnenden Haltung bildet Anthropic eine Ausnahme in der Branche: Konkurrenten wie die Google-Mutter Alphabet, das von Tesla-Chef Elon Musk geführte Unternehmen xAI und der ChatGPT-Entwickler OpenAI haben bereits Abkommen mit der Regierung geschlossen.

https://www.n-tv.de/wirtschaft/der_...thropic-rueckt-in-Trump-Fokus-id30406139.html