News Meta präsentiert „Code Llama“: Neues KI-Modell speziell für Programmierer

[Andy]

Der Facebook-Mutterkonzern Meta hat heute gemeinsam mit Microsoft die neue Version des Llama-Sprachmodells vorgestellt. Die Llama-2-Modelle stehen sowohl für die Forschung als auch die kommerzielle Nutzung bereit und sind über Microsoft Azure und Windows, Amazon Web Services und Hugging Face verfügbar.

Zur News: Meta präsentiert „Code Llama“: Neues KI-Modell speziell für Programmierer

 

[chico-ist]

Meta macht scheinbar nach der langjährigen Krise erstmals wieder gute Schlagzeilen, hier und zuletzt auch mit Threads. Mal sehen, ob das anhält oder der nächste Skandal schon in den Startlöchern steht.

 

[Rickmer]

Hmm...

Vorgestellt wurden die vortrainierten und feinabgestimmten Modelle mit 7 Milliarden, 13 Milliarden und 70 Milliarden Parametern von Meta-Chef Mark Zuckerberg und Microsoft-CEO Satya Nadella.

Schade - wenn ich mich richtig erinnere, würden ein ca. 40 Mrd Parameter Modell noch so grade in den VRAM einer 24GB nvidia GPU passen.
Das 70 Mrd. Parameter Modell ist vermutlich für eine 40GB VRAM GPU gedacht.

Hugging Face

Das ist schon ein echt ungewöhnlicher Name...


Aber wenn ich ehrlich bin: Heute warte ich primär auf den Stable Diffusion XL 1.0 Release. LLMs hatte ich garnicht im Kopf.

 

[tollertyp]

Eine Strategie, die im Gesetz zu OpenAI und Google steht, die KI-Lösungen wie ChatGPT und Bard nur online anbieten.

@Andy:
Ich glaube das heißt eher im Gegensatz...

 

[Markus2]

Schade - wenn ich mich richtig erinnere, würden ein ca. 40 Mrd Parameter Modell noch so grade in den VRAM einer 24GB nvidia GPU passen.
Das 70 Mrd. Parameter Modell ist vermutlich für eine 40GB VRAM GPU gedacht.

Anscheinend wird auch an einem Modell zwischen 13 und 70 gearbeitet, es wurde aber nicht rechtzeitig fertig.

 

[Pantare]

TheBloke hat das Modell (bzw. die Modellgewichte) natürlich auch schon längst in den handlicheren quantisierten Formen hochgeladen. Hier mal für den 13B Datensatz. (Benötigt noch frontend und backend, z.B. text-generation-webui und llama.cpp. q4_0 Quantisierung ist nie verkehrt.)

https://huggingface.co/TheBloke/Llama-2-13B-GGML
https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML

 

[gustlegga]

Warum muss ich bei Llama nur immer an Winamp denken..^^

 

[codengine]

Klassiker Krieg ich immernoch Anflüge von Nostalgie.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[pitu]

Von lokal ist hier die Rede. Was aber passiert mit den erstellten Texten? Die werden doch bestimmt nach META geschickt oder? Klingt für mich als Deutscher nach einer Datenschutzverletzung.

 

[gustlegga]

@codengine

Spoiler: Spoiler wegen OT

Ich wüsst nicht was ich ohne das alte Schätzchen aus Win9x Zeiten machen würde.
Mittlerweile hat in aktueller Version.

An die Suchfunktion in der Medienbibliothek kommt auch heut noch nix ran was ich bisher getestet hab. Abgesehen mal von professioneller DJ-Software.

 

[Foxel]

Von lokal ist hier die Rede. Was aber passiert mit den erstellten Texten? Die werden doch bestimmt nach META geschickt oder? Klingt für mich als Deutscher nach einer Datenschutzverletzung.

Es ist einfach nur das pretrained model die applications dazu kannst du dir selber bauen.

Auch interesant für das Training wurden wohl ca. 1000 A100 GPUs benutz 6 Monate lang.
3.3M GPU hours of computation on hardware of type A100-80GB
https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md

 

[pitu]

Es ist einfach nur das pretrained model die applications dazu kannst du dir selber bauen.

Aber sollte das Model nicht weiter trainiert werden, vorzugsweise lokal? So würde ich es zumindest machen. Anschließend die Daten an meinen META Server senden, so ähnlich wie beim SETI Projekt. Aber vielleicht verstehe ich das Konzept dahinter auch nicht.

 

[andy_m4]

Aber sollte das Model nicht weiter trainiert werden, vorzugsweise lokal? So würde ich es zumindest machen. Anschließend die Daten an meinen META Server senden

Die Idee ist interessant.
Allerdings ist so ein Modell ja auch nicht ohne Weiteres zu verifizieren. Man muss ja damit rechnen, das die Leute da alles mögliche reinwerfen.
Zudem kannst die Modelle auch nicht einfach "mergen". Das heißt, es müssten die nutzerlokalen Trainingsdaten gesendet werden. Und selbst die kannst Du nicht einfach eintrainieren so nach dem Motto "wird sich schon irgendwie aufaddieren".

Kurzum: Es ist nicht so das das nicht prinzipiell möglich wäre oder sich nicht für die aufgezeigten Probleme Lösungen finden lassen. Aber es ergibt sich halt nicht so natürlicherweise in der Weise, das man einfach nur einsammeln muss.

 

[Radde]

Ich habe leider keinerlei Hintergrund wie eine lokale Installation aussehen könnte.
Aber es hört sich für mich so an, als käme nach 100GB Spielen jetzt das 100GB Betriebssystem.

 

[pitu]

Zudem kannst die Modelle auch nicht einfach "mergen".

Mark ist der zweit intälligäntästhä Mensch der Welt. Der wird das hinbekommen.

 

[1ST1]

Wieviel Platz und Rechenlesitung braucht dass denn auf dem lokalen Rechner?

 

[jo0]

An die Suchfunktion in der Medienbibliothek kommt auch heut noch nix ran was ich bisher getestet hab.

Foobar2000 mit Addons ist extrem nice. Da kann man sich richtig geil was zurecht basteln, oder vorgefertigte Themes verwenden wie z.B. diesen.

 

[Pantare]

Wieviel Platz und Rechenlesitung braucht dass denn auf dem lokalen Rechner?

So grob 15GB baseline auf der Festplatte und dazu noch den Platz je nach Modell. Bei 4bit je Parameter sind es dann ca. 7GB für ein 13B Modell und dann voraussichtlich 35GB für das 70B Modell. Mit GPU ist das 13B Modell eigentlich recht brauchbar flott (gerade weil es vollständig in den GPU Speicher passt). Mit CPU ist es aber auch noch erträglich.

Bloß perfekte Antworten sollte man nicht erwarten. Selbst das große LLAMA2 70B Modell ist etwa auf dem Fähigkeitsstand von GPT3.5 und damit deutlich hinter GPT4.

 

[missi]

Bei dem Link welcher per Mail kommt lande ich immer in einer xml Seite .. was stimmt hier nicht? wie kommt man zum Download oder Installiert das?

 

[Pantare]

Die Meta Seite ist nicht der richtige Ort. Da gibt es nur das Originalmodell mit 16 oder 32 bits. D.h. für das 13B Modell wären das schon 26GB oder sogar 52GB. Da wird die Mehrheit der User schon Schwierigkeiten haben, das in den Arbeitsspeicher zu schieben, zu schweigen vom GPU Speicher. Der Trick für lokale Modelle besteht darin, die Präzision auf wenige bits zu reduzieren/quantisieren. Ist ein Tradeoff, aber bei fixem Speicherplatz ist es eigentlich immer besser, mehr Parameter zu haben mit weniger Präzision als umgekehrt. (7B mit 32 bits ist viel, viel schwächer als 13B mit 4 bits.)

TheBloke hat Code geschrieben, der im Grunde alle spannenden Modelle sofort abgreift und in verschiedenen Quantisierungen anbietet. Die hab ich oben verlinkt. Konzeptionell am simpelsten sind 4 bits, dann ist am Ende des Dateinamens ein q4_0. Die Daten selbst sind aber in jedem Fall nur Modellgewichte, kein ausführbarer Code. Aber bei den Links werden auch direkt alle relevanten Tools zum Ausführen genannt.