KI-Sprachmodell „LLaMA“: Meta präsentiert Konkurrent für ChatGPT und Google Bard

Den aktuellen Rummel um Chatbots und KI-Suchmaschinen prägen insbesondere Microsoft mit der ChatGPT-Integration in Bing und Edge sowie Google mit der Präsentation von Bard. Vergleichsweise ruhig war es bislang bei Meta. Doch der Facebook-Konzern hat nun ebenfalls den Start des hauseigenen Large Language Models (LLM) verkündet.

Metas Sprachmodelle laufen unter dem Namen LLaMA (Large Language Model Meta AI) und sind in vier Größen verfügbar. Die Spannweite reicht von 7 Milliarden bis 65 Milliarden Parametern.

LLMs haben sich als vielversprechend erwiesen beim Generieren von Texten, dem Führen von Gesprächen, dem Zusammenfassen von schriftlichem Material sowie komplizierteren Aufgaben wie dem Lösen mathematischer Theoreme oder der Vorhersage von Proteinstrukturen.

Meta-Chef Mark Zuckerberg

LLaMA-Modelle für die KI-Forschung

LLaMA ist daher nun Metas nächster Versuch, im Feld der komplexen KI-Sprachmodelle mitzumischen. Unter einer nicht-kommerziellen Lizenz steht es für Forschungsarbeiten bereit. Zugang erhalten Labore von Universitäten, staatlichen Einrichtungen, NGOs und aus der Industrie auf Anfrage.

Details zu dem Modell beschreibt der Konzern in einer Model Card und einem Paper. Demnach wurden nur öffentlich zugängliche Daten verwendet, um das Modell zu trainieren. Mit 67 Prozent stammt der Großteil aus einer CommonCrawl-Datenbank, weitere Datenlieferanten sind Wikipedia und GitHub (je 4,5 Prozent) und auch literarische Werke. Für diese hat Meta unter anderem die Gutenberg-Sammlung verwendet.

Zudem veröffentlicht Meta Benchmark-Vergleiche mit anderen populären LLM-Sprachmodellen. Laut Meta schneiden die LLaMA-Varianten in vielen Fällen besser als das GPT-3-Sprachmodel von OpenAI ab. ChatGPT verwendet aber beispielsweise bereits das verbesserte GPT-3.5-Modell.

Vorurteile in den Datenbergen

LLaMA ist nicht Metas erster Anlauf, um Sprachmodelle für die KI-Forschung bereitzustellen. Zuletzt veröffentlicht der Konzern im November 2022 das Sprachmodell Galactica. Speziell für die Forschung konzipiert sollte es wissenschaftliche Fragen beantworten und beim Verfassen von Texten helfen. Dazu basierte es auf einem Datensatz, der vor allem aus akademischer Literatur bestand.

Das Modell war allerdings nur drei Tage verfügbar. Ausschlaggebend für den schnellen Schlussstrich waren falsche und voreingenommene Antworten. Kurz danach veröffentlichte OpenAI ChatGPT und der Hype um die KI-Sprachmodelle nahm Fahrt auf.

Mit falschen und skurrilen bis voreingenommen Antworten kämpft allerdings auch Microsoft mit der um ein GPT-Sprachmodell erweiterten Bing-Suchmaschine. Die Entwickler arbeiten daher laufend an Sicherheitsmechanismen. Zudem wurde die Anzahl der Suchanfragen pro Chat-Session und Tag begrenzt. Mit ähnlichen Problemen kämpft auch LLaMA, schreiben Entwickler in der Model Card.

Risks and harms of large language models include the generation of harmful, offensive or biased content. These models are often prone to generating incorrect information, sometimes referred to as hallucinations. We do not expect our model to be an exception in this regard.

LLama Model Card

Der Grund ist bekannt: Bereits Trainingsdaten der Modelle enthalten Vorurteile, Stereotype und Falschinformationen – dementsprechend reproduzieren auch die Modelle toxische Inhalte, sofern die Entwickler nicht eingreifen.

Wie umfassend die Schwierigkeiten sind, misst Meta auch mittels verschiedener Benchmarks, die einzelne Diskriminierungsformen umfassen. Diese unterschieden etwa zwischen Geschlecht, Hautfarbe, Alter oder sexueller Orientierung. Beim erneuten Vergleich mit GPT-3 soll das größte LLaMA-Modell laut Metas Messungen in der Summe erneut ein klein wenig besser abschneiden.