möglichst unzensierte LLM

Alister1

Ensign
Registriert
Jan. 2017
Beiträge
180
Hallo,

ich suche aktuell eine LLM, welche so unzensiert wie möglich ist. Die LLM soll mit allem umgehen können, was nicht verboten ist (Gewalt, Straftaten, irgendwas mit Minderjährigen). Auf letzteres brauche ich natürlich einen Filter, damit nicht aus Versehen irgendwas dummes passiert, ansonsten soll diese so unzensiert wie möglich sein (also auch explizite Inhalte mit Personen ab 21 Jahren - zur Sicherheit, da Volljährigkeit in einigen Ländern erst dann erreicht wird).

TLDR:

Möglichkeit einer LLM gesucht, die mit allem umgehen kann, was den gängigen Gesetzen nicht widerspricht.

Es geht nur um TEXTE. Keine Bilder, keine Videos!

Wer kann helfen?
 
  • Gefällt mir
Reaktionen: Alister1 und Azghul0815
  • Gefällt mir
Reaktionen: Azghul0815
also du willst erwachsenen Inhalte haben aber (verständlicher weise) nicht, dass erwachsenen Inhalte mit Kindern kombiniert werden und das Zensieren in einer Text umgebung ... Also entweder wird die KI dir vermutlich beides zensieren oder auch zu Illegalem verwendet werden können.

Ich weis jetzt nicht, wie gut die LLMs zensiert werden können, aber ich fürchte ein Modell das Gut darin ist Erwachsenen Inhalte zu generieren, wird sich überreden lassen, auch verwerfliches zu generieren. Denn das Alter eines Charakters ist idR für eine LLM eine Zahl und vielleicht ist da noch gecoded dass dann ein "das gehört sich aber nicht" rauskommt aber sowas kann man vermutlich umgehen.

Beispiel: ich habe The Bloke Storytime Model Lokal laufen und ich hatte schon immer wieder ein Problem damit, dass zumindest dieses Modell nicht verstanden hat, dass man ein gewisses Alter benötigt um auto fahren zu dürfen oder alkohol zu trinken.
Das ist aber auch ein unzensiertes modell und ich würde mal vermuten, dass ich da problemlos das Modell dazu bringen könnte verbotene Erwachsenen Inhalte zu generieren. Was ich aber sagen möchte ist, dass ein Modell vermutlich Probleme bekommt wenn es um Altersgenzen im generellen geht, weil das Alter einer Person für die LLM nur eine Zahl ist und nur wenn du das Modell darauf stößst es sich "Altersgerecht" verhält und im Nächsten moment schon wieder vergessen hat.

Bei mir wars zumindest so, dass ich eine Geschichte schreiben habe lassen, wo eine Familie essen geht und der 5 jährige Sohn dann plötzlich Wein getrunken hat und schon mal das Auto vorgefahren hat während der Vater noch gezahlt hat ... vielleicht sind andere Modelle hier besser, aber ich fürchte austricksen lassen sie sich irgendwie alle oder zumindest die Meisten.
 
  • Gefällt mir
Reaktionen: madmax2010
dernettehans schrieb:
ist das nicht eines der Riesenmodelle ... viel spaß beim aufbauen deines Lokalen Rechenzentrums mit Nvidia AI beschleunigern :D
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: MuhSagtDieKuh und madmax2010
Pyrukar schrieb:
ist das nicht eines der Riesenmodelle
Jup :D Das OpenAI GPT 120b braucht 80GB VRAM(!), kannst dir ja dann, auch wenn's nicht immer 1:1 übertragbar ist, ungefähr vorstellen wo das 671b Deepseek liegt...vor allem am Ende preislich :D
 
Pyrukar schrieb:
ist das nicht eines der Riesenmodelle ...
Nö, ein Q4 Quant ist auf dem Mac Studio mit M4 Ultra und 512GB RAM durchaus lauffähig und auch von der Qualität brauchbar. Das kostet auch 'nur' 12k€.

Im Vergleich zu dem was man bei nvidia GPUs bezahlen müsste ist das regelrecht ein Schnäppchen.

DaysShadow schrieb:
auch wenn's nicht immer 1:1 übertragbar ist, ungefähr vorstellen wo das 671b Deepseek liegt...
Etwas über 400GB plus noch etwas mehr damit man mehr als nur miese 2k Token Context hat.
 
dernettehans schrieb:
Ich würd so gern lokal ein 671b Deepseek laufen lassen 😭
Und dann?
Ergänzung ()

Rickmer schrieb:
Stichwort abliteration
Das war mir neu. Zum 1. Mal gehört. Danke.. Auch, wenn es für mich nicht so relevant ist.
 
Pyrukar schrieb:
Ich weis jetzt nicht, wie gut die LLMs zensiert werden können
nicht gut.
Das ist ja gerade das ganze Forschungsfeld um Alignment herum.. :D

Pyrukar schrieb:
weil das Alter einer Person für die LLM nur eine Zahl ist und nur wenn du das Modell darauf stößst es sich
nicht mal das, es ist ein token, dessen repräsentation gerade am wahrscheinlichsten war.
Sehr viele LLMs haben die ersten 1-2 Jahre auf die Frage "Was ist schwerer, 1KG Ziegelsteine oder10KG Federn" mit "sie sind gleich schwer" geantwortet. Auf die Zahl kommt es bei nackten modellen ohne entsprechendes alignment, tool use und CoT/Reasoning kaum an.

Pyrukar schrieb:
Das ist aber auch ein unzensiertes modell und ich würde mal vermuten, dass ich da problemlos das Modell dazu bringen könnte verbotene Erwachsenen Inhalte zu generieren. W
Selbst gpt5 ist da relativ leicht zu zu bringen. Wie auch jedes andere auch.
Pyrukar schrieb:
aber ich fürchte austricksen lassen sie sich irgendwie alle oder zumindest die Meisten.
alle.
 
Deine Grafikkarte sollte so viel GB VRAm haben, wie das ModellMilliarden Parameter.
bei einem 70 Milliarden Parameter Modell, entsprechend mindestens 70GB VRAM
 
Alister1 schrieb:
ja, von huggingface habe ich sogar schonmal was gehört in diesem Zusammenhang.
Habe mich schon gefragt, dass wenn man nach einem unzensierten LLM fragt, dann hat weiß man wenig über LLMs.
Alister1 schrieb:
Benötigt man zur Nutzung irgendeine spezielle Hardware an Mindestanforderung?
Und nun wird es noch besser.

Welche Frage kommt dann?
 
Alister1 schrieb:
Benötigt man zur Nutzung irgendeine spezielle Hardware an Mindestanforderung?
Speziell, nö
Aber das gewählte Modell sollte in den VRAM passen und eine vernünftige Menge an RAM ist auch hilfreich.

Für meinen Teil habe ich eine RTX 4090 und 96GB RAM, damit lassen sich alle LLMs bis so 120B Parameter wenigstens ausprobieren, auch wenn die nur bis 30B Parameter oder so nur wirklich gut performant sind weil sonst der VRAM überläuft.

madmax2010 schrieb:
Deine Grafikkarte sollte so viel GB VRAm haben, wie das ModellMilliarden Parameter.
... und die Faustregel ist für Q4 Quantisierung, also schon stark 'komprimierte' LLMs
 
madmax2010 schrieb:
Deine Grafikkarte sollte so viel GB VRAm haben, wie das ModellMilliarden Parameter.
bei einem 70 Milliarden Parameter Modell, entsprechend mindestens 70GB VRAM
Rickmer schrieb:
... und die Faustregel ist für Q4 Quantisierung, also schon stark 'komprimierte' LLMs
70B Q4 Modell braucht ~40-43GB VRAM + Context. D.h. da würde eine GPU mit 48GB VRAM reichen.
 
Zuletzt bearbeitet:
Pyrukar schrieb:
viel spaß beim aufbauen deines Lokalen Rechenzentrums mit Nvidia AI beschleunigern


 
madmax2010 schrieb:
Deine Grafikkarte sollte so viel GB VRAm haben, wie das ModellMilliarden Parameter.
bei einem 70 Milliarden Parameter Modell, entsprechend mindestens 70GB VRAM

Wir reden hier ausschließlich von TEXT , nichts visuelles.
Meine Grafikkarte ist nichtmal von Nvidia und zudem ein steinalt-Modell.
 
Zurück
Oben