News Stable-Diffusion-Entwickler: StableLM als Open-Source-Konkurrent für ChatGPT

[dualcore_nooby]

@FrAGgi wofür nutzt Du GPT-4?

 

[FrAGgi]

wofür nutzt Du GPT-4?

Für ziemlich unterschiedliche Sachen. Bei mir aber aktuell sehr "Content Creator" lastig.

• "Brainstorming" zu unterschiedlichen Themen um sich inspirieren zu lassen und neue Ideen zu bekommen
• Erstellung von Content in Form von Gliederungen oder Beitragsentwürfen für definierte Themen
• Erstellung von Contentplänen für Blogs, Newsletter, Social Media, etc.
• Erstellung von Video-Skripten
• Für diverse SEO Themen
• uvm.

Ich übernehme die Inhalte nie 1:1, kann aber mittlerweile für meine Anforderungen schon ganz ordentliche Prompts formulieren, damit die Ergebnisse schon sehr nah an das herankommen, was ich genau haben will.

Momentan teste ich AutoGPT. Bin dort aber noch nicht wirklich zu zufriedenstellenden Ergebnissen gekommen.

 

[pacifico]

Einem entsprechend leistungsfähigen KI-Framework ist es egal, womit es gefüttert wird. D

Das widerspricht dem gegenwärtigen Stand der Technik. Chatgpt hätte es nicht besser formuliert...

 

[Jakxx]

Vicuna soll angeblich annähernd die Qualitäsregion von GPT-4 reichen..Erste Test von Vicuna-13b machen jedenfalls schon mal einen sehr guten Eindruck..

Das ist etwas hochgegriffen wenn ich ehrlich bin. Ich habe Vicuna mal ein bisschen ausprobiert die letzten Tage und lokal laufen lassen. Es kommt eher an GPT3.5 ran, und auch da nur begrenzt. Aber ein Modell mit 13Milliarden Parametern ist auch tatsächlich einfach zu klein um wirklich auch nur annähernd an GPT4 ran zu kommen. Es gibt Modelle mit 30Milliarden Parametern die da schon ein bisschen mehr auf dem Kasten haben. Auf jeden Fall wird es sehr interessant in den nächsten Monaten.

 

[Dummsday]

Das Schöne ist einfach, dass sich auf dem Gebiet sehr schnell eine gesunde Konkurrenz entwickeln wird und ein Monopol wohl in weiter ferne liegt. Und auch die Open-Source Welt und sogar die privaten Rechner sind mit im Rennen. Find ich alles super !

 

[MechanimaL]

Erste Rezensionen zu StableLM waren vernichtend...

Stable Vicuna sollte besser sein!

https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ

läuft sehr gut mit Oobabooga Webinterface. (MIt der GGML Variante auch ohne Nvidia CPU (aber deutlich langsamer)).

Anleitung steht direkt im Huggingface Post von "The Bloke" unter https://huggingface.co/TheBloke/sta...d-and-use-this-model-in-text-generation-webui

https://github.com/oobabooga/text-generation-webui#one-click-installers --> WEB UI Installer. Von dort kann das Model geladen und verwendet werden.

 

[Klaus_Vielleser]

Das Schöne ist einfach, dass sich auf dem Gebiet sehr schnell eine gesunde Konkurrenz entwickeln wird und ein Monopol wohl in weiter ferne liegt. Und auch die Open-Source Welt und sogar die privaten Rechner sind mit im Rennen. Find ich alles super !

Dieser Meinung kann ich mich nur anschließen!
KI ist längst da und niemand kann sie mehr verhindern. Da dies jedoch so ist, sollte sie auch jedem zugänglich sein - und dies nicht nur in Form eines von Bill Gates mit fast 10 Milliarden Dollar gekauften Teils, welches in seinen Antworten manipulierbar ist.
Ich wünsche mir mehrere Open Source Modelle, welche sich wahlweise jeder auf eine künftigen Rechner ( hier werden momentan spezielle GPU - Chips entwickelt, mit unterschiedlichen Namen) frei installieren lassen.
Am besten noch mit der Fähigkeit sich selbständig weiter zu bilden in einem Thema, das sich der User wünscht, weil er es ggf. aus Interesse betreibt. So zum Beispiel Astronomie, Fotografie usw.
Ich hoffe dieser Wunsch wird besser umgesetzt als offene Betriebssysteme, wobei Linux durchaus brauchbar ist.
Leider wurde aber auch dies (um - und weiterentwickelt) kommerziell eingesetzt und unter Android in Smartphones vermarktet.

 

[MechanimaL]

Es gibt bereits offene Modelle (inkl. unzensiert), die auch rein mit CPU statt GPU arbeiten (GGLM heißt das glaub ich), allerdings dadurch langsamer. In etwa ChatGPT (3.5) wird von der Qualität her bereits erreicht. Manche Models sind eher für Geschichten, andere für Coding usw. Ich warte noch darauf, dass man über PDFs chatten kann. Im Prinzip geht das schon, aber es ist umständlich zum Laufen zu bringen.. Denke das dauert aber nicht mehr lange, bis es erleichtert möglich sein wird. Bspw. im Ooobabooga WEB Interface oder per einfachem Training (?!).. Die Token Größe (in etwa der Kontext der erfasst wird innerhalb eines Gesprächs) hat sich auch drastisch erhöht bei ein paar neuen Modells kürzlich, was natürlich auch erlaubt längere Texte einfach ins Chatfenster zu kopieren und Fragen dazu zu stellen, oder Zusammenfassungen zu erfragen.

Mal ein paar Links dazu:
oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, Pythia, OPT, and GALACTICA.
oobaboogazz (Reddit)
LocalLLaMA
LocalLLM
passende Modells gibts hier:
TheBloke (Tom Jobbins)

 

[Klaus_Vielleser]

Es gibt bereits offene Modelle (inkl. unzensiert), die auch rein mit CPU statt GPU arbeiten (GGLM heißt das glaub ich), allerdings dadurch langsamer. In etwa ChatGPT (3.5) wird von der Qualität her bereits erreicht.

Mit Chat Gpt hab ich programmiert und dabei war es eine große Erleichterung und man ist ca 20 Mal schneller. Klar, das Programm macht Fehler und es kann nicht Debuggen. Aber eine Lösung für den Home PC fänd ich spannend, so sie denn zumindest GPT 3.5 erreicht.

 

[Klaus_Vielleser]

Hat jemand Erfahrung mit so etwas:
https://www.mediamarkt.de/de/produc...ar-geforce-rtxtm-4060-core-black-2854445.html
Könnte nvidia 4060 in einem Notebook schnell genug für die Bilderzeugung sein?

 

[MechanimaL]

Dieser Thread dreht sich ja nicht um Bilderzeugung, aber generell, sowohl hier als auch bei Bilderzeugung, möchte man möglichst viel VRAM und ich weiß jetzt z.B. nicht, wieviel diese 4060 hier hat.