Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsStable-Diffusion-Entwickler: StableLM als Open-Source-Konkurrent für ChatGPT
Stable Diffusion zählte zu den ersten Text-zu-Bildgeneratoren, die den aktuellen KI-Hype befeuerten. Als Open-Source-Anwendung verfügbar, können Nutzer so auch auf dem heimischen Rechner Bilder generieren. Nun haben die Entwickler von Stability.AI ein Sprachmodell veröffentlicht, das mit OpenAIs GPT-Modellen konkurrieren soll.
Hab mal ne einfache Frage: Angenommen man möchte mehrere hundertausend natur- und Ingenieurwissenschaftliche Studien und Dokumente (z.B in PDF Format) anstatt per Volltextindex mit so einem StableLM-Sprachmodell durchsuchbar und verfügbar machen. Kann man das Teil dann selbst installieren und das Datenverzeichnis damit indizieren/trainieren ähnlich wie mit einem Volltextindex?
Erste Rezensionen zu StableLM waren vernichtend...
YouTube
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Da gibt es erheblich bessere freie Alternativen aktuell. Mal schauen, wie sich StableLM verbessert mit mehr Entwicklungszeit und den größeren Modellen, die bereits in Arbeit sein sollen.
Das (kommerzielle) Wettrennen um entsprechende Lösungen, Konzepte und Produkte verlässt an einigen Stellen gerade den Laborstatus. Die Angebote werden sich wahrscheinlich wie ein Virus in unterschiedlichsten Varianten und Qualitäten verbreiten und teilweise wieder verschwinden, bevor sich die besseren Produkte durchsetzen und etablieren.
Bin gespannt, wie das in ein paar Jahren aussehen wird.
Hab mal ne einfache Frage: Angenommen man möchte mehrere hundertausend natur- und Ingenieurwissenschaftliche Studien und Dokumente (z.B in PDF Format) anstatt per Volltextindex mit so einem StableLM-Sprachmodell durchsuchbar und verfügbar machen. Kann man das Teil dann selbst installieren und das Datenverzeichnis damit indizieren/trainieren ähnlich wie mit einem Volltextindex?
Solange die Artikel alle veröffentlicht sind, sollte das Sprachmodell die ja eh schon kennen. In der Praxis funktioniert das aber noch nicht so ganz. Ich unterrichte an einer Uni und packe jetzt aus Interesse immer die Fragen für Seminar/Übungen in ChatGPT - ich bekomme zwar Antworten und auch Quellen, aber da sind dann Studien dabei die es garnicht gibt und die sich das Modell ausgedacht hat...
Hab mal ne einfache Frage: Angenommen man möchte mehrere hundertausend natur- und Ingenieurwissenschaftliche Studien und Dokumente (z.B in PDF Format) anstatt per Volltextindex mit so einem StableLM-Sprachmodell durchsuchbar und verfügbar machen. Kann man das Teil dann selbst installieren und das Datenverzeichnis damit indizieren/trainieren ähnlich wie mit einem Volltextindex?
Eine kompetente Antwort auf meine Frage wäre noch mehr mega
Ergänzung ()
lordlaschi schrieb:
Solange die Artikel alle veröffentlicht sind, sollte das Sprachmodell die ja eh schon kennen. In der Praxis funktioniert das aber noch nicht so ganz. Ich unterrichte an einer Uni und packe jetzt aus Interesse immer die Fragen für Seminar/Übungen in ChatGPT - ich bekomme zwar Antworten und auch Quellen, aber da sind dann Studien dabei die es garnicht gibt und die sich das Modell ausgedacht hat...
Ich würde an dieser Stelle vielleicht trennen zwischen KI-Framework und dem Thema, dass diese dann damit abdecken soll. Und anders ausgedrückt: Einem entsprechend leistungsfähigen KI-Framework ist es egal, womit es gefüttert wird. Die Qualität des Outputs hängt dann wieder an der Qualität des Inputs.
Solange die Artikel alle veröffentlicht sind, sollte das Sprachmodell die ja eh schon kennen. In der Praxis funktioniert das aber noch nicht so ganz. Ich unterrichte an einer Uni und packe jetzt aus Interesse immer die Fragen für Seminar/Übungen in ChatGPT - ich bekomme zwar Antworten und auch Quellen, aber da sind dann Studien dabei die es garnicht gibt und die sich das Modell ausgedacht hat...
Abwarten und Getränk der Wahl trinken. Kann nur besser werden mit StableLM. Stable Diffusion AI sieht schon sehr brauchbar aus. Zumindest die AI generierten Ergebnisse (Bilder der Charakter Modelle) von Genshin Impact in der Hoyoverse App.
Eine tolle Entwicklung~ bin gespannt wie gut es sich in 1-2 Jahren dann schlagen wird.
Finde die kleinen Modelle viel Interessanter, weil die auch auf consumer hardware laufen können und nicht beschnitten und gefiltert werden. Leider fehlt da wohl noch der große Kommerzielle Reiz...
Hier kann man die diversen Open-Source Modelle einschließlich StableLM selbst testen. Vicuna soll angeblich annähernd die Qualitäsregion von GPT-4 reichen..Erste Test von Vicuna-13b machen jedenfalls schon mal einen sehr guten Eindruck..
Ist das was OpenAI produziert nicht open source? Bei dem Namen "Open"AI bin ich bisher davon ausgegangen, dass die die Quellcodes ihrer Machwerke auch zur Verfügung stellen.
Ist ja ne Frage mit zwei Teilen. Selbst installieren geht bei ein paar Modellen. Allerdings sollte der Rechner eine entsprechende Anzahl an Nvidia-GPUs besitzten, damit es auch schnell genug geht. Auf CPU only komme ich auf max 1 Token pro Sekunde. Da hat man keinen Spaß dran.
Die zweite Frage bezieht sich auf den Suchkontext, auf dem die Antworten (oder besser, der generierte Text) basieren sollen. Dies kann man machen, ist aktuell aber noch einiges an Handarbeit. Hierzu müssen die eigenen Datenquellen in Vektoren umgewandelt werden und in einer entsprechenden DB abgespeichert werden. Wenn das erledigt ist, kann man die Anfrage ebenfalls in einen Embedding-Vektor umwandeln und damit aus der Datenbank den Kontext auslesen. Hierzu wird in der Regel die Vektoren aus der DB genommen, mit der "geringsten Distanz". Die kann man dann als Kontext mitgeben.
Einfach mal nach LangChain und Embeddings googeln für mehr Infos und dann durch die Suchergebnisse arbeiten.
Ist das was OpenAI produziert nicht open source? Bei dem Namen "Open"AI bin ich bisher davon ausgegangen, dass die die Quellcodes ihrer Machwerke auch zur Verfügung stellen.
OpenAI ist sogar als gemeinützige Organisation gestartet, die ihre Ergebnisse, Patente etc. der Allgemeinheit zugänglich machen wollte.
Hat aber nicht so recht geklappt, und jetzt macht man closed-source und hat ne Menge Geld von Microsoft eingesammelt: https://en.wikipedia.org/wiki/OpenAI
Das war mal. Als dann das Geld gewunken hat hat man sich ganz schnell von 'Open' verabschiedet und das mit wirren Argumentationen bezüglich 'Verantwortung' versucht schönzureden
Hier kann man die diversen Open-Source Modelle einschließlich StableLM selbst testen. Vicuna soll angeblich annähernd die Qualitäsregion von GPT-4 reichen
Danke für den Hinweis!
Vicuna war mir bisher noch gar nicht bekannt. Ein erster ganz kurzer Test sah aber schon sehr positiv aus. Mal schauen, behalte ich weiter im Auge. Aktuell fahre ich mit GPT-4 aber ziemlich gut.
