News gpt-oss-120b und gpt-oss-20b: OpenAI gibt offene Modelle auf o4/o3-mini-Niveau frei

[FrozenPie]

Leider habe ich gerade zu wenig Zeit um sowas selbst zu bauen.

Ich habe auf die erste Seite in diesem Thread eine kurze Anleitung für die Einrichtung von "ollama" + "Open WebUI" gepostet (funktioniert auf Linux und Windows). Geht in wenigen Schritten und erfordert nur die Installation von Docker Desktop als Voraussetzung (vielleicht noch ein paar WSL Settings zu CPU-Kernen und Arbeitsspeicher). Das was am längsten dauert ist der Download der Modelle, da die 10-20 GB groß sind.

 

[ich_nicht]

@FrozenPie schon richtig, aber ich habe auch keinen gängigen Computer dafür 😅.
Nur ein ThinkPad T14 G3
Da ich nicht mehr zocke usw. Sah ich darin auch keinen Sinn mehr. Und hatte auch keine Lust noch mehr Geld zu verbrennen, nur um zu forschen 🤔

 

[Salamimander]

Für zuhause ohne GPU bin ich bei phi4-mini angekommen. Das performt ganz gut, auch wenn es manchmal noch etwas “denglisch” antwortet. Zusammen mit der RAG DB und Dokumenten als Training echt brauchbar für daheim

(AnythingLLM + ollama)

 

[Pentium Jünger]

Sagt mir Bescheid wenn es das abliterated Modell zum Download gibt. Noch ein Modell das permanent erzählt, dass es mir das nicht beantworten darf, sobald es mal spannend wird, brauche ich eigentlich nicht. 🤷🏼‍♂️🤣

 

[Laphonso]

Die Systemkarte liest sich interessant
https://openai.com/de-DE/index/introducing-gpt-oss/
https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf

Mit meiner 5090 und 96 GB VRAM hätte ich direkt Bock, das zu testen, ich habe ja quasi idealen HW Ressourcen dafür.
Aber "was" ich genau testen will, weiß ich nicht nicht, ich habe eh gerade ein persönliches usecase Problem mit den ganzen AI Modellen und Angeboten.
Im Job machen sie mir mehr Arbeit, nicht weniger. Ich bin aber auch kein Software Entwickler.

 

[Salamimander]

Mein UseCase für locale AI ist auch nicht wirklich vorhanden. Theoretisch für mein DMS (Wie hoch war die letzte Rechnung der Telekom…) aber ansonsten? Schwierig ^^

 

[Marcoschwa]

Habt ihr auch bildgeneratoren probiert?

Tatsächlich ja. Unter anderem mit Stable Diffusion habe ich Bilder generieren lassen, daraus lasse ich dann Kurzvideos generieren. Mit Canva dann zu einem für Socialmedia passenden Gesamtclip zusammen geschnitten. Diese Videos habe ich dann auch auf Youtube hochgeladen und an einem Wochenende habe ich 500 Follower sammeln können und wurde dann geshadowbanned. Ging denen wohl etwas zu schnell 😝 Daraufhin bin ich dann zu Instagram gewechselt mit einer KI Influencerin.

Sagt mir Bescheid wenn es das abliterated Modell zum Download gibt. Noch ein Modell das permanent erzählt, dass es mir das nicht beantworten darf, sobald es mal spannend wird, brauche ich eigentlich nicht. 🤷🏼‍♂️🤣

Genau das ist auch mein Problem gewesen auf der vorherigen Seite. Ich wollte personenbezogene Daten anonymisieren. Mal sagt mir das Modell, dass es mir nicht helfen kann und wenn ich nach dem Grund frage, dann erhalte ich die Rückmeldung, dass es ginge, wenn ich die Daten bereitstelle. Aber genau das führt dann eben zu der ersten Antwort, weil es denkt, es würde auf Openai Servern laufen und nicht lokal. Also sehr widersprüchlich.

Ich werde mal Perplexica hosten und mit dem Model dort experimentieren. Dann ist es weniger auf das eigene Wissen angewiesen.