Weiterbildung im Thema KI

[TheLizardator]

Guten Abend liebes CB-Forum,

ich möchte mich beim Thema KI gerne privat weiterbilden, bloß fehlt mir irgendwie so der richtige rote Faden wo ich anfangen bzw. weitermachen soll.

Meine bisherigen Sachen die ich gemacht habe, waren Skripte damit zu schreiben (mache viel mit PowerShell), da funktioniert das super oder mal paar Python Skripts um mir PDFs generieren zu lassen, mit LMStudio bisschen rumgespielt was so mit meiner Hardware möglich war, bei uns auf der Arbeit das LibreChat mit Zugriff auf untersch. LLMs eingerichtet.

Um das zu machen, habe ich über openrouter/Azure oder jeweils bei den Herstellern die LLMs per API angebunden.
Aber jetzt möchte ich etwas weiter gehen, was mich jetzt interessiert sind Sachen wie:

• Füttern von eigenen Dateien ans LLM -> habe paar Anleitungen für EndUser die ich gerne ins LLM integrieren will
• Frameworks/Best Practises
• KI-Agenten
• Effizient Daten an nächste Chat Instanz weitergeben um nicht direkt wieder bei 0 anfangen zu müssen
• Lokale LLMs interessieren mich immer mehr, da hab ich nur bisher nicht große Modelle nutzen können, da nur 16gb VRAM (9070XT)

Was könnt ihr empfehlen? Ich lese gerne Bücher, auch gerne Youtube. Nur halt ungern dubiose AI Influencer, sondern ich mag eher die richtigen Techie Kanäle.

Zu mir ich bin halt kein Programmierer, nen kleines Programm krieg ich schon geschrieben, mir macht skripten viel mehr Spaß, das ist auch das was bei mir im Betrieb für mich relevant ist.


Gruß und euch einen schönen Abend!

 

[GucciGünther]

Schau mal ob du hier was passendes findest:
https://roadmap.sh/

 

[DaysShadow]

da nur 16gb VRAM (9070XT)

Da bekommst du auch das frische https://huggingface.co/openai/gpt-oss-20b rein, ist ja extra auf 16GB geschnitten. Würde meinen das reicht erstmal. Hab's heute angefangen zu testen mit LM Studio, belegt 15,7 GB VRAM und geht gut ab. Hab ihm eben ein paar zusammengehörige C++ Klassen gefüttert und es hat ordentlich dargelegt was die einzelnen Klassen machen (obwohl ich nur die Header ohne Implementation gegeben habe), wie sie zusammenhängen, was gut ist und was verbesserungswürdig. Ich gebe ChatGPT keinen kompletten Code von mir, daher ist die lokale Geschichte echt super.

Man muss, zumindest z.Z., aber die Vulkan Runtime nutzen, mit der ROCm Runtime schmierts Laden des Modells ab.

 

[Rickmer]

Lokale LLMs interessieren mich immer mehr, da hab ich nur bisher nicht große Modelle nutzen können, da nur 16gb VRAM (9070XT)

Du kannst dann entweder mit sehr kleinen LLMs arbeiten für deine Tests (was gleichzeitig den Vorteil hat, dass du für Training usw. weniger Compute benötigst und du daher so oder so schneller Resultate siehst), oder du kannst dir online deinen Bedürfnissen entsprechend GPUs mieten.

Runpod wäre da ein relativ bekanntes Beispiel, aber es gibt eine große Menge an Alternativen.

 

[oicfar]

Du kannst doch die KI, die du bisher genutzt hast mal nach einem Plan fragen.

 

[nutrix]

Da bekommst du auch das frische https://huggingface.co/openai/gpt-oss-20b rein, ist ja extra auf 16GB geschnitten.

Wie kann ich das bitte komplett auf einmal runterladen? Ich finde nicht, wie sonst in Github, Download as zip oder sowas, ich kann nur die Dateien einzeln laden.

 

[oicfar]

Das du ja LM Studio hast ...

https://lmstudio.ai/blog/gpt-oss

 

[DaysShadow]

Wie kann ich das bitte komplett auf einmal runterladen?

Googlen ist schon völlig out oder was? https://huggingface.co/docs/hub/models-downloading

 

[Langi1]

Wie kann ich das bitte komplett auf einmal runterladen? Ich finde nicht, wie sonst in Github, Download as zip oder sowas, ich kann nur die Dateien einzeln laden.

KI fragen

Ergänzung (7. August 2025)

Googlen ist schon völlig out oder was?

KI fasst eben die ersten Ergebnisse von Google, usw. zusammen. Sehr oft auch sehr falsch.

Die User sind zu dumm um das zu begreifen und glauben das dann.

 

[4nudels]

Wie hoch budgedt Guck Mal udemy oder linked und clevermangos

 

[nutrix]

Googlen ist schon völlig out oder was? https://huggingface.co/docs/hub/models-downloading

Ich hatte das davor schon gelesen, keine Sorge, aber es werden nur indirekte Wege zum Download dokumentiert.

Ergänzung (8. August 2025)

Das du ja LM Studio hast ...

https://lmstudio.ai/blog/gpt-oss

Auf einem anderen PC ja. Ich wollte es erst mal über meinen Server direkt runterladen und auf dem Storages speichern.

 

[DaysShadow]

direkt runterladen und auf dem Storages speichern

Dann lad es halt direkt mit git herunter und pack dir das Model was du dann lokal liegen hast da hin wo du es brauchst? Wo ist da jetzt das Problem?

 

[TheLizardator]

Könnten wir eventuell wieder auf mein Ursprungspost zurückkommen?

@oicfar Da habe ich leider bisher unterschiedliche Antworten bekommen auch z.B. Youtuber die genau was für mich wären, bloß die Empfehlungen waren vor allem AI Influencer mit viel Überschriften und wenig Inhalt...

​

 

[3!93D]

ich werfe mal openhpi in den raum: einfach registrieren ist kostenlos einzig für die digitalen zertigikate ist ein kostenpflichtiges ident verfahren mit personalausweis etc notwedig ca. 30€ oder bsisschen mehr.

openhpi-ki-suchen

 

[oicfar]

@oicfar Da habe ich leider bisher unterschiedliche Antworten bekommen auch z.B. Youtuber die genau was für mich wären, bloß die Empfehlungen waren vor allem AI Influencer mit viel Überschriften und wenig Inhalt...

Also du hast LM Studio im Einsatz. Ich nutze es nicht. D.h. du musst schauen, wie du in LM Studio Modelle, die lokal laufen, einbindest.

Das was du oben aufgelistet hast, was du lernen willst, setzt voraus, dass du auch selbst in der Lage bist nach Informationen mit Hilfe von Google oder einer KI zu suchen. Ohne diese Fertigkeit wirst du bei jedem Problemchen hier nachfragen. Und für diese Hilfe reicht auch schon ChatGPT Free.

Ich selbst habe Ollama im Einsatz und nutze es aus selbstgeschriebenen Tools oder über die Open WebUI.

 

[DaysShadow]

Also du hast LM Studio im Einsatz

Der TE hat nicht einmal etwas von LM Studio geschrieben, er schrieb nur von LLMs.

Ich schrieb, dass ich das neue gpt-oss-20b in LM Studio getestet habe, weil er meinte die großen Modelle passten nicht in seine 16GB VRAM.

Vielleicht bissl genauer lesen und richtig im Kontext halten? Oder brauchts dafür auch schon "KI"...?

 

[oicfar]

LMStudio bisschen rumgespielt was so mit meiner Hardware möglich war, bei uns auf der Arbeit das LibreChat mit Zugriff auf untersch. LLMs eingerichtet.

@DaysShadow LMStudio lese ich da.

 

[DaysShadow]

@oicfar Touché. Ich fass mich dann mal an die eigene Nase

 

[Rickmer]

Du könntest auch einfach mal mit diesem Video anfangen und mit seinem extrem einfachen neuronalen Netzwerk rumexperimentieren:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Falls fundermentales Verständnis der Technologie für dich von Interesse ist