Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Lokale KI zur Skript-Erstellung? (Powershell, VBS)
Servus, ich kenne mich 0 aus mit den ganzen KI Modellen die es so gibt, ich nutze aber gerne ChatGPT zur erstellung verschiedenster Powershell Skripte. Jetzt frage ich mich natürlich - gibts da auch gute lokale KI's die das ebenfalls sogut können oder gar besser? Also mit denen man auch Chatten kann um zu erklären, was das Skript wie erledigen soll und anschließend den Feinschliff genau durchzugehen?
und - was wird man dafür an Hardware benötigen?
Also ich kann für lokale KIs die Software LM Studio sehr empfehlen. Darüber kannst du auch dann die Modelle die dich interessieren herunterladen. Du brauchst dann aber ne Grafikkarte mit viel VRAM. Also am besten 16GB+
Qwen3-Coder-480B-A35B-Instruct soll mit Abstand das beste selbsthostbare LLM fürs Coding sein. Aber lokal... Qwen3-Coder-30B-A3B-Instruct, quasi die kleine Variante läuft aber mit etwas Quantisierung sehr gut lokal mit GPUs zwischen 16GB und 32GB (je nach Quantisierung und Kontext-Länge). Wie gut die ältere 1080TI aber ist weiß ich nicht. Ich lese oft 2000er/3000er aufwärts, da eben die GPUs nicht nur schneller geworden sind, sondern auch viele neue Features erhalten haben, welche LLMs teils deutlich beschleunigen.
Ansonsten ist für den Einstieg das von @Toms genannte LM Studio sicher nicht verkehrt.
Mit der 1080 kann man es vergessen. Das Zauberwort heißt RTX und damit geht es langsam ab der 2000er Generation los. Eigentlich sollte es aber besser eine 4060/5060 mit min. 16VRAM sein.
Bleibe weiterhin bei ChatGPT. Hol dir notfalls das Pro Abo (21,99€/Monat), wenn du es nicht hast und mit ChatGPT 5 Thinking bist du aktuell sehr gut dran.
Ich habe eine RTX 4060 TI 16GB da und habe seit Juni 2024 Ollama (läuft auf meinem Haupt-PC) und Open WebUI (läuft auf einem Mini-Server). Ja, man kann es lokal nutzen und abhängig von den Modellen, bekommt hat auch gute Ergebnisse. PowerShell und VBS habe ich aber nicht gemacht.
Aber 98% meiner KI ToDo's mache ich mit ChatGPT Pro. Ergebnisse sind super. Es ist schneller. Und, und, und ...
Nutze auch LM Studio mit meiner ollen GTX 1070, allerdings nur kleine Modelle.
Da gute an LM Studio ist, er schlägt dir zu deiner Hardware passende Modelle vor.
ich habe aktuell eine RTX4080 verbaut, zusammen mit einem Ryzen 9950x und 64GB RAM. Aber ich spiele auch mit dem gedanken, mir so einen StrixHalo framework-Board mit 128GB Ram anzuschaffen - dann könnte ich 96GB für die GPU verwenden.
Aber gehen den diese Modelle ähnlich wie ChatGPT? also dass man mit denen Chatten kann und sowas? Kenne mich mit der ganzen KI sache garnicht aus...
Genau, du kannst dann über eine Software wie LM Studio mit den Modellen chatten. Je nachdem welches Modell du nimmst kannst du zB auch Bilder und Dokumente übergeben.
Ja, LM Studio hat auch eine Server-Funktion.
Damit kannst du z.B. mit anderen Programmen interagieren.
Nutze es in OnlyOffice, MS-Visual Studio Code, Notepad++, und in Firefox.
Brauchst aber die passenden Add-ons für die jeweiligen Programme.
Ähnlich, ja. Aber du wirst nicht die gleiche Qualität und Schnelligkeit erreichen, wie die Online-Dienste mit ihren haushoch überlegenden Systemen. Erwarte da keine Wunder. Ich selber erreiche mit einem Abo mehr. Wie auch oicfar hier.
ich habe aktuell eine RTX4080 verbaut, zusammen mit einem Ryzen 9950x und 64GB RAM. Aber ich spiele auch mit dem gedanken, mir so einen StrixHalo framework-Board mit 128GB Ram anzuschaffen - dann könnte ich 96GB für die GPU verwenden.
Aber gehen den diese Modelle ähnlich wie ChatGPT? also dass man mit denen Chatten kann und sowas? Kenne mich mit der ganzen KI sache garnicht aus...
Wenn man die entsprechenden Tools usw. hat, kann man lokal alles machen.
Erwarte aber nicht, dass es genauso ist, wie bei ChatGPT & Co. Die Online KI's sind auch so gebaut, dass du in die Versuchung kommen sollst um weiter zu machen.
Auch die Ausgaben in den Chat-Tools sind "anders" als das bei den Online KI's der Fall ist. Da wird ja auch die gesamte Infrastruktur drumherum gebaut. Ich selbst habe Open WebUI am Start. Bin mit zufrieden und es bietet viele Möglichkeiten um es zu erweitern. Aber man wird es privat eher nicht machen. Zu einem muss man hier das Know-How haben als auch die nötige Zeit.
Wenn man aber in die Materie einsteigen will, dann sind das alles Tools, die man selbst betreiben sollte.
Ansonsten wie ich schon oben schrieb, nutze die Online KI's.
ich habe aktuell eine RTX4080 verbaut, zusammen mit einem Ryzen 9950x und 64GB RAM. Aber ich spiele auch mit dem gedanken, mir so einen StrixHalo framework-Board mit 128GB Ram anzuschaffen - dann könnte ich 96GB für die GPU verwenden.
StrixHalo ist deutlich schneller als auf der CPU und RAM, aber gerade, wenn das Modell + Kontext den ganzen Speicher nutzt, wirds langsam. Da kann es ggf. effektiver sein eine 16GB/20GB/24GB Karte zu kaufen mit möglichst hoher Speicherbandbreite.
Also die Geschwindigkeit und Möglichkeiten von einem StrixHalo bitte nicht überschätzen. Sag ich als Besitzer eines StrixHalo mit 64GB.
Also ich kann für lokale KIs die Software LM Studio sehr empfehlen. Darüber kannst du auch dann die Modelle die dich interessieren herunterladen. Du brauchst dann aber ne Grafikkarte mit viel VRAM. Also am besten 16GB+
Hmm also das 120B (4-bit, 64 Gbyte gross) läuft auf meinen 8700G mit ~ 15-20 Tokens pro Sec das ist gefühlt ganz "ok" - und die Ergebnisse sind gar nicht mal sooooo schlecht. - denke das kann man auch evtl noch optimieren.
Ich bin für ohne Graka eigentlich ganz positiv überrascht.
Ich hab jetzt eine RTX5090 im System, und habe auch schon LM Studio installiert.
Hätte da aber noch ein paar Fragen:
1. was bedeutet diese Quantisierung?
2. die Kontext-Länge bezeichnet ja, wieviel sich die KI beim aktuellem Chat merken kann, oder? Hab in nem Video gehört, dass es aber nicht gut ist, diese auf Maximum hoch zu drehen, weil es unnormal viel Rechenleistung benötigt? Ist das so? oder belegt es nur SSD oder RAM Speicher? oder gar VRAM? weil warum kostet das mehr rechenleistung - es sind doch nur daten die ich dem Model im chat mitgegeben habe was es für sich speichern soll...Woher weiß ich dann, wiehoch ich das einstellen kann?
3. Kann ich solche herunterladbaren Modelle selber irgendwie weiter trainieren, sodass sich das ding das merkt? z.B. wenn der irgendwo nen Fehler gemacht hat und ich ihn korrigiere - kann man das dann dauerhaft speichern?
4. was bedeuten die ganzen zahlen und Bezeichnungen hinter einem Model? 70b oder 30b steht wohl für die Befehle in Billionen was das ding kann, aber was heißt z.B. A3B, oder Q4, Q8, instruct, oder GGUF?
5. Was ist der unterschied zwischen einem "Thinking Chat" und "non Thinking Chat" model?
und warum gibt es überhaupt so enooorm viele modelle? xD
Ich hab jetzt eine RTX5090 im System, und habe auch schon LM Studio installiert.
Hätte da aber noch ein paar Fragen:
1. was bedeutet diese Quantisierung?
2. die Kontext-Länge bezeichnet ja, wieviel sich die KI beim aktuellem Chat merken kann, oder? Hab in nem Video gehört, dass es aber nicht gut ist, diese auf Maximum hoch zu drehen, weil es unnormal viel Rechenleistung benötigt? Ist das so? oder belegt es nur SSD oder RAM Speicher? oder gar VRAM? weil warum kostet das mehr rechenleistung - es sind doch nur daten die ich dem Model im chat mitgegeben habe was es für sich speichern soll...Woher weiß ich dann, wiehoch ich das einstellen kann?
Mit den Parametern rumspielen. So lernt man alles zu verstehen.
AssassinWarlord schrieb:
3. Kann ich solche herunterladbaren Modelle selber irgendwie weiter trainieren, sodass sich das ding das merkt? z.B. wenn der irgendwo nen Fehler gemacht hat und ich ihn korrigiere - kann man das dann dauerhaft speichern?
Ich schlage vor erst Basics zu lernen und dann kannst du dir die Antwort auch selbst beantworten.
AssassinWarlord schrieb:
4. was bedeuten die ganzen zahlen und Bezeichnungen hinter einem Model? 70b oder 30b steht wohl für die Befehle in Billionen was das ding kann, aber was heißt z.B. A3B, oder Q4, Q8, instruct, oder GGUF?
Für mich ist das Abo die günstigere Variante.