Lokale KI

[Stagefire85]

@TorenAltair Dann sollte er sich entsprechend fortbilden, Qualifikationen holen, seinen eigenen Wert steigern.

Das mit dem Unfall war nur ein Beispiel.

Es geht dann weiter mit Heil- und Kostenplänen für die Zahnzusatzversicherung.
Da ist es auch sehr interessant, wenn ich selber schon mal einen Vorab Check machen lassen kannn von der KI, ob der so passt, oder ob Probleme zu erwarten sind.

Dann bei einem Autounfall Anhand Fotos gleich mal die Schadenhöhe und den Wert vom Auto schätzen lassen. Kann die KI nämlich erstaunlich präzise.
Häuser für eine Baufinanzierung vom Wert her bewerten lassen, ist auch etwas was die KI super machen kann.

Dann werd ich das Thema KI mal lassen und mich entsprechend fortbilden.
Was brauche ich alles?
Medezinstudium.
Für die Heil- und Kostenpläne Zahn könnte eine Ausbildung als zahnmedezinischer Fachmann reichen?
Kfz- und Immobiliengutachter wäre dann wohl nicht schlecht.

Mit was würdest du anfangen?

 

[TeeKayEV]

Ok, das wird dann langsam wirklich schwierig. Nicht unmöglich, aber nichts, was mal eben an einem Nachmittag getan wäre. Die Hardwareanforderungen steigen auch. Allerdings ist das schwierig unabhängig davon, ob das lokal oder in der Cloud laufen soll. Du kannst nicht einfach bei Claude oder ChatGPT Fotos reinkippen und dann denken, dass zuverlässig gute Gutachten herauskommen. Hast du das mal richtig validiert?

Ich würde immer noch mit einem Claude 15 Euro anfangen und den ICD11-Agenten bauen lassen. Und mir morgen eine DGX Spark oder AI Ryzen Max mit min. 64 GB besorgen. Alternativ einen Apple Mx Max (muss nicht der neuste sein - ich benutz einen M1 Max) mit wenigstens 64 GB RAM - denn sowas in der Leistungsklasse wirst du brauchen, wenn du am Ende all deine Aufgaben damit erledigen lassen willst.

 

[Stagefire85]

Du kannst nicht einfach bei Claude oder ChatGPT Fotos reinkippen und dann denken, dass zuverlässig gute Gutachten herauskommen. Hast du das mal richtig validiert?

Muss ich wirklich jede einzelne Nutzungsart die in meinem Beruf Sinn für mich ergibt, erläutern, damit ihr mir glaubt, dass die Nutzung von KI für meinen Beruf sinnvoll ist? Was tut das zu Sache?

Aber ja. Ich kann es dir gerne erklären, was mir die Vorabinfo mit dem Schaden schon mal bringt.

Im Kasko Bereich geht es oft darum, ob der Schaden noch zu reparieren ist oder nicht.
Dazu braucht man den Wiederbeschaffungswert und die Schadenhöhe.

Wenn die KI sagt, das Fahrzeug hat einen WBW von 5.000 € und auch die Schadenhöhe wird vermutlich 4.500 € sein, dann weiß ich, dass ich den Schaden nicht zur Reparatur freigeben kann, sondern wir brauchen erst ein Gutachten.
Bei einem Schaden mit Gutachter verzögert sich der Zeitraum bis das Fahrzeug repariert ist und der Kunde möchte vielleicht einen Leihwagen haben.
Den kann ich ihm dann sofort organisieren.

Früher hätte ich den Schaden an die Schadenabteilung geschickt und erst am nächsten Tag die Info bekommen, dass ein Gutachter kommen wird.

Dank KI habe ich aber vorab schon eine erstaunlich gute Vorabinfo, wie hoch der Schaden sein wird.
Auch sucht die KI von selber den Wiederbeschaffungswert vom Auto im Netz und ich muss das nicht von Hand machen.

 

[TorenAltair]

Hab mal die Modellseiten quergeschaut. Es gibt auch freie "Versicherungs-/Schadensarten"-Modelle für LLMs. Bräuchte man dann eben noch ein System mit ausreichend Speicher.

 

[AndreasF1975]

Was brauche ich alles?
Medezinstudium.
Für die Heil- und Kostenpläne Zahn könnte eine Ausbildung als zahnmedezinischer Fachmann reichen?
Kfz- und Immobiliengutachter wäre dann wohl nicht schlecht.

Mit was würdest du anfangen?

Ja und genau bei solchen Kunden wäre ich vorsichtig mit Vorab Aussagen wenn ich keine Ahnung habe.
Jede Versicherung bietet für seine Makler Schulungen an. Für das auswerten von ICD Kodierungen. In der Regel wird einem bei solchen Schulungen auch die entsprechende Software mitgegeben.
Nun wird von einem Makler auch nicht erwartet, dass er alles kann. Es spricht nichts dagegen alles anzubieten aber einige Bereiche einen anderen Mitarbeiter zu schicken oder mitzunehmen der sich zum Beispiel mit Immobilien auskennt. Wenn man das unbedingt möchte so läßt man sich schulen.
Wer glaubt, dass so eine Schulung an einem Vormittag gemacht ist ist da falsch gewickelt.

Ab und an hilft es auch einfach mit dem Kunden zu sprechen. Der weiß in der Regel ob das Bein gebrochen ist oder nicht. Der kurze Anruf in der Schadensabteilung ist für den Makler der am Kunden arbeitet selber kein Beinbruch.

So nun sagt die KI Dir einen falschen WBW und Du organisierst was auch immer. Die Schadensabteilung gibt aber am Folgetag den Auftrag frei. Keine Verzögerung. Ja der Kunde will auch ohne Verzögerung einen Leihwagen weil die Reperatur ja auch ein paar Tage dauert.
Was ist aber wenn die KI Dir eine Vorab Information gibt und Menschen welche entscheiden entscheiden anders als die Ki es vorschlägt? Da entstehen kosten die jemand bezahlen muss.

Btw die KI wird auch in dieser Branche sicher einiges vereinfachen bzw beschleunigen. Dennoch muss derjenige der diese nutzt Ahnung davon haben und die Aussage einordnen können.
Dafür braucht es eigenes Wissen, ja kein Medizinstudium, und natürlich Erfahrung.

Eigeninitiative ist toll. Aber als Angestellter sollte man auf die Arbeitsmittel des Arbeitgebers zurück greifen. Sieht diese auf Deiner Ebene noch keine KI sondern Software vor ist diese zu nutzen.
Ansonsten stellt sich auch die Frage nach der Hartware gar nicht. Du hättest ein entsprechendes Laptop mit einer entsprechend angelernten KI bei Dir stehen.

 

[wahli]

Es gibt viele Dinge in meinem Beruf die ich nicht weiß.

Genau deshalb würde der Einsatz von KI ja Sinn machen.

Die KI soll nur unterstützen und nicht dein Wissen ersetzen/ergänzen.
Deine Daten sind "strictly confidential". Ich frage mich, warum du überhaupt auf die Idee kommst, mit den Daten zu "spielen". Die Software müsste extrem gut abgesichert sein und du darfst mit Sicherheit nichts daran ändern/installieren/... Wenn doch, ist das eine Lücke im System.

 

[Elsativa]

Installiere nichts ungefragt auf den Arbeitsrechner wenn du mit Firmensensiblen Daten hantierst. Egal ob es irgendwas mit KI ist oder sonstwas. Software wird immer in Absprache vom Chef bzw der IT Abteilung installiert.
Selbstständig Software zu installieren kann den Job kosten....was auch richtig ist.

 

[samuelclemens]

Nochmal, es ist lokal nicht nur eine Frage der Geschwindigkeit.
Simpel ausgedrückt werden lokale Modelle vorher "geschrumpft" von der größe her damit sie auf eng begrenzter Hardware laufen.
Ohne es lang auszuführen.
Beim kreativen schreiben ist es mir lokal oft nicht einmal gelungen korrekt die Namen oder Figurbeschreibungen der 3 Fragezeichen aufsagen zu lassen.
Man benötigt je nach Fachgebiet ein ganz gezieltes Feintuning.
Ich weiß allerdings nicht ob das bei llms so einfach geht wie bei Bildgeneratoren mit LoRas und dergleichen.

 

[TeeKayEV]

Muss ich wirklich jede einzelne Nutzungsart die in meinem Beruf Sinn für mich ergibt, erläutern, damit ihr mir glaubt, dass die Nutzung von KI für meinen Beruf sinnvoll ist? Was tut das zu Sache?

Aber ja. Ich kann es dir gerne erklären, was mir die Vorabinfo mit dem Schaden schon mal bringt.

Du hast nicht verstanden, worum es in meinem Beitrag ging. Viel Erfolg.

Ergänzung (Mittwoch um 08:37)

Man benötigt je nach Fachgebiet ein ganz gezieltes Feintuning.

Das gilt gleichermaßen für ChatGPT und Co. Aber den dahingehenden Hinweis hat er nicht verstanden.

 

[lun4ticx]

Öhm ... evtl ist ein Forum der falsche Ansprechpartner für deine Fragestellung?

Dafür gibts es Landesdatenschutzbeauftragte bzw. Anwälte die dich in Richtung Datenschutz beraten kannst.

Im Falle eines Knochenbruchs bist du bei Artikel9-Daten in der DSGVO die aktuell entsprechend ein höheres Schutzniveau besitzen. Sowas durch eine lokale KI laufen zu lassen, die von wem aufgesetzt ist, der nicht unbedingt das nötige IT-Verständnis mitbringt (zwecks Absicherung etc.) wird dann halt teuer.

 

[Gohst]

TL;DR: man kann Stand heute leistungsfähige LLM auf bezahlbarer Hardware (<4000€) ausführen und gute Ergebnisse erzielen. Solche "open weights" Modelle wie z.B Qwen3.8 Flash Next laufen dank Tools wie Strata auf guten Gaming PCs recht schnell und liefern Ergebnisse die in den Top 10 aller KI Modelle mithalten.

Beim rein lokalen ausführen von KI Anwendungen ist die Situation puncto Datenschutz entspannter - was man dann mit den Daten macht ist sicher ein Knackpunkt. KI kann sich irren und Unfug machen - egal ob lokal oder cloud.

Wenn ich viele der Posts so lese, könnte ich zum Schluss kommen, dass viele Leute nicht auf dem aktuellen Stand der Entwicklung sind.

Das ist kein Vorwurf, gefühlt ändert sich rund um das Thema "KI" die Welt alle 14 Tage komplett.
Da ist es echt schwer "am Ball" zu bleiben.

Relativ starke KI Modelle, also solche mit vielen Parameter kann man schon seit mehr wie einem Jahr Lokal mit brauchbarer Geschwindigkeit ausführen. Dazu sind halt >64 GB VRAM notwendig.

Ein Lösungsansatz im bezahlbaren Segment wären SOC Basierte Systeme mit unified Memory.
Dazu passt Hardware wie

• AMD Strix Halo (am Markt seit Q1 2025)
• Mac Studio ab M1/M3 Max oder Ultra CPU
• Nvidia DGX Spark

All diese Systeme können längere Kontexte verarbeiten und brauchbare KI Modelle ausführen die echt gute Ergebnisse liefern können (bis über 125 Milliarden Parameter).

Dabei leistet solche Hardware meist "Geschwindigkeiten" die der 2-3 Fachen Lesegeschwindigkeit des Menschen entsprechen (~15-30 Token/s).


Ein weiterer Durchbruch kam vor wenigen Monaten mit Qwen3.8.
Das Modell ist sehr intelligent, schnell und braucht relativ wenig speicher".

In seiner grössten Version "Flash-Next" ranigert es unter den "Top 10" aller KI Modelle.
Dafür braucht es keinen Supercomputer und begnügt sich mit ~96GB VRAM (bei relativ geringer Quantisierung - d.H guter Genauigkeit).

Quelle: https://artificialanalysis.ai/models/qwen3-8-flash-next


Hier der Wichtige Fakt: normal braucht das Modell auch eine Grafikkarte wie die RTX Pro 6000 - die kostet aktuell fast so viel wie ein Kleinwagen.

-> Für "ich möchte es lokal laufen lassen und nicht ein Vermögen ausgeben" eigentlich kein Weg.

ABER
mit Tools wie Strata kann so ein Modell auf einem guten Gaming PC dennoch sehr performant ausgeführt werden. Dazu werden nur die notwenigen Teile (Experts) in den VRAM der Grafikkarte geladen. So reichen bereits 12-16 GB VRAM aus.

Der Rest bleibt im RAM des PC - hier sind 48 - 64 GB notwendig.

Ein guter PC mit RTX 5070 und genug Ram erreicht hier ca. die 2-3x Leistung von einem SoC System mit AMD Strix Halo - bei selben oder geringeren Anschaffungskosten.

Für Experimente oder Single-User Szenarien dürfte das gut funktionieren.

 

[Stagefire85]

Ab und an hilft es auch einfach mit dem Kunden zu sprechen. Der weiß in der Regel ob das Bein gebrochen ist oder nicht.

Beinbruch ist ein gutes Beispiel.
Bei einer dislozierte Tibiaschaftspiralfraktur gibt es z.B. eine Leistung bereits bei Diagnosestellung.
Bei einer Tibiaschaftfissur leider nicht.
Was haben sie denn genau. 😉

So nun sagt die KI Dir einen falschen WBW und Du organisierst was auch immer. Die Schadensabteilung gibt aber am Folgetag den Auftrag frei. Keine Verzögerung. Ja der Kunde will auch ohne Verzögerung einen Leihwagen weil die Reperatur ja auch ein paar Tage dauert.

Erstaunlich, wie gut du weißt, was die Kunden so wollen.
Machst du den Beruf auch?

Bei mir ist es eigentlich immer so, dass die Leute einen Werkstattersatzwagen nehmen, wenn die Reparatur sofort beginnen kann und nur dann einen Leihwagen, wenn sie wegen Gutachter erst später Kontakt mit der Werkstatt haben.
Beim WBW gehts grundsätzlich nur um die Abwägung ob es ein Totalschaden ist oder nicht.
Nur wenn es ein klarer Fall ist, dann gebe ich den Schaden frei und reguliere den selber.

 

[samuelclemens]

Das gilt gleichermaßen für ChatGPT und Co.

Stimmt, aber die wirken schon aufgrund der enormen Ressourcen die dranhängen einfach nach außen hin interdisziplinär versiert.
Wie gesagt, das hängt davon ab was man alles für die Aufgabenstellung gleichzeitig benötigt.
Muss meine lokale KI zb nur Fanfictions von den drei Fragezeichen schreiben können oder muss es jede bekannte Buchserie oder Franchise mitsammt allen Wordbuildings, Charakteren usw in und auswendig können wenn ich zb ein Multicrossover machen möchte?

Man kann natürlich wenn es um reines Fachwissen geht und diese immer jeweils getrennt behandelt werden verschiedene lokale KIs damit füttern.

Dazu werden nur die notwenigen Teile (Experts) in den VRAM der Grafikkarte geladen. So reichen bereits 12-16 GB VRAM aus.

Der Rest bleibt im RAM des PC - hier sind 48 - 64 GB notwendig.

Ein guter PC mit RTX 5070

Hätt ich mit meinen 32GB DDR4 und 16 GB VRam in der 5070TI trotzdem ne Chance sowas am laufen zu bringen?

 

[TeeKayEV]

Stimmt, aber die wirken schon aufgrund der enormen Ressourcen die dranhängen einfach nach außen hin interdisziplinär versiert.

Hätt ich mit meinen 32GB DDR4 und 16 GB VRam in der 5070TI trotzdem ne Chance sowas am laufen zu bringen?

Das Problem ist, dass die großen Modelle nur so wirken. Wenn man das dann mal hart am eigenen Fachgebiet validiert, stellt man schnell fest, dass die Ergebnisse dann nicht so zuverlässig sind, wie man sie gern hätte. Mit besserem Kontext und Prompting ist das zu lösen. Das gilt dann aber auch für lokale Modelle. Claude schlägt mir bei manchen Tasks sogar explizit vor, dass kleine, spezialisierte Modelle besser geeignet wären.

Kauf dir 32 GB oder besser 64 GB dazu. Mit 32 GB kannst du nur den Coder-Teil des Modells betreiben, bei dem die Hälfte der Experten entfernt wurde.

 

[Gohst]

@samuelclemens Ja, entweder in kleinerer Quantisierung (KI ist weniger genau) oder du verwendest das kleinere Qwen Coder welches in Disziplinen die nichts mit Coding zu tun haben weniger schlau ist.

Wenn der Ram nicht reicht, wird auf die HDD ausgelager was extrem viel Leistung kostet.

Eu würdest sehr viel gewinnen wenn du 64GB Ram hättest.

 

[samuelclemens]

Brauch es halt eben nicht für Coding. Eher kreatives Schreiben.
Mehr RAM ist vorerst nicht drinn. Ich könnt höchstens noch 3 ältere DDR4 Riegel anderen Typs verwursten. Käme aber dennoch nicht auf 64.
Die Modelle hab ich alle auf SSD laufen intern. HDD wär also kein Thema.
Geschwindigkeit könnte man mit Abstrichen hinnehmen wenn man weiss das was gescheites rauskommt. Soll ja nicht businesstauglich sein bei mir.

 

[Gohst]

DDR4 schafft im Dual hCannel auf deinem Ryzen System ca. 52GB/s.
Eine sehr schnelle SSD ist um Faktor 5-10 langsamer.

Das kann im schlechtesten Fall auch die Gesamtleistung in ähnlichem Ausmass beeinträchtigen.

Für kreatives schreiben würde ich an deiner Stelle auch nicht so "schlaue" Modelle wie Qwen3.8 verwenden.

Da gibt es sicher passenderes. Ich finde z.B Gemma4 ganz ok. Kannst ja gezielt nach passenden Modellen suchen. Da ist Strate und Qwen3.8 vielleicht nicht der beste Weg?

Ich würde an deiner Stelle halt durchprobieren.

1. Schritt: Qwen mit starker Quantisierung (z.B 3 oder 2 Bit - Q2, IQ3 usw.) in Strata durchprobieren
2. Andere, kleinere LLMs durchprobieren (Modelle unter 27B)
3. Schauen wie Mixture of Experts Modelle (MoE) für deinen Zweck performen

Hohe Quantisierung führt dazu, ein LLM mehr Mist erzählt.
Modelle mit geringer Parameter Anzahl wissen weniger wie grosse Modelle - können unter Umständen keine Antwort auf diverse Dinge liefern.

Bei langen Texten / Chats, denk an die Kontext Grösse.
Wenn da ein Limit erreicht ist (Speicher voll) dann stopp es und fertig lustig ist.

 

[TeeKayEV]

Modelle mit geringer Parameter Anzahl wissen weniger wie grosse Modelle - können unter Umständen keine Antwort auf diverse Dinge liefern.

Was sich dadurch umgehen lässt, dass man dem Modell Zugriff aufs Internet gewährt. Der Abruf von Webseiten füllt dafür dann wieder das Kontextfenster schneller, insbesondere, wenn sich das Modell den kompletten HTML-Quelltext reinzieht. Man kann die abgerufenen Seiten auch vorab bereinigen, damit weniger nutzlose Daten in das Kontextfenster fließen.

Lokale LLMs, insbesondere auf günstiger Hardware, sind kein Selbstläufer und man muss viel herumexperimentieren. Aber mit etwas Aufwand kann man zufriedenstellende Ergebnisse bekommen, ohne dass Daten an US-Cloudanbieter abfließen.

 

[valovalo]

Wenn ich mir da also was lokal auf meinem PC installiere, würde mir das für solche Fälle helfen können?

Moin,

man kann eine Menge mit lokaler KI machen. Für ein professionelles Setting musst du aber investieren. In der Regel sollte man eine dedizierte Hardware nutzen – also die KI nicht auf deinem Rechner betreiben, sondern dafür einen separaten Rechner verwenden. Wenn dann ein Agent mit ins Spiel kommt, musst du auch gucken, dass der Rechner mit dem Agenten besonders gesichert ist (z. B. in einem extra isolierten Netzwerk). Wenn das soweit für dich okay ist, kommt der 2. Schritt.

Was hast du für ein Budget zur Verfügung? Los geht es bei der Hardware bei den aktuellen Preisen bei etwa 1500 bis 2000 Euro. Und dann laufen kleine Modelle bis etwa 14B bei 16GB vRAM flüssig. Größere Modelle wie 27B können zwar auch laufen, aber nicht mehr flüssig. Will man mehr, muss man deutlich tiefer in die Tasche greifen, da RAM extrem teuer geworden ist.

Wenn die technische Seite steht, darfst du allerdings auch Dinge wie die DSGVO und den KI-Act nicht aus den Augen lassen: Was darfst du wie verarbeiten und wie dokumentiert man das lückenlos? Und bei medizinischen Sachen muss am Ende sowieso immer noch ein Mensch drüberschauen, weil KIs eben auch halluzinieren.

Grüße
Olav