Lokale KI

[Joker_AUT]

Diese Programme gibt es, die dafür benötigte Hardware ist halt momentan sehr sehr teuer...

Was ist das Budget, was du dafür eingeplant hast?
Was ist an Geräten schon vorhanden?
Wie gesagt, bei normalen Office Laptops wird das nichts.

Wenn neu, dann sind wir leicht bei mehreren Tausend Euro für die Hardware

Edit:
Ich habe hier ne 3080 mit 10Gb Vram und 96Gb Ram im Rechner und habe spaßeshalber mal probiert damit lokale KI auszuführen.
Kurzum, es war ein gefrickel und die Leistung des ganzen war nicht besonders (keine Ahnung mehr, was das für ein Modell war, aber schon sehr groß, um den Ram auch auszureizen). Alle paar Sekunden ein Wort der Antwort, als Spielerei ganz lustig und lehrreich, produktiv meiner Ansicht nach nicht einsetzbar.

Google mal, was so KI Rechner für Zuhause kosten, vielleicht ist dann das ganze hier eh direkt erledigt

Edit 2: Mir fällt gerade ein, dass das bei mir auch wirklich nur ein LLM Modell war, also nichts mit Bilder analysieren, generieren oder ähnliches. Nur mit der lokalen KI schreiben, also auch nicht dein Anwendungsfall. Wie du siehst kommt da ganz schön was zusammen, ich kann dir nur empfehlen die Idee zu begraben. Oder viel Geld dafür in die Hand zu nehmen...

 

[AndreasF1975]

Ich verstehe natürlich nicht alle Diagnosen die da drauf stehen, da ich kein Mediziner bin.
Da hilft mir die KI, das eins Deutsche zu Übersezten.

Dafür solltest Du eigentlich von der Versicherung eine Software haben. So ganz ohne KI.

 

[samuelclemens]

Was man vielleicht lokal ausprobieren könnte per KI Dokumente zu anonymisieren damit man sie dann einer online KI zur Analyse überlassen kann.🤔
Aber auch hier würde man teure Hardware brauchen.
Das Hauptproblem sehe ich hier das es sich um Fachübergreifendes Wissen handelt das abgefragt werden muss.
Das ist keine stärke von eingedampften lokalen Modellen.

Vielleicht kann man statt schwärzen das Dokument auch lokal zusammenfassen und auf Wesentliche ohne persönlichen Bezug zusammenfassen lassen. Quasi sowas wie ein Prompt für ein theoretisches Szenario automatisch erstellen lassen.
Damit kann man dann wieder ne online KI füttern und recherchieren lassen sammt Quellnachweise.
Denn hat man ne Antwort, muss diese natürlich immer Geprüft und belegt werden wenn manit Kunden zu tun hat.

 

[Joker_AUT]

@samuelclemens wäre evtl. eine Option, wenn das rechtlich Ok ist. Das sollte man aber von nem Fachmann abklären lassen. Das mit den sensiblen Kundendaten ist in der EU halt echt nicht einfach, wobei das meiner Ansicht nach eine sehr gute Sache ist.

 

[samuelclemens]

@Joker_AUT Das mit dem schwärzen halte ich dennoch datenschutztechnisch trotzdem bedenklich.
Wenn mir die lokale KI aber hilft aus einem wust an Dokumenten ein theoretisches Szenario zu konstruieren womit ich dann ne online KI befragen kann...
Arbeit ist es trotzdem. So oder so. Und ganz nebenbei lernt man bei jedem neuen Szenario versehentlich einiges dazu!😉

 

[AndreasF1975]

Ich frage mich gerade was Versicherungsmakler so bisher ohne Ki gemacht haben. Wüsste ich es nicht besser täte ich vermuten das sie eine branchenspezifische bzw versicherungtypische Software nutzen. Ja auch um Diagnosen in Leistungen zu Übersetzen.
Verstehe nicht warum man da nun eine KI benötigt. Insbesondere sollte es gerade in diesem Bereich dem Arbeitgeber überlassen sein mit welchen Arbeitsmitteln man arbeitet. Er hat diese ja auch zu stellen.

 

[samuelclemens]

Das würd mich jetzt doch interessieren ....
Welches Ollama Modell würdet ihr bei 16GB Vram empfehlen um ein PDF mit Bildinhalt auf persönliche Informationen zu analysieren und anschließend eine bereinigte Zusammenfassung zu erstellen?

Edit:
Natürlich ist mir klar dass es nicht in dem Umfang und Geschwindigkeit geht wie ein ChatGpt.
Es geht darum es mal prinzipiell zu versuchen ob es überhaupt mit einem passenden Modell bei meiner Hardware lokal klappen könnte in erträglicher Geschwindigkeit.

 

[TorenAltair]

Mit solchen (V)RAM-Mengen: Gar nichts.

 

[ameisenbaer]

@ameisenbaer Art. 22 DSVGO sagt aus, dass keine "automatisierte Entscheidung" erfolgen darf. Hier geht es um die Auswertung einer bereits getroffenen Entscheidung eines anderen Arztes und nicht um eine erneute Diagnose durch die KI.

Na, es folgt eine automatische Entscheidung: GebrochenesBein=True oder GebrochenesBein=False

Ergänzung (Dienstag um 21:49)

Das würd mich jetzt doch interessieren ....
Welches Ollama Modell würdet ihr bei 16GB Vram empfehlen um ein PDF mit Bildinhalt auf persönliche Informationen zu analysieren und anschließend eine bereinigte Zusammenfassung zu erstellen?

Mit Bilder hab ich keine Erfahrung. Funktionieren tut grundsätzlich Gemma 4 für den Fall mit 16 GB VRAM.

Meinen Demonstrator zu dem Thema hab ich allerdings mit Gemini 2.5 Flash getestet. Bei Gemma 4 hab ich nur die generelle Lauffähigkeit getestet. Die Qualität im Kurztest war aber erstmal augenscheinlich vergleichbar.

 

[kachiri]

Na, es folgt eine automatische Entscheidung: GebrochenesBein=True oder GebrochenesBein=False

Das ist keine automatische Entscheidung. Die Entscheidung hat der Arzt getroffen. Es ist eine reine Datenübertragung...

Nochmal Art. 22 DSVGO redet von automatisierten Entscheidungen anhand vorgegebener Werte. Um mal ein Beispiel zu nennen: Eine Behörde füttert eine KI mit geltendem Tempolimit, gefahrene Geschwindigkeit und Blitzerfoto und die KI bestimmt das "Strafmaß" und erlässt automatisch den (ohne menschliche Kontrolle) den Bescheid... DAS wäre verboten.

 

[Stagefire85]

Ich frage mich gerade was Versicherungsmakler so bisher ohne Ki gemacht haben. Wüsste ich es nicht besser täte ich vermuten das sie eine branchenspezifische bzw versicherungtypische Software nutzen. Ja auch um Diagnosen in Leistungen zu Übersetzen.
Verstehe nicht warum man da nun eine KI benötigt. Insbesondere sollte es gerade in diesem Bereich dem Arbeitgeber überlassen sein mit welchen Arbeitsmitteln man arbeitet. Er hat diese ja auch zu stellen.

Wir haben Papieranträge mit der Hand ausgefüllt und dann per Fax übermittelt. 😉

Um beim Beispiel mit dem Unfall zu bleiben.
Es ist nicht meine Aufgabe zu beurteilen, welche genauen Verletzungen der Kunde hat.
Das ist Aufgabe der Schadenabteilung. Dort sitzen die Experten, die auch eine entsprechende medizinische Kompetenz haben.
Trotzdem ist es für mich interessant, gleich mal eine Vorabinfo zu bekommen.
Wenn z.B. klar ist, dass es kein Knochenbruch ist, kann ich dem Kunden das schon mal mitteilen, dass er vermutlich keine Leistung erhalten wird.

Zudem ist das Ganze auch nur ein Beispiel, für was ich es nutzen würde.
Gibt natürlich noch viele andere Dinge, die interessant sind dafür.

 

[ameisenbaer]

Das ist keine automatische Entscheidung. Die Entscheidung hat der Arzt getroffen.

Der Arzt hat auch nur "nachgeschaut" z.B. auf dem Röntgenbild und dasdann in schriftliche Form gefasst.

Es ist eine reine Datenübertragung...

Die Daten werden von der KI doch interpretiert. Und wenn die KI einen Fehler macht und der Bearbeiter nicht Kompetenz hat den Fehler zu merken, dann hätte die KI fehlerhaft entschieden ohne dass eine menschliche Kontrolle effektiv stattgefunden hat. Und das wäre das Problem, welches der EU-Gesetzgeber verhindert wollte.

Dazu
"Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling
für die Zwecke der Verordnung 2016/679" S.22:

" Um für eine direkte Einbeziehung einer Person zu sorgen, muss der Verantwortliche gewährleisten,
dass es sich nicht nur um eine symbolische Geste handelt, sondern dass die Entscheidung einer echten
Aufsicht unterliegt. Daher sollte die Entscheidung von einer Person getroffen werden, die zur
Änderung derselben befugt und befähigt ist. Bei der entsprechenden Analyse sollten sämtliche
maßgeblichen Daten berücksichtigt werden."

https://datenschutz.hessen.de/sites/datenschutz.hessen.de/files/2022-11/wp251rev01_de.pdf

Trotzdem ist es für mich interessant, gleich mal eine Vorabinfo zu bekommen.

Als reine Vorabinformation wäre Artikel 22 nicht betroffen.

 

[schwimmcoder]

Bliebe noch der Weg zu einer KI im Internet, da bin ich aber raus mit Ratschlägen, das wäre mir mit so sensiblen Kundendaten viel zu heikel.

Da kann ich mich nur anschließen, es ist, finde ich, nochmal was ganz anderes, eigene Daten (Quellcode, Finanzzahlen) in die Cloud KI zu jagen oder privater Daten deiner Kunden.

Da bleibt nur lokale KI, da wirds teuer und braucht bisschen Know-How zum Aufsetzen und viel Geld wenn das ansatzweise flüssig laufen soll. Ansonsten bleiben lassen.

 

[TorenAltair]

Trotzdem ist es für mich interessant, gleich mal eine Vorabinfo zu bekommen.
Wenn z.B. klar ist, dass es kein Knochenbruch ist, kann ich dem Kunden das schon mal mitteilen, dass er vermutlich keine Leistung erhalten wird.

Wenn es um so eine Abschätzung für Kunden geht, klingt das schon besser umsetzbar. Wäre die Frage nach dem Budget sowie müsste man Modelle finden, die sowas vernünftig beherrschen. Ich vermute, die 08-15-Standardmodelle scheitern eher bei so Berwertungen.

 

[samuelclemens]

Wenn z.B. klar ist, dass es kein Knochenbruch ist, kann ich dem Kunden das schon mal mitteilen, dass er vermutlich keine Leistung erhalten wird.

Ich würd erstmal gar nix dazu sagen wenn es nicht meine Aufgabe ist dies zu tun. Selbst wenn man ganz deutlich nur eine unverbindliche Empfehlung oder "meine Meinung" dazu sagt gibt es immer welche die sich hinterher auf diese Aussage berufen möchten oder dies dann als feste Zu/Absage bewerten.
"Aber ihr Kollege hat mir doch Versichert das ich den Schaden ersetzt bekomme...".

 

[TorenAltair]

Naja, wenn der TE selbständig ist, ist das eher schon eine Sache, die er machen "muss". Weil man sich ja einen persönlichen Ansprechpartner für Versicherungen sucht, den man Sachen fragen kann; sonst könnte man auch einfach was im Internet bestellen.

 

[samuelclemens]

@TorenAltair Dann sollte er sich entsprechend fortbilden, Qualifikationen holen, seinen eigenen Wert steigern. So dass er auch entsprechend fachlich gewappnet ist bei Querulanten die meinen es besser ergoogeln zu können.
Diese ganze KI Geschichte ist in diesem Fall nur dann was wert wenn es dazu dient seinen eigenen internen Workflow zu verbessern, beschleunigen um vielleicht besser und schneller arbeiten zu können.
Man muss sich einfach die Frage stellen: Hätte ich es auch ohne KI geschafft? Wenn auch mit mehr Arbeitszeit.

 

[TeeKayEV]

Warum hier pauschal gesagt wird, dass man von lokaler KI nur abraten könne, verstehe ich nicht. Was heißt denn teuer und brauchbar? Wenn die Daten praktisch in Echtzeit analysiert werden müssen, wird es sicher teuer. Wenn morgens 50l gescannte Arztberichte ins System gekippt werden und mittags die Analyse fertig sein darf, dann schafft das auch eine Ryzen 8600G mit iGPU und ausreichend RAM.

Vermutlich braucht man das LLM auch nur zum Generieren eines schön lesbaren Berichts, nicht für das Verstehen des Arztbriefes. Wenn da ICD10-Codierungen drinstehen, dann dürfte ein Großteil des "Verständnisses" aus einem billigen Abgleich mit einer Datenbank der ICD10-Codes bestehen. Einmalig holt man sich dann noch Wikipedia-Beschreibungen der Krankheiten dazu. Das LLM würde ich benutzen, um die Wikipedia-Beiträge einmalig zu kürzen und zusammen mit den ICD10-Codes in eine lokale Datenbank zu schreiben. Da holt sich das LLM die Daten, die es dann zu einem leicht lesbaren Bericht zusammenstellt.

Was nicht gut funktionieren wird: LM Studio und irgendein LLM runterladen und dann ohne irgendwelche Vorüberlegungen einen Arztbrief reinkopieren. Man muss schon ein wenig Zeit investieren, um einen vernünftigen Workflow aufzusetzen.

Meine Empfehlung: Hol dir das 15 Euro Abo von Claude und lass Claude einmalig den lokal laufenden Workflow erstellen. Dafür braucht Claude keine echten Kundendaten.

 

[TorenAltair]

Der TE schrieb, dass Arztsachen nur ein Beispiel waren. Es geht so wie das da steht um ganz allgemeine Versicherungsdinge. Da ist es nicht mit ICD11-Codes (10 ist EOL) abzugleichen getan.

 

[TeeKayEV]

Dann wird er für jede Schadensart einen eigenen Workflow bauen müssen. Aufwendiger, aber nicht per se unmöglich oder unbrauchbar. Mein Tipp bliebe beim 15 Euro Claude Abo und einem ersten Workflow, den er sich damit bauen lässt. Wenn das in der Praxis gut läuft, dann kommt der nächste dran.