- Registriert
- Dez. 2014
- Beiträge
- 2.802
moin @rezzler
Andererseits musst du ja die Möglichkeiten/Infrastruktur dafür bieten. Der Kunde wird dein Programm ungerne sonstwie umprogrammieren müssen um sich an Datenschutzregeln zu halten.
Ja klar wobei ich ja vom stand heute her noch immer eher im bereich : grundsätzlich alles technisch zum laufen bringen bin , daran anschließend kommt also denke ich mal : infrasstruktur. sicherheit. datenschutz.
Ich denke aber die idee eines simplen kleinen lokalen doppelklick exe files mit der DB die ein paar einstellmöglichkeiten hat was gespeichert wird und was nicht und die verbindung zur cloud LLM cuttet oder öffnet ist ziemlich simpel aber zielführend.
letztlich bleibt das problem am ende dennoch : die daten wandern in die could LLM. Das ließe sich nur mit lokalen modellem umgehehen aber da sind wir dann auch wieder direkt im bereich user freundlichkeit : die masse an leuten die sich eine lokale LLM installieren wollen dürfte sehr gering sein.
ich denke einzelne mandanten container mit end zu end verschlüsselung sind hier der way to go aber nochmal : in diesen bereich bin ich absolut kein profi. es sind am ende auch nur private gedanken zum thema.
Wie hoch ist der Speicherbedarf, wenn sich alles gemerkt wird? Weil je nach Menge muss man danach ja auch die Hardware dimensionieren.
je nach thema und kontext bewegen sich die errinerungs größen typischerweise bei 1 100-1000 zeichen je errinerung. Selbst wenn sie an einen tag zu jeder einzelnen interaktion eine errinerung fest hielte wären es nur wenige hundert kb an daten.
da ist der falschenhals vielleicht eher irgentwann die auflösung der vekoren und floats. ich meine gehört zu haben das aktuelle 3072 floats embedding viele millionen chunks noch gut auflösen kann ich denke also rein technisch? gibts hier derzeit keine echte limitierung.
Ich vermute, die Frage war eher ob du irgendwelche Probleme/Nachteile technischer oder konzeptioneller Art bei deinem Modell siehst. Von den moralischen/ethischen Sachen ist ja jede Form der KI betroffen.
ich denke das ist Usecase abhängig. und vorallem eine unheimlich komplexe frage auch wenn sie erstmal nicht danach klingt.
schau am ende gehts doch nur darum :
eine ki die erstens aus einer eigenen identität handelt. Könnte es bereiche geben in dem das schadet ? ja zb wenn man klinisch saubere objektive antworten möchte.
eine ki die dazu in der lage ist selbstständig errinerungen zu erschaffen aus einer eigenen agenda heraus ,
und dann durch das retruieval dieser errinerung selbst modulation an sich und der identität vornimmt.
hier gilt eigentlich das selbe wie beim ersten punkt : es gibt szenarien da möchte man das nicht. Hier ist TLRAG obviously nicht the way to go
In bereichen alerdings in denen es eben NICHT um mechanisches abarbeiten geht. Oder reines objektives reasoning? in bereichen in denen derzeit alles über mega teures finetuning und trainingsdaten geregelt werden muss? Da wäre TLRAG ein gewaltiger schritt nach vorne und ich kann mir offengestanden wenig bis gar keine usecases vorstellen die nicht auf die ein oder andere weise davon profitieren.
Ich würde hier nochmal gerne die fiktive idee einer Custom GPT aufgreifen die nutzern bei python code hilft :
Stand heute : mögliches finetuning ( plus enstprechende kosten) mögliche kleine DB mit fachwissen. Vielleicht auch seeded trainingsdaten aber eher unwarscheinlich und ein simpler system prompt.
macht seinen job ? joa schon aber
kurz : eher ein workaround als wirklich gut
Mit TLRAG ?
Diese KI würde einfach gesagt bekommen fang an mit nutzern zu sprechen.
Leute kommen mit einen problem. einer frage. einen coolen workaround? Die ki merkst sich das. und der nächste nutzer wird genau durch dieses wissen geholfen.
ich glaube ich muss den gedanken gar nicht groß weiter spinnen um jeden klar zu machen : diese Ki wird die erstere nach wenigen Tagen an wissen überholen. Sie wird kreativer sein. Aktueller. sie benötigt kein finetuning mehr usw
DAS ist was TLRAG bieten kann.
"...und wann es das wieder vergessen hat
"
Ahahaha ja auch das
Andererseits musst du ja die Möglichkeiten/Infrastruktur dafür bieten. Der Kunde wird dein Programm ungerne sonstwie umprogrammieren müssen um sich an Datenschutzregeln zu halten.
Ja klar wobei ich ja vom stand heute her noch immer eher im bereich : grundsätzlich alles technisch zum laufen bringen bin , daran anschließend kommt also denke ich mal : infrasstruktur. sicherheit. datenschutz.
Ich denke aber die idee eines simplen kleinen lokalen doppelklick exe files mit der DB die ein paar einstellmöglichkeiten hat was gespeichert wird und was nicht und die verbindung zur cloud LLM cuttet oder öffnet ist ziemlich simpel aber zielführend.
letztlich bleibt das problem am ende dennoch : die daten wandern in die could LLM. Das ließe sich nur mit lokalen modellem umgehehen aber da sind wir dann auch wieder direkt im bereich user freundlichkeit : die masse an leuten die sich eine lokale LLM installieren wollen dürfte sehr gering sein.
ich denke einzelne mandanten container mit end zu end verschlüsselung sind hier der way to go aber nochmal : in diesen bereich bin ich absolut kein profi. es sind am ende auch nur private gedanken zum thema.
Wie hoch ist der Speicherbedarf, wenn sich alles gemerkt wird? Weil je nach Menge muss man danach ja auch die Hardware dimensionieren.
je nach thema und kontext bewegen sich die errinerungs größen typischerweise bei 1 100-1000 zeichen je errinerung. Selbst wenn sie an einen tag zu jeder einzelnen interaktion eine errinerung fest hielte wären es nur wenige hundert kb an daten.
da ist der falschenhals vielleicht eher irgentwann die auflösung der vekoren und floats. ich meine gehört zu haben das aktuelle 3072 floats embedding viele millionen chunks noch gut auflösen kann ich denke also rein technisch? gibts hier derzeit keine echte limitierung.
Ich vermute, die Frage war eher ob du irgendwelche Probleme/Nachteile technischer oder konzeptioneller Art bei deinem Modell siehst. Von den moralischen/ethischen Sachen ist ja jede Form der KI betroffen.
ich denke das ist Usecase abhängig. und vorallem eine unheimlich komplexe frage auch wenn sie erstmal nicht danach klingt.
schau am ende gehts doch nur darum :
eine ki die erstens aus einer eigenen identität handelt. Könnte es bereiche geben in dem das schadet ? ja zb wenn man klinisch saubere objektive antworten möchte.
eine ki die dazu in der lage ist selbstständig errinerungen zu erschaffen aus einer eigenen agenda heraus ,
und dann durch das retruieval dieser errinerung selbst modulation an sich und der identität vornimmt.
hier gilt eigentlich das selbe wie beim ersten punkt : es gibt szenarien da möchte man das nicht. Hier ist TLRAG obviously nicht the way to go
In bereichen alerdings in denen es eben NICHT um mechanisches abarbeiten geht. Oder reines objektives reasoning? in bereichen in denen derzeit alles über mega teures finetuning und trainingsdaten geregelt werden muss? Da wäre TLRAG ein gewaltiger schritt nach vorne und ich kann mir offengestanden wenig bis gar keine usecases vorstellen die nicht auf die ein oder andere weise davon profitieren.
Ich würde hier nochmal gerne die fiktive idee einer Custom GPT aufgreifen die nutzern bei python code hilft :
Stand heute : mögliches finetuning ( plus enstprechende kosten) mögliche kleine DB mit fachwissen. Vielleicht auch seeded trainingsdaten aber eher unwarscheinlich und ein simpler system prompt.
macht seinen job ? joa schon aber
- ist retroperspektiv
- entwickelt sich nicht weiter
- kann in teilbereichen schon nach tagen technisch überholt sein
- gewinnt keine erkentnisse aus nutzer interaktion
kurz : eher ein workaround als wirklich gut
Mit TLRAG ?
Diese KI würde einfach gesagt bekommen fang an mit nutzern zu sprechen.
Leute kommen mit einen problem. einer frage. einen coolen workaround? Die ki merkst sich das. und der nächste nutzer wird genau durch dieses wissen geholfen.
ich glaube ich muss den gedanken gar nicht groß weiter spinnen um jeden klar zu machen : diese Ki wird die erstere nach wenigen Tagen an wissen überholen. Sie wird kreativer sein. Aktueller. sie benötigt kein finetuning mehr usw
DAS ist was TLRAG bieten kann.
"...und wann es das wieder vergessen hat
Ahahaha ja auch das