speefak
Cadet 1st Year
- Registriert
- Juli 2026
- Beiträge
- 9
Moin zusammen,
das Thema lokale KI interessiert mich sehr. Deshalb habe ich mir einen eigenen Ollama-Server aufgesetzt.
Der Ollama-Server selbst ist meiner Meinung nach relativ sicher, da die Informationsverarbeitung im LLM selbst erfolgt und die Interaktion mit dem Betriebssystem über Tool Calls des jeweiligen KI-Agenten oder einer Weboberfläche wie Open WebUI stattfindet.
KI-Agenten und fortschrittliche Web-UIs, die Befehle auf dem System ausführen können, auf dem sie installiert sind, sollte man meiner Meinung nach wie ein Kleinkind mit dem Wissen der gesamten Menschheit behandeln: Sie können extrem viel, verstehen aber nicht automatisch die Konsequenzen ihrer Handlungen.
Daher sollten solche KI-Systeme meiner Meinung nach nur in stark gesicherten Umgebungen betrieben werden, beispielsweise in virtuellen Maschinen.
Aufgrund der Möglichkeiten und der Geschwindigkeit von KI-Agenten in Kombination mit leistungsfähigen LLMs halte ich Docker für diesen Anwendungsfall nicht für die optimale Lösung. Leider begegnet einem Docker mittlerweile überall.
Docker ist im Vergleich zu einer vollständig virtualisierten VM aus meiner Sicht für KI-Agenten potenziell deutlich gefährlicher, da Container – je nach Konfiguration – direkten Zugriff auf Ressourcen des Hosts erhalten können. Auch wenn Docker grundsätzlich eine Art isolierte Umgebung bereitstellt, ist es eben keine vollständige Virtualisierung. Bei einem KI-Agenten, der eigenständig Befehle ausführen kann, ist das meiner Meinung nach ein wichtiger Unterschied.
Die Standardinstallation von Open WebUI ist als Standalone-Installation konzipiert, also für den Betrieb auf einem System, auf dem auch die KI-Funktionen lokal ausgeführt werden. Deshalb werden unter anderem Ollama, PyTorch und verschiedene CUDA-Bibliotheken installiert.
Möchte man Open WebUI hingegen lediglich als „Client“ mit einem externen Ollama-Server betreiben, ist man aktuell praktisch auf Docker angewiesen, wenn man Open WebUI ohne die nativen KI-Funktionen wie CUDA und PyTorch installieren möchte.
Ich wollte Open WebUI jedoch in einer eigenen VM betreiben und die eigentliche LLM-Inferenz über einen externen Ollama-Server durchführen. Deshalb habe ich ein Installationsskript erstellt, mit dem Open WebUI ohne PyTorch und ohne CUDA installiert werden kann.
Statt rund 13 GB benötigt die Installation dadurch nur etwa 6 GB Speicherplatz.
Das Installationsskript habe ich auf GitHub veröffentlicht:
https://github.com/AIScriptHub/Installer_-_Debian-13_OpenWebUI/blob/main/README.md
Das war allerdings der einfache Teil.
Bei der eigentlichen Konfiguration von Open WebUI habe ich noch einige Unklarheiten und Fragen, insbesondere bezüglich Erinnerungen, der Vorkonfiguration von Prompts und der Personalisierung.
Meine erste Frage wäre daher:
Welches lokale Modell ist in der Lage, in Verbindung mit Open WebUI Erinnerungen zu verwalten, Informationen über den Benutzer zu sammeln und diese nach und nach zu nutzen, um die Antworten besser an die persönlichen Anforderungen des Benutzers anzupassen?
Also ähnlich wie bei ChatGPT, Grok, Claude und vergleichbaren Systemen.
Die genannten KI-Systeme nutze ich bereits seit einiger Zeit. Je länger ich sie nutze, desto weniger muss ich bei neuen Anfragen erklären, worum es mir geht. Die Modelle berücksichtigen zunehmend meine Präferenzen – beispielsweise beim Programmieren oder bei der Aufbereitung von Informationen – und können meine Fragen besser in Relation zu meinem vorhandenen Wissen einordnen.
Dadurch wird das „Team Bio-Hirn/KI-Hirn“ mit der Zeit immer effektiver.
Vieles, was mich anfangs genervt hat, weil ich es in jeder neuen Unterhaltung wieder erklären musste, hat sich mittlerweile erledigt.
Open WebUI hat dagegen meiner Meinung nach teilweise „Demenz im Endstadium“.
Eine Erhöhung der Context Tokens bringt nur bedingt etwas, da sich der zusätzliche Kontext im Wesentlichen auf die aktuelle Sitzung beschränkt. Bei einer neuen Sitzung beginnt vieles wieder von vorne.
Grundlegende Optionen wie Sprache, Stil usw. kann man natürlich in den Standard-Prompts festlegen. Ich würde Open WebUI aber gerne so konfigurieren, dass es sich – ähnlich wie die großen kommerziellen Modelle – mit der Zeit immer besser auf meine persönlichen Anforderungen einstellt.
Idealerweise sollte das automatisch funktionieren, ohne dass ich jede Präferenz ständig manuell in den System-Prompt schreiben muss.
Ich vermute, dass es dabei auch stark auf das verwendete Modell ankommt. Oder liege ich damit falsch?
Bezüglich der Modelle wäre vermutlich ein eigener Thread sinnvoll, zum Beispiel:
„Welches Modell ist aktuell für welche Agenten und Aufgaben am effektivsten?“
Mich würde daher zunächst interessieren, wie ihr Open WebUI hinsichtlich Erinnerungen und langfristiger Personalisierung konfiguriert habt und welche lokalen Modelle dafür besonders gut geeignet sind.
das Thema lokale KI interessiert mich sehr. Deshalb habe ich mir einen eigenen Ollama-Server aufgesetzt.
Der Ollama-Server selbst ist meiner Meinung nach relativ sicher, da die Informationsverarbeitung im LLM selbst erfolgt und die Interaktion mit dem Betriebssystem über Tool Calls des jeweiligen KI-Agenten oder einer Weboberfläche wie Open WebUI stattfindet.
KI-Agenten und fortschrittliche Web-UIs, die Befehle auf dem System ausführen können, auf dem sie installiert sind, sollte man meiner Meinung nach wie ein Kleinkind mit dem Wissen der gesamten Menschheit behandeln: Sie können extrem viel, verstehen aber nicht automatisch die Konsequenzen ihrer Handlungen.
Daher sollten solche KI-Systeme meiner Meinung nach nur in stark gesicherten Umgebungen betrieben werden, beispielsweise in virtuellen Maschinen.
Aufgrund der Möglichkeiten und der Geschwindigkeit von KI-Agenten in Kombination mit leistungsfähigen LLMs halte ich Docker für diesen Anwendungsfall nicht für die optimale Lösung. Leider begegnet einem Docker mittlerweile überall.
Docker ist im Vergleich zu einer vollständig virtualisierten VM aus meiner Sicht für KI-Agenten potenziell deutlich gefährlicher, da Container – je nach Konfiguration – direkten Zugriff auf Ressourcen des Hosts erhalten können. Auch wenn Docker grundsätzlich eine Art isolierte Umgebung bereitstellt, ist es eben keine vollständige Virtualisierung. Bei einem KI-Agenten, der eigenständig Befehle ausführen kann, ist das meiner Meinung nach ein wichtiger Unterschied.
Die Standardinstallation von Open WebUI ist als Standalone-Installation konzipiert, also für den Betrieb auf einem System, auf dem auch die KI-Funktionen lokal ausgeführt werden. Deshalb werden unter anderem Ollama, PyTorch und verschiedene CUDA-Bibliotheken installiert.
Möchte man Open WebUI hingegen lediglich als „Client“ mit einem externen Ollama-Server betreiben, ist man aktuell praktisch auf Docker angewiesen, wenn man Open WebUI ohne die nativen KI-Funktionen wie CUDA und PyTorch installieren möchte.
Ich wollte Open WebUI jedoch in einer eigenen VM betreiben und die eigentliche LLM-Inferenz über einen externen Ollama-Server durchführen. Deshalb habe ich ein Installationsskript erstellt, mit dem Open WebUI ohne PyTorch und ohne CUDA installiert werden kann.
Statt rund 13 GB benötigt die Installation dadurch nur etwa 6 GB Speicherplatz.
Das Installationsskript habe ich auf GitHub veröffentlicht:
https://github.com/AIScriptHub/Installer_-_Debian-13_OpenWebUI/blob/main/README.md
Das war allerdings der einfache Teil.
Bei der eigentlichen Konfiguration von Open WebUI habe ich noch einige Unklarheiten und Fragen, insbesondere bezüglich Erinnerungen, der Vorkonfiguration von Prompts und der Personalisierung.
Meine erste Frage wäre daher:
Welches lokale Modell ist in der Lage, in Verbindung mit Open WebUI Erinnerungen zu verwalten, Informationen über den Benutzer zu sammeln und diese nach und nach zu nutzen, um die Antworten besser an die persönlichen Anforderungen des Benutzers anzupassen?
Also ähnlich wie bei ChatGPT, Grok, Claude und vergleichbaren Systemen.
Die genannten KI-Systeme nutze ich bereits seit einiger Zeit. Je länger ich sie nutze, desto weniger muss ich bei neuen Anfragen erklären, worum es mir geht. Die Modelle berücksichtigen zunehmend meine Präferenzen – beispielsweise beim Programmieren oder bei der Aufbereitung von Informationen – und können meine Fragen besser in Relation zu meinem vorhandenen Wissen einordnen.
Dadurch wird das „Team Bio-Hirn/KI-Hirn“ mit der Zeit immer effektiver.
Vieles, was mich anfangs genervt hat, weil ich es in jeder neuen Unterhaltung wieder erklären musste, hat sich mittlerweile erledigt.
Open WebUI hat dagegen meiner Meinung nach teilweise „Demenz im Endstadium“.
Eine Erhöhung der Context Tokens bringt nur bedingt etwas, da sich der zusätzliche Kontext im Wesentlichen auf die aktuelle Sitzung beschränkt. Bei einer neuen Sitzung beginnt vieles wieder von vorne.
Grundlegende Optionen wie Sprache, Stil usw. kann man natürlich in den Standard-Prompts festlegen. Ich würde Open WebUI aber gerne so konfigurieren, dass es sich – ähnlich wie die großen kommerziellen Modelle – mit der Zeit immer besser auf meine persönlichen Anforderungen einstellt.
Idealerweise sollte das automatisch funktionieren, ohne dass ich jede Präferenz ständig manuell in den System-Prompt schreiben muss.
Ich vermute, dass es dabei auch stark auf das verwendete Modell ankommt. Oder liege ich damit falsch?
Bezüglich der Modelle wäre vermutlich ein eigener Thread sinnvoll, zum Beispiel:
„Welches Modell ist aktuell für welche Agenten und Aufgaben am effektivsten?“
Mich würde daher zunächst interessieren, wie ihr Open WebUI hinsichtlich Erinnerungen und langfristiger Personalisierung konfiguriert habt und welche lokalen Modelle dafür besonders gut geeignet sind.
