Open WebUI und Ollama

[Ducky_2]

Hallo und guten Abend,
ich betreibe seit einiger Zeit einen Local installierten KI-Server. Bislang war die kommunikation über ein Terminal völlig ausreichend.
Gestern habe ich einen weiteren Server für Open WebUI installiert. Erst mal funktioniert alles auf anhieb, jedoch gibt es eine Latenz zwischen Terminal und WebUI. Die Latenz beträgt etwa 18 Sekunden!
Bei einer einfachen Anweisung "Antworte nur mit: OK" auf dem Terminal Antwortzeit: 0,09 Sekunden
Auf WebUI entsprechend 18,xyz Sekunden. Dabei ist mir aufgefallen, das WebUI 2049 Token für den kurzen Satz sendet.
Titel-Generierung, Tag-Generierung und Folgefragen-Generierung habe ich schon abgeschaltet. dennoch bleibt es bei den Zeiten und auch bei den 2049 Token.


Kennt jemand das Problem oder hat jemand noch eine Idee, was ich einstellen (umstellen) kann?


Vielen Dank schon mal im vorraus

 

[Drewkev]

System Prompt?

 

[Ducky_2]

das hatte ich auch als erstes im Sinn, deshalb habe ich dort "du bist mein persöhnlicher Assistent" eingetragen. Sorry, das hatte ich vergessen zu erwähnen

 

[thrawnx]

Welches Modell nutzt du und kann es sein dass da <think> die Latenz verursacht?

 

[TeeKayEV]

Sieht für mich auch so aus, als ob standardmässig Reasoning aktiviert ist. Je nach Modell und Reasoning-Stufe kann das System schonmal halbe Ewigkeiten und das dann gleich 5x über relativ simple Sachverhalte sinnieren, bevor eine Ausgabe generiert wird. Und die ist dann nicht unbedingt besser als ohne Reasoning.

Bei meinen Tests mit LM Studio kam es öfter vor, dass Anweisungen an den Server zur Reasoning-Stufe oder generell zum Reasoning ignoriert wurden. Bei manchen Modellen bekam ich es nicht hin, dass die bei Fernabfrage ohne Reasoning antworten.