dedication
Cadet 4th Year
- Registriert
- Feb. 2024
- Beiträge
- 125
Hi zusammen,
ich hoste hier via Ollama (sowie LM Studio) meine eigene KI auf der GPU und habe mir für Web-Searches in 'Langflow' einen Agenten erstellt, welcher über [Ollama / LM Studio -> model -> tools] im Netz nach einer Antwort auf meine Fragen (also meine prompts) sucht.
Das klappt soweit auch sehr, sehr gut sowie äußerst schnell (is ja auch "nur" das 8b model zum Test).
Allerdings ist das etwas umständlich, da ich hierfür jedes mal sowohl Ollama/LM Studio starten muss, als auch das Programm 'Langflow', um dort dann meinen Flow/Agenten auszuführen. Dass Ollama laufen muss ist ja klar, aber jedes mal extra Langflow starten kostet schon immer 30-60 Sekunden.
Ich habe meinen erstellten Flow daher nun als .json exportiert und frage mich, ob ich diesen Flow ausführen kann, ohne Langflow extra dafür starten zu müssen?
Kann dazu jemand was sagen?
Hier nochmal mit mehr Details:
-> Ist das zu viel Träumerei oder bereits im Bereich des möglichen?
Besten Dank schonmal!
ich hoste hier via Ollama (sowie LM Studio) meine eigene KI auf der GPU und habe mir für Web-Searches in 'Langflow' einen Agenten erstellt, welcher über [Ollama / LM Studio -> model -> tools] im Netz nach einer Antwort auf meine Fragen (also meine prompts) sucht.
Das klappt soweit auch sehr, sehr gut sowie äußerst schnell (is ja auch "nur" das 8b model zum Test).
Allerdings ist das etwas umständlich, da ich hierfür jedes mal sowohl Ollama/LM Studio starten muss, als auch das Programm 'Langflow', um dort dann meinen Flow/Agenten auszuführen. Dass Ollama laufen muss ist ja klar, aber jedes mal extra Langflow starten kostet schon immer 30-60 Sekunden.
Ich habe meinen erstellten Flow daher nun als .json exportiert und frage mich, ob ich diesen Flow ausführen kann, ohne Langflow extra dafür starten zu müssen?
Kann dazu jemand was sagen?
Hier nochmal mit mehr Details:
- local LLM: ministral-3:8b via Ollama/LM Studio auf der eigenen GPU gehostet (localhost:11434)
- Agenten-Flow in 'Langflow' eingerichtet, welcher diese lokale LLM nutzt, um im Netz nach Antworten/Zusammenfassungen/etc zu suchen (siehe Screenshot unten).
- diesen Flow habe ich als .json exportiert (Datei liegt nun auf der der Platte)
- suche nun nach Möglichkeiten, diesen Flow (also diese .json) auszuführen, ohne Langflow starten zu müssen.
-> Ist das zu viel Träumerei oder bereits im Bereich des möglichen?
Besten Dank schonmal!
Zuletzt bearbeitet: