Langflow-Flow in Ollama integrieren (local LLM) oder .json-Flow anderweitig ausführen

dedication

Cadet 4th Year
Registriert
Feb. 2024
Beiträge
125
Hi zusammen,

ich hoste hier via Ollama (sowie LM Studio) meine eigene KI auf der GPU und habe mir für Web-Searches in 'Langflow' einen Agenten erstellt, welcher über [Ollama / LM Studio -> model -> tools] im Netz nach einer Antwort auf meine Fragen (also meine prompts) sucht.
Das klappt soweit auch sehr, sehr gut sowie äußerst schnell (is ja auch "nur" das 8b model zum Test).

Allerdings ist das etwas umständlich, da ich hierfür jedes mal sowohl Ollama/LM Studio starten muss, als auch das Programm 'Langflow', um dort dann meinen Flow/Agenten auszuführen. Dass Ollama laufen muss ist ja klar, aber jedes mal extra Langflow starten kostet schon immer 30-60 Sekunden.
Ich habe meinen erstellten Flow daher nun als .json exportiert und frage mich, ob ich diesen Flow ausführen kann, ohne Langflow extra dafür starten zu müssen?

Kann dazu jemand was sagen?

Hier nochmal mit mehr Details:
  • local LLM: ministral-3:8b via Ollama/LM Studio auf der eigenen GPU gehostet (localhost:11434)
  • Agenten-Flow in 'Langflow' eingerichtet, welcher diese lokale LLM nutzt, um im Netz nach Antworten/Zusammenfassungen/etc zu suchen (siehe Screenshot unten).
-> Langflow: v.1.6.2 (Python v.3.14.0)

Langflow_Flow_WebSearch.jpg


  • diesen Flow habe ich als .json exportiert (Datei liegt nun auf der der Platte)
  • suche nun nach Möglichkeiten, diesen Flow (also diese .json) auszuführen, ohne Langflow starten zu müssen.
Mein Traum wäre eine Integration innerhalb von Ollama / LM Studio selbst. Also immer wenn ich ein keyword im prompt verwende (z.B. 'ws' für websearch), wird automatisch im Hintergrund der Agenten-Flow zur Suche nach Antworten im Internet verwendet. Wenn besagtes keyword jedoch nicht im prompt verwendet wird, soll ganz normal ohne Internet-Anbindung eine Antwort ausgeben werden.
-> Ist das zu viel Träumerei oder bereits im Bereich des möglichen?

Besten Dank schonmal!
 
Zuletzt bearbeitet:
Nevermind, ich schätze es ist wohl besser, wenn ich die 'Tools' innerhalb einer KI über die REST-API über LM Studio selbst ansteuere anstatt ein weiteres Programm dafür zu verwenden.
Damit stehen mir zwar nicht mehr die vielen schönen Funktionen von Langflow zu Verfügung aber sehe da nach einiger Nachforschung keine Möglichkeit, das Programm an sich für die Ausführung der flows zu umgehen und ein langer Start des Programms ist auf Dauer keine zufriedenstellende Lösung.

Falls also noch jemand eine Idee oder einen Tipp für mich hat, sehr gerne. Ansonsten werde ich es wohl auf diese Weise umsetzen (müssen).
 
Zurück
Oben