LLM Bahnhof: LLM API Routing, für Cloud und Ollama

[valovalo]

Moin,

um mit mehreren Endpunkten transparent auf unterschiedliche LLMs zuzugreifen, habe ich einen Model-Router gebaut, den ich LLM-Bahnhof genannt habe. Er ist auf GitHub zu finden:
https://github.com/o-valo/llm-bahnhof
Der Wrapper stellt jeweils eine OpenAI-kompatible API bereit. Über Feedback oder auch einen Stern würde ich mich sehr freuen.

LG
Olav

 

[madmax2010]

Wie würdest du das im Vergleich zu bifrost, litellm proxy und portkey einordnen?

In der readme würde ich deutsch und englisch komplett trennen

 

[valovalo]

Moin,
die anderen Proxys haben z.T. mehr Funktionen, schleppen aber mehr Abhängigkeiten mit sich rum und brauchen z.T. extra Datenbanken. Bei mir ist das eher puristisch als Python-Datei + .env gelöst und zielt eher l auf kleine lokale Settings (Ollama) ab. Semantisches Routing möchte ich aber auch noch einbauen :-)

LG Olav