Lokales LLM (OpenClaw) auf Raspberry Pi betreiben? Wie?

[Knobibrot]

Hallo zusammen,
ich finde openClaw super spannend und würde gerne ein bisschen damit herumspielen.
Am liebsten würde ich es auf meinem Raspberry Pi betreiben, allerdings macht das nur Sinn wenn das Modell auch einigermaßen schnell und groß ist.

Habt ihr Empfehlungen für mich, wie ich das am besten bewerkstelligen kann?
eGPU? Spezielles HAT Modul?
Was macht am meisten Sinn für OpenClaw?

Alles in allem will ich dafür aber auch keine 1000€ ausgeben. Ich würde es gerne auf max 300€ begrenzen.

 

[oicfar]

Ich mache es kurz: komm nicht auf die Idee ein LLM auf einem PI zu betreiben.

Zu dem Thema findest du auch einige Videos auf YT, die zeigen, was da geht und was nicht.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Ergänzung (Sonntag um 11:54)

Dein Post ist im falschen Forum.

 

[dms]

Am liebsten würde ich es auf meinem Raspberry Pi betreiben, allerdings macht das nur Sinn wenn das Modell auch einigermaßen schnell und groß ist.

ich glaube du solltest das mit der Agentenidee nochmal bissel nachlesen


https://www.hostinger.com/de/tutorials/was-ist-openclaw

 

[SirKhan]

Eventuell mit so einem Head: Raspberry Pi AI HAT+ 2 KI-Beschleuniger für Raspberry Pi 5
Damit hat man zumindest etwas AI-Leistung. Kostet auch nur 137,40€, halt noch plus Raspi 5.

Damit gehen einfache Dinge (8GB ist nicht viel). Zum Herumspielen taugt es. Aber je nachdem was du für einen PC (speziell Gaming-PC) hast, willst du vielleicht erst damit herumspielen.

 

[Toms]

Du musst das Model nicht lokal laufen lassen für OpenClaw. Eine Claude Subscription geht auch

 

[Luckeie]

So eine Agent Software nutzt eine KI! Die ist da nicht dabei. Es ist eher eine Art Interface mit dem eine KI auf einen Computer zugreifen kann. Wenn also keine lokale KI benutzt wird, was wenig Sinn auf dem Raspberry PI macht, denn der hat ja keine Möglichkeit mal eben eine 5090 zu betreiben, ist so ein Raspberry PI durchaus geeignet. Ich habe das auch vor und erwäge eine lokale KI von meinem Arbeitsplatzrechner (z.B. Mistral Mini oder Nemotron) vom Raspberry Pi aus anzusprechen.