Frage zu Smart-Home mit Sprachsteuerung

[someoneElse666]

Ich bin am überlegen, ob sowas wie Siri was für mich wäre. Ich habe oft Ideen oder mir fallen plötzlich Sachen ein, die ich für wichtig halte, und 5 Minuten später hab ichs vergessen (vermute ADS :>), wenn ich am PC hocke und es niederschreiben mag. Da wäre das schon genial "Hey Siri, schreib auf dass ich noch den Herd ausschalten muss und erinner mich in 5 Minuten. Und schalt den PC in 20 Minuten aus".
Meine Frage: hat sich irgendwer sowas schon gebaut? Wenn ja, welche Hard/-Software wird verwendet? Wie zufrieden seid ihr? Wo sind die Grenzen?
Für mich ein Killer: alles mit Cloud. Ich möchte das nur lokal dann betreiben.

ps.: bin mir nicht sicher ob das hier die richtige Kategorie ist. Falls nein, bitte schieben, danke!

 

[Micha-]

Ich hasse es mit Gegenständen zu reden.

Aber Du kannst doch einfach deinem Handy sagen "Stell mir einen Wecker für xy in n Minuten"

 

[wuesty]

sprachsteuerung ohne cloud ist möglich aber eher schwierig umzusetzen...

und ja genau diese dinge die du beschreibst funktionieren ziemlich gut. ich nutze das google ökosystem und bin zufrieden.

und wenn du dann noch smarte steckdosen, lampen etc nutzt kannst du selbst im bett noch dinge erledigen ohne nochmal aufzustehen. oder mittels routinen alles ein wenig automatisieren.

 

[madmax2010]

Ich habe daheim LLama3.2 8b + whisper laufen.
Alles was ich sage wird transkribiert und wenn es sich angesprochen wird entsprechend in die Datenbank abgelegt.
In der Datenbank liegen auch Daten meines Ticketsystems, Todo Listen, emails und Briefe.
mit PG Vector und PG AI lese ich das ganze aus und wenn ich frage was ich heute zu tun habe, oder etwas brainstormen will, kommen inzwischen brauchbare Ergebnisse raus.
HomeAssistant werde ich noch irgendwann integrieren.

Leider ist das ganze in den letzten 2 jahren wann immer ich langeweile hatte entstanden und muss mal sauber und vllt öffentlichkeitstauglich gebaut werden

stack:

• Nanopi M6 mit 32GB RAM, weil pervers gute TPU
• Transkribieren: https://github.com/usefulsensors/useful-transformers
• lokale LLMs die dazu passen: https://github.com/airockchip/rknn-llm/blob/main/README.md

Es ist halt ein 8b Modell. Ich kann damit sprechen und ich kann damit schreiben.
Es ist nicht super toll, aber es hilft mir schon mich besser zu strukturieren. Und es hilft Informationen aus X Quellen gerade zu ziehen,ohne dassich immer den Kontext wechseln muss

 

[someoneElse666]

sprachsteuerung ohne cloud ist möglich aber eher schwierig umzusetzen...

Lokale Cloud ist ok, (*) Cloud leider nicht.

(*) beliebiges Unternehmen einfügen

@madmax2010 danke, ich werd mich mal einlesen!
Dann hab ich wieder was zu tun

Der Nanopi M6 ist ja schon ein krasses Teil... ich frag mich grad ob ich den nicht als HTPC laufen lassen kann, dann könnte ich meinen Odroid N2 ablösen, hätte neuere Hardware und würde das Teil dann verwenden eben auch als HomeAssistant. Hast du zufällig Erfahrung damit, wie das ganze mit Kodi aussieht was decoding angeht von h264/265 etc.? Oder ist das eine dumme Idee? Ich weis, die Rockchip und AMlogic sind teils problematisch unter mainline linux
edit: grad gegoogled, mainline support ist da noch komplett in WiP beim decoden, von dem her nix mit HTPC

 

[madmax2010]

hmja, der Mali-G610 de-/encoding stack in mainline ist dreck. ist besser als vor 3 jahren, aber toll ist anders.

 

[someoneElse666]

@madmax2010 kannst du noch sagen welches mic du verwendest? Ich hab davon leider 0 Plan. Ich hab zwar ein mic für REW und Audyssey, aber vermute das wird nicht besonders praktikabel das zu verwenden
Ich frag mich auch gerade... wenn ich im Schlafzimmer bin (da steht meine Workstation) und der nanopi im Wohnzimmer, dann könnte es problematisch werden, oder? Also im Sinne von transkribieren klappt nicht (mehr) weil zu weit weg