Lokaler Home Assistant

[Pyrukar]

Hallo zusammen,

nachdem es inzwischen auch AI GPT-4 Modelle für Lokale installationen gibt wäre mMn der nächste Logische Schritt (neben einer integration für suchmaschinen und ggf Wikipedia) das ganze noch mit Speech to Text und Text to Speech auszustatten. Prinzipiell sozusagen ein Siri/Alexa nur eben Lokal ... Klar Hat Apple Amazon Google und Co darin natürlich einen Gewaltigen Vorsprung, aber grundsätzlich müsste sich das doch realisieren lassen, oder?

Kennt da jemand was, woran bereits gearbeitet wird?

Btw. ich habe den Hinweis zu AI Content auf CB durchaus zur kenntniss genommen, aber soll das Thema derart ausgeklammert werden, dass es nichtmal ein Forum Thema dazu gibt? Oder bin ich nur blind und habe es nicht gesehen. Ich Meine ein Thema in dem man threads mit Fragen zu AI UIs oder Modellen stellen kann, wäre doch eigentlich ganz cool, oder? Natürlich solange menschen und nicht Bots schreiben

Gruß
Pyrukar

 

[Millkaa]

Du hast da was falsch verstanden. Über AI und die ganzen Konsorten kann gerne diskutiert werden, sofern die Beiträge von einem Menschen getippt werden.
In der CB Ankündigung ging es darum, dass Content von AI generiert und dies nicht gekennzeichnet wurde. Also du gehst bspw. zu Chat GPT stellst eine Frage und kopierst die Antwort hier rein, das soll nicht stattfinden.
Beim konkreten Fall wurde sogar der Account eines Users von AI geführt und hat eigenständig gepostet. Sowas soll hier erst einmal nicht stattfinden und wenn AI Content genutzt wurde dann kennzeichnen.
Über AI darf, sofern ich das richtig verstanden habe, aber gesprochen werden.
Zu deinem konkreten Fall habe ich aber keine hilfreichen Infos.

 

[StoppiT]

Hier geht es nur um eine KLaRe Kennzeichnung dessen!

Die Verwendung als solches, ist ja legitim!

 

[Homoioteleuton]

es gibt sicher bereits diverse Leute, die probieren, sowas für zu hause nachzubauen. Lässt sich bestimmt auf Github diverse (halbgare) Projekte finden.
Damit das ganze lokal läuft, gibt es aber zwei Hürden:
a) Rechenleistung: viele AIs/LLMs benötigen massiv Leistung in Form von GPUs, damit das einigermaßn in Echtzeit läuft
b) Trainingsdaten: wenn jemand sowas entwickelt hat und du es zu Hause auf deinem Server aufsetzt, muss das LLM noch trainiert werden bzw. ständig angepasst werden, damit es dich versteht, dazu sind unmengen an Trainingsdaten notwendig

 

[Pyrukar]

Über AI und die ganzen Konsorten kann gerne diskutiert werden,

Aber warum gibt es dann eigentlich nirgends einen Ort im Forum wo das stattfinden soll (bzw. stattfindet) Soweit ich das sehe gibt es keinen Bereich hier im forum in dem man das Thema sinnvoll einsortieren kann! es ist halt was massiv anderes, als alles was bisher in den Forums Kategorien existiert. Da ich jetzt die Idee mit dem Home Assistant hatte macht es hier im Forum sinn, aber wenn ich jetzt nach eurer Meinung bzgl verschiedenen Modellen GPT-4 Alpaca fragen würde, wüsste ich beim besten willen nicht wo ich das Posten soll

@Homoioteleuton
zu a) ja rechenleistung ist nicht ganz zu vernachlässigen, aber mit meinem Rechner und Alpaca-Electron läuft ein GPT-4 modell auf 8 threads der CPU und liefert schnell ergebnisse
zu b) na ja also eine funktionierende lokale Spacherkennung hatte damals Win7 ... leider Wollte MS später lieber daten sammeln weshalb Cortana nur noch Online funktioniert, aber die Speech to Text Programme gibts schon, zumindest für einfache Befehle und die müssten ihren Text ja nur an GPT 4 Übergeben. und dass die Ergebnisse der AI ausgesprochen werden sollte auch nicht so schwer sein. Es gibt inzwischen so viele Mods die mit TTS vertont sind und die klingen inzwischen echt gut

gruß
Pyrukar

 

[Millkaa]

Aber warum gibt es dann eigentlich nirgends einen Ort im Forum wo das stattfinden soll (bzw. stattfindet)

Schau dir die Entwicklung in den letzten Jahren an. Die Themenwelt und die Relevant der einzelnen Themen wandelt sich monatlich/jährlich. Dazu kommen die persönlichen Interessen und Vorlieben.
Ich könnte bspw. meckern, dass die einzelnen Gaming Bereiche nicht up to date sind. So Games wie Teamfight Tactis, Mechabellum, Brotato, Vampire Survival etc. pp. haben keine Kategorie. Gut, ist halt so. Ich finde es schade, weil es mich interessiert. Auf der anderen Seite verstehe ich das, weil es eben nicht möglich ist das Forum so aktuell zu halten, dass ständig Kategorien geschaffen, eingestampft oder verändert werden.
Ein Forum lebt auch von Konsistenz, natürlich muss es auch immer mal wieder aktualisiert werden, keine Frage. Dann aber die Frage in welchem Umfang.
Das Thema AI kommt, aber ist es momentan schon so groß, dass es einem eigenen Bereich bedarf? Am ehesten könnte man es im Internet der Dinge Bereich sehen, also Smart Home etc.
Wenn man dahinschaut würde ich Smart Home eher noch größer und breiter sehen als AI. Aber auch das ist nur meine Meinung.
Ich gehe schon davon aus, dass die Administration und Moderation durchaus immer mal wieder schauen, ob Bereiche dazu müssten. Vor ein paar Jahren hatte Mining und Krypto auch keine eigene Kategorie, jetzt schon. Das Thema ist einfach groß geworden.
AI und ChatGPT etc. wird auch kommen, irgendwann.
Wichtig bei einem Forum ist es aber auch, dass es nicht unkontrolliert wächst. Man kann sicherlich immer mehr Kategorien erstellen, aber das zu Kosten der Übersichtlichkeit. Deswegen gibt es auch Sammelthreads. Dazu, dass das Forum übersichtlich bleibt. Sonst könnte ja jedes Anliegen mit einem eigenen Thread besprochen werden.
Wenn nun Administration und Moderation sehr affin sind, was das Thema AI angeht und auch die Philosophie des Forums darauf ausgelegt ist, dann wird es wahrscheinlich schneller kommen. Wenn das Thema nicht so interessant ist, eher langsamer. Kommen wird es aber sicherlich in den nächsten Jahren. Chat GPT hat ja schon einmal einen Platz bei der Grafikkarten-Rangliste.
Ich denke mit ein wenig Geduld und aktiver Teilhabe am Thema im Forum wird es schon kommen.
Umso mehr das Thema in den anderen Kategorien Platz einnimmt, umso eher wird klar, dass das Thema seinen eigenen Platz bekommen sollte. So läuft es mir sehr sehr selten über den Weg, wenn ich nicht danach explizit suche.

 

[gaym0r]

@Pyrukar Du könntest dir mal Mycroft angucken.

 

[Pyrukar]

@gaym0r kingt gut auf den Ersten blick, muss ich mir tatsächlich mal genauer anschauen

 

[commandobot]

Prinzipiell sozusagen ein Siri/Alexa nur eben Lokal ...

Wie definierst du "lokal" ?
Und wozu AI?
Was soll der praktische Vorteil zu den heutigen Möglichkeiten sein?
Und was würde es gegenüber IFTTT für Vorteile bringen?

 

[gaym0r]

@commandobot
Ich würde den Startpost durchlesen, das sollte die Fragen beantworten.

 

[commandobot]

Hatte ich bereits, dadurch sind die Fragen erst aufgekommen.

Vielleicht kann der TO ja die Fragen beantworten.

 

[Pyrukar]

Wie definierst du "lokal" ?

Eng gesehen Ohne Internetverbindung ... im Weiteren Sinne Ohne Accountzwang und "Unnötigen Datenverarbeitenden Server im Hintergrund" aka, wenn ich was von Wikipedia wissen will, dann darf der Lokale Dienst natürlich Wikipedia fragen, aber Google Facebook Apple und Amazon etc pp. brauchen nicht wissen das ich gerade was auch Wikipedia gesucht habe.

Und wozu AI?

Na ja zum Um die Ecke Denken, Dinge zusammenfassen, aka Dinge die GPT-4 und Konsorten inzwischen schon ganz gut hinbekommen.

Was soll der praktische Vorteil zu den heutigen Möglichkeiten sein?

möglichkeiten Ohne Accountzwang ... sehe ich bisher gar nicht bzw. nur sehr eingeschränkt. das gibt leider auch für IFTTT oder MyCroft ... Wenn man das Prinzip der Datensparsamkeit anwenden möchte fällt ein Home Assistant mMn immer noch komplett raus ... und ehrlich gesagt verstehe ich unter den derzeitigen Umständen nichtmehr so ganz warum
eine AI wäre heute problemlos in der Lage, eine Alexa o.ä. zu ersetzen, wenn sie die entsprechenden APIs bekommt und entsprechende STT und TTS Unterstützung bekommt. Mir ist bewusst, dass dies einen relativ leistungsstarken PC voraussetzt, aber ich denke daran sollte es nichtmehr scheitern. Ein Rechenzentrum Alla Amazon oder Google brauchts dafür jedenfalls nichtmehr, auch wenn Goolge und Amazon das niemals zugeben würden

gruß
Pyrukar