Hallo zusammen,
ich überlege gerade, ob es irgendwie möglich ist einen lokalen Home Assistant Assist zu nutzen. Das Problem ist, der normale HA-Assist ist wirklich schlecht momentan. Er versteht kaum etwas und ist nicht wirklich nutzbar in der Praxis (meinr Meinung nach). Daher hatte ich jetzt die Idee das mit einem LLM zu verbinden. Da kommen aber eigentlich auch nur lokale Lösungen in Frage.
Ich weiß, wir hatten dieses Thema schon öfters hier im Forum, aber mich würde echt interessieren, ob es mittlerweile irgendwie möglich ist, eine kleine lokale KI ohne große Hardware, Grafikkarten und hohem Stromverbrauch zu realisieren.
Da wäre ich echt mal gespannt, ob ihr noch gute Ideen hättet.
Ansonsten wäre ich auch dankbar, über Vorschläge, um den integrierten Assist zu verbessern…
Viele Grüße
P.S. Das soll wirklich auch keine große AI sein. Es soll nur für den HA-Assist funktionieren. Die Antworten sollten nicht ewig dauern, aber müssen auch nicht extrem schnell sein.
1 „Gefällt mir“
bitte korrigiert mich, wenn ich falsch liege
IMHO läuft das aktuell folgendermaßen:
Anwender per Text oder Sprache (Sprache über Wyoming Protokoll und Whisper) STT zu LLM (z.B. mittels „OpenAI“ Integration) und die KI Antwort wiederum zurück über (Wyoming Protokoll und Piper) TTS zum Anwender.
In der Sprachkonfig sieht das bei mir so aus:
Das Problem läßt sich aber nicht durch eine interne KI lösen sondern durch eine Whisper Alternative. Bei mir läuft Whisper auch eher schlecht und versteht vieles falsch
1 „Gefällt mir“
Ja, das stimmt alles, soweit ich weiß!
Mhh, eine Whisper Alternative wäre vielleicht wirklich nicht so schlecht. Gibt es denn da eine, die mit dem HA-Assist kompatibel ist?? Ansonsten würde sich das schon (etwas zumindest) lösen, da ein LLM ja auch nicht ganz korrekte Sätze trotzdem verstehen könnte.
ich bin jetzt auf die Nabu Casa Cloud umgestiegen und das funktioniert richtig gut
Jetzt hänge ich gerade an dem Punkt wie sich der Sprachassistent durch einen Tastendruck (wie Siri) aktivieren läßt ohne dass er permanent auf ein Trigger Wort wartet
1 „Gefällt mir“
