@Hannes1 Ich wähle meine LLM danach aus, wieviel in Speicher passt und dann teste ich die Modelle einfach durch. Danach entscheide ich, welche verbleiben und welche nicht.
Schaue mal hier ins Thema, dort haben wir einige Modelle zusammengetragen und auch wie man sie schnell mal testen kann. Die LLM gibt es ja dann immer in verschiedenen Ausführungen (ja nach Hardware). Aber die Qwen Modelle sind schon echt gut. Gemma4 würde ich gleich danach oder teilweise auch auf eine Stufe stellen. Aktuell teste ich mal Qwopus3.6-27B-v1-preview-MLX-4bit. Das ist etwas kleiner wie Qwen3.6-27B und hat MLX was für Mac User immer besser ist.
Zum Thema nicht das Haus verlassende Daten. Ich mache das öfter so, dass ich meine HA Frage extern stelle und dann intern die Antwort manuell einpflege. So muss keiner die Sensoren kennen und die KI füllt sie mit Platzhaltern. So kann mich sich auch Dashboard-Cards, Automatisierungen, Blueprints und Co erstellen lassen. (Das Ergebnis wird gerade bei Blueprints mit Cloud LLM eindeutig besser sein)
Ich nutze übrigens auch meinem Hermes Agenten zusammen das HA CLI Tool für die Integration und nicht HA-MCP. Beide Projekte sind sehr ähnlich vom Funktionsumfang, ich mag aber cli und daher hat mir das mehr zugesagt. Hermes kann das dann auch einfach selber mit erstelltem Langzeittoken in HA installieren. GitHub - balloob/home-assistant-build-cli · GitHub