KI Lokal (Ollama, Opencode, HA-MCP)

Hi! Auch ein „herzliches Willkommen“ von mir! :waving_hand:

Dein Setup ist eigentlich super, aber du läufst hier vermutlich in ein physikalisches Speicher-Limit deines M3 Pro (18 GB RAM). 18 GB ist da halt echt nicht wirklich viel! :woman_shrugging:

Wenn du ein 14B-Modell nutzt und den Kontext auf 24k aufbläst, explodiert der RAM-Bedarf für den Chat-Verlauf (KV-Cache). Dein Mac muss dann im Hintergrund auf die SSD auslagern/swappen. Dadurch gerät das Modell ins Stocken und verliert die Präzision, die für fehlerfreie MCP-Tool-Aufrufe nötig ist – deshalb bleibt das Dashboard leer.

Zwei Tipps, um das zu lösen:

  1. Kontext reduzieren: Stelle den Kontext testweise von 24k auf 12k runter. Das entlastet den RAM massiv und reicht für die PV-Entitäten meist völlig aus. Nicht zu viel in den Kontext packen, eher „Step by Step“!
  2. Wechsel auf oMLX (MLX-Framework): Da du auf Apple Silicon unterwegs bist, arbeitet das Apple-eigene MLX-Framework viel ressourcenschonender als Ollama/llama.cpp. Es verwaltet den Speicher bei großen Kontexten deutlich effizienter. oMLX bietet dir ebenfalls eine API, die du einfach in Opencode einbinden kannst (passende Modelle gibt es bei der mlx-community auf Hugging Face z. B. Qwen2.5-Coder-14B-Instruct-4bit-mlx. Kannst du in oMLX einfach direkt runterladen!)

Probier mal, den Kontext zu senken oder (besser!) auf MLX umzusteigen – dann sollten auch die komplexeren Tool-Aufrufe für das Dashboard stabil durchlaufen!

Hier findest du noch andere Settings!