Hi! Auch ein „herzliches Willkommen“ von mir! ![]()
Dein Setup ist eigentlich super, aber du läufst hier vermutlich in ein physikalisches Speicher-Limit deines M3 Pro (18 GB RAM). 18 GB ist da halt echt nicht wirklich viel! ![]()
Wenn du ein 14B-Modell nutzt und den Kontext auf 24k aufbläst, explodiert der RAM-Bedarf für den Chat-Verlauf (KV-Cache). Dein Mac muss dann im Hintergrund auf die SSD auslagern/swappen. Dadurch gerät das Modell ins Stocken und verliert die Präzision, die für fehlerfreie MCP-Tool-Aufrufe nötig ist – deshalb bleibt das Dashboard leer.
Zwei Tipps, um das zu lösen:
- Kontext reduzieren: Stelle den Kontext testweise von 24k auf 12k runter. Das entlastet den RAM massiv und reicht für die PV-Entitäten meist völlig aus. Nicht zu viel in den Kontext packen, eher „Step by Step“!
- Wechsel auf oMLX (MLX-Framework): Da du auf Apple Silicon unterwegs bist, arbeitet das Apple-eigene MLX-Framework viel ressourcenschonender als Ollama/llama.cpp. Es verwaltet den Speicher bei großen Kontexten deutlich effizienter. oMLX bietet dir ebenfalls eine API, die du einfach in Opencode einbinden kannst (passende Modelle gibt es bei der
mlx-communityauf Hugging Face z. B.Qwen2.5-Coder-14B-Instruct-4bit-mlx. Kannst du in oMLX einfach direkt runterladen!)
Probier mal, den Kontext zu senken oder (besser!) auf MLX umzusteigen – dann sollten auch die komplexeren Tool-Aufrufe für das Dashboard stabil durchlaufen!