Nutzt ihr KI lokal? Wie ist euer Setting!

,

Moin, wollte ich eigentlich gestern schon schreiben, gemma4 hat ein neues 12B Modell veröffentlicht, das auch auf Hardware mit 16GB Ram laufen soll. Damit gibt es gemma4 jetzt in E2B, E4B, 12B, 26B (a3b) und 31b.

Die E2B oder E4B könnten vielleicht auch interessant für den Raspi sein. Auf dem Handy laufen die ja offline schon gut.