ich habe mal ein etwas anderes Thema: Wie handhabt ihr das mit KI in der Cloud?
Den Artikel zum lokalen Betrieb habe ich gelesen und fand ihn auch sehr interessant. Allerdings benötigt eine lokale Lösung ja doch einiges an Ressourcen, und das steht bei mir aktuell nicht ganz oben auf der Liste.
Ich nutze derzeit ChatGPT in der bezahlten Version für rund 23 Euro im Monat. Grundsätzlich bin ich damit auch zufrieden, allerdings ist ChatGPT bei mir teilweise recht langsam. Außerdem habe ich gerade bei längeren Texten manchmal das Gefühl, dass der Zusammenhang nicht immer sauber gehalten wird.
Daher kam bei mir der Gedanke auf, ob Claude vielleicht gerade beim Formulieren und Überarbeiten von Texten besser geeignet sein könnte. Habt ihr damit Erfahrungen?
Oder kennt ihr eine gute Plattform, idealerweise auch mit App, bei der man mehrere KI-Modelle zusammen nutzen kann, also zum Beispiel ChatGPT, Claude und eventuell auch Gemini?
Außerdem habe ich viel über Token gelesen. Weiß jemand, wo man bei ChatGPT sehen kann, wie viele Token man aktuell verbraucht hat bzw. welche Limits man pro Stunde oder Tag hat?
Du kannst auch heute schon sehr gut mit lokalen Ki arbeiten ohne das man eine rissige Hardware kaufen muss und zwar mit Ollama! Da kann man lokale Modelle wie auch online Modelle drin verwenden! Für nicht zu hohe Anforderungen die Lokale verwenden und mit mehr Ressourcen die Online Modelle! Das funktioniert sehr gut!
ich bin auch auf der Suche nach einer Möglichkeit mehrere KI-Modelle über eine Plattform zu nutzen und bin dabei vor kurzem auf Mammouth AI gestoßen. Ich bin noch am überlegen ob ich mir das zulege aber vielleicht kennt der Eine oder Andere diese Plattform und kann dazu was sagen?
Es sollen überwiegend Texte laufen, bei ChatGPT fällt auf das dieser oft den Kontext vergisst nach einiger Zeit in einem Chat.
Ich wollte nur fragen ob ihr außer der Lokalen Geschichte auch mit Online Projekten Cloud Erfahrungen habt.
Bin über dieses gefallen Mammouth AI scheint ein Kompromiss zu sein, wo man alle Cloud Produkte an einem Ort hat. Nur leider weiß ich nicht mit den Token alles läuft.
Hi, habe mal ein wenig zum Anbieter Mammouth AI gelesen. Ist ein europäischer Anbieter, allerdings sollen sie Modelle sich nicht so verhalten wie sie sollen, wenn man sich die Bewertungen auf trustpilot durchliest. Macht daher keinen guten Eindruck auf mich.
Zuerst musst du dich fragen was du machen möchtest. Wenn die Hauptintension Texterfassung und Textgeneration ist, dann kannst du fast jedes Modell nutzen. Gemini ist da eigentlich immer kreativ und setzt das bei weitem besser um, wie coding Aufgaben. Auch Bilder lassen sich mit gemini gut generieren und man hat ein großen Kontingent an Nutzung. Für 4,99€ im Monat, wurde gerade gesenkt, bekommst du noch ein größeres Limit.
Für Texte könntest allerdings auch kleinere lokale LLM gut nutzen. Da würde sicherlich schon ein gemma4-E4B oder gemma4-12B ausreichen und gute Ergebnisse erzielen. Vorteil, die Daten verlassen nicht dein Netzwerk und du bist an kein Limit gebunden.
Sobald es um coding geht, sind gpt und claude die bessere Wahl. Hier sind auch MiniMax3 oder Kimi2.7 zu nennen! Diese kann man für wenig Geld über openrouter nutzen. Dort gibt es auch immer eine hand voll free LLMs die genutzt werden können und auch hier sind die wieder sehr gut für Textgenerierungen und kleinere Aufgaben. Lokal wäre dann Qwen3.5 oder 3.6 eine gute Wahl für coding Aufgaben.
Opencode, ist ein opensource Coding AI Agent sehr ähnlich zu Claude Code hat ebenfalls immer free Modells die wechseln regelmäßig und kann man durchaus gut nutzen kann. Meist ist auch immer ein aktuell ziemlich gutes LLM dabei.
Ich nutze aktuell Qwen3.6-35b-A3B-8Bit über LLM Studio mit meinem Hermes Agenten und heute war mal ein Tag wo ich wirklich keine Cloud LLM nutzen musste. Konnte alles mein lokales LLM erledigen. Braucht aber leider auch schon gut RAM (knapp 40GB) und dazu kommt der Context wenn man lange Unterhaltungen führen möchte (20GB mehr kommen schnell zusammen). Ich kann bei mir die 262k Token die vom Modell maximal funktionieren nutzen und so macht das mit dem Hermes Agent echt Spaß. Den könnte ich nebenbei auch den ganzen Tag beschäftigen und mir irgendwelche Texte themenbezogen schreiben lassen.
Vielen Dank für den Top Bericht und die tollen Erklärungen.
Lokal werde ich derzeit nichts machen, dafür fehlt leider die Zeit und Hardware und diese ist derzeit recht teuer auf dem Markt.
Denke dann bleibe ich erstmal bei ChatGPT wenn das andere nicht so dolle ist, wäre auch ein Traum gewesen für das selbe Geld mehrere Modelle zu bekommen, aber verschenken tut keiner was nicht wahr.
Vielen lieben Dank, dass ihr so nett gewesen euer Wissen zu teilen.
Gerne, ja du bist mit deinem Abo schon gut dabei.
Gemma4-E4B und gemma4-E4B kannst du auch auf sehr kleiner Hardware verwenden. Die laufen sogar auf dem Handy! Von google gibt es die ai gallery app, damit kannst du die Modelle über Handy betreiben oder auf dem PC über LM Studio zum Beispiel. Da reichen 2-4GB RAM für aus, läuft also auch auf sehr schmaler Hardware!
geb auch mal meinen Senf dazu , ich hatte Probleme mit meinem Proxmox Server und dachte ich lass Claude Code mal per SSh drauf und war sehr überrascht wie gut das läuft
Proxmox repariert und dann hab ich ihn gleich noch neuen container erstellen lassen, irre was da möglich ist , er test auch gleich immer ob es tatsächlich funktioniert
auch in Home assistant per MCP server schon ja schon einiges gehn
wenn dieser die Meinung teilt.
Braucht aber leider auch schon gut RAM (knapp 40GB) und dazu kommt der Context wenn man lange Unterhaltungen führen möchte (20GB mehr kommen schnell zusammen). Ich kann bei mir die 262k Token die vom Modell maximal funktionieren nutzen und so macht das mit dem Hermes Agent echt Spaß. Den könnte ich nebenbei auch den ganzen Tag beschäftigen und mir irgendwelche Texte themenbezogen schreiben lassen.