Hallo Zusammen,
ich spiele mit dem Gedanken meinen mittlerweile in die Jahre gekommenen Intel NUC gegen was neues zu tauschen. Jetzt brauche ich bitte mal ein paar Denkanstöße.
Es werden ja von den Herstellern die neuen PC ja mit massig KI beworben.
Asus hat ja die NUCs mit Core Ultra Prozessoren mit bis zu 99 TOPS.
Beelink wirbt ja mit einem AMD Ryzen AI Max+ und 126 TOPS.
etc. PP jetzt mal nur so als Beispiel.
Mein Google Coral für Frigate hat z.B. 2TOPS pro watt.
Ich würde mich gerne auch lokal mit LLMs beschäftigen. Aber ich habe gelesen das z.B. Ollama nicht mit einem Google Coral TPU arbeiten kann. Denn Ollama benötigt Grafikkarten für die Beschleunigung.
Kann man mit diesen neuen Prozessoren lokale LLms betreiben oder ist das, so wie ich mir das Denke ohne Ahnung zu haben, nur Marketing Bullshit. Hab mich mit dem Thema KI und LLMs nicht wirklich beschäftig aber das was ich bisher gelesen habe war, das man da vor allem fette Grafikkarten braucht.
Wie gesagt der neue Mini PC soll als Ergänzung für meinen aktuell NUC herhalten und wird mit ein paar VMs unter Proxmox hauptsächlich im Idle vor sich hin dümpeln. Wenn ich jetzt einen Graka Stromfresser brauche bin ich beim dem Thema nämlich sofort wieder raus 
Gruß Augustiner
Ich hab einen Server mit einer 3090 ausgestattet und Spiel mit KI rum.
Entweder, du brauchst eine Fette Grafikkarte, sodass sich das lohnt.
Oder einen der neuen Chips, wobei du da viel RAM holen musst.
Ein Vorteil ist bei den neueren Chips, dass die wie Apple, CPU und memory auf den gleiche RAM drauf zugreifen können.
Nachteil: damit es hohe nutzbare Bandbreiten für den memory bus gibt, hast du fast immer verlöten RAM.
So auch die Erklärung, warum der Framework Desktop gelöteten RAM hat.
Aber ich glaube, es kommt auch stark drauf an, was du machen willst.
Ist wie bei Spielen und Anwendungen.
Einge haben weniger Anforderungen als andere.
Zudem sind manche mit ein bisschen Wartezeit Happy und andere wiederum nicht.
Thema Stromfresser Grafikkarte:
Die VM, wo ich die GPU Durchreiche, muss laufen. Denn wenn ich die ausmache, zieht die mehr Strom, da mein Treiber die Karte anspricht und sagt: mach Mal ruhiger.
Könntest zum Beispiel whisper laufen lassen.
Aber dafür reicht auch eine flotte CPU.
2 „Gefällt mir“
Ich hatte mich hier bisher mit der PaperlessAI Erweiterung gespielt. Aber auf meinem alten NUC hat die AI nach 12 Stunden bei 100% Prozessor Auslastung es nicht hinbekommen mir zu sagen was 1 + 1 ist.
Auf was ich raus will kann aktuell noch nicht wirklich sagen da ich ja nicht mal weiß was geht und wie.
Whisper habe ich bei mir schon laufen und mich auch mit dem aktuellen Stand der Sprachsteuerung in HA beschäftigt. Das funktioniert auch grundsätzlich. Aber ich habe das Projekt wieder eingemottet weil ich so oft Fehlerkennungen habe. Wenn das mit der Hey Jarvis oder OK Nabu Wort Erkennung nicht zuverlässiger läuft bekomme ich von meine Frau hier keine Freigabe.
Danke für die Erklärung mit dem Verlötetem Ram. Das ist mir nämlich auch schon aufgefallen und ich hab mir gedacht WTF. Aber um die letzten % an Leistung da rauszuholen macht das dann sicher sinn auch wenn es um spätere Aufrüstung natürlich schade ist.
Ich warte mit der art von Hardware bis zB Ollama nativ auf den NPU’s laufen kann.
Das ist meines Wissens nach, heute noch nicht machbar (siehe Request for Support of AMD Ryzen AI Platform NPU · Issue #11199 · ollama/ollama · GitHub)
Daher ist es noch zu frueh, um neue Hardware zu kaufen.
2 „Gefällt mir“
Danke für den Link, genau sowas dachte ich mir ja bereits.
Dann wird mein neuer Mini PC eher was mit Core 13 oder 14 um einfach ein bisschen mehr Ressourcen zu haben. Dieser wird dann meine NUC aus dem Jahr 2014 ersetzen.
Aber eins muss ich sagen. Das Ding ist klasse bis auf einige Lüfterreinigungen läuft das Teil seitdem 24/7 durch.
Ich baue mir gerade ein System mit einem intel n305 auf
es gibt auch mini pc’s mit dem prozessor.
Ich denke die Leistung sollte mehr als reichen und diese sind dennoch Stromsparend.
1 „Gefällt mir“
@ctrlHome
Was braucht denn der n305 Strom ?
Bei mir läuft der Frigate aktuelle mit 6 Streams und Coral auf einem Intel Core i3-8109U bei 24Watt und 30% Auslastung.
hier was chatGPT gefunden hat (das sollte von der Werten ca hinkommen).
Intel Core i3-8109U (Coffee Lake-U, ~2018)
Zusammenfassung i3-8109U: Der geplante TDP liegt bei 28 W, mit cTDP-down Option 20 W. In Realität liegen Lastspitzen oft im Bereich von 32–36 W.
Intel Core i3-N305 (Alder Lake-N, ab 2023)
- TDP: 15 W, konfigurierbar bis runter auf 9 W (cTDP-down) IntelNotebookcheck
- Real gemessener Verbrauch (Beelink EQ12 Pro Mini-PC):
- Idle: 11–12 W im High-Performance-Modus, 9–10 W im Power-Saving-Modus ServeTheHome
- Lastspitzen: bis 34–36 W, danach Abfall auf 24–26 W sustained ServeTheHome
- Weitere Messung (7-Zip Benchmark):
- Idle-Messung laut Reddit-Community:
- ~17–18 W idle ohne HDDs (einige berichten von 10–12 W) Reddit
Zusammenfassung i3-N305: Der nominelle TDP liegt bei 15 W, mit Konfigurationsmöglichkeit bis 9 W. In der Praxis gemessene Lastpeaks können jedoch kurzzeitig bis zu 50 W erreichen, mit nachhaltigem Verbrauch zwischen 24–36 W unter Last.
OK ich dachte du hast von deinem System schon echte Werte.
nein, das board ist erst bestellt und leider noch nicht erhalten 
… aber ich werde berichten 
… aber ich werde berichten 