Zeitarchiv – langfristige Messwerte, eigene Dashboards und Energieauswertung für Home Assistant

[bertel2020]

Hallo zusammen,

ich möchte euch mein privates Open-Source-Projekt Zeitarchiv vorstellen. Es ist ursprünglich aus einem Problem entstanden, das mich schon länger begleitet:

Ich nutze seit etwa 13 Jahren Symcon und habe dort inzwischen mehr als 130 Millionen Messwerte aus den Bereichen Energie, Temperatur, Wetter und Betrieb gespeichert. Besonders wichtig sind mir langfristige Vergleiche, ein geringer Speicherbedarf und die Möglichkeit, fehlerhafte Sensorwerte nachträglich zu korrigieren.

Home Assistant verwende ich parallel hauptsächlich für Steuerung, Automatisierungen und die Einbindung unterschiedlichster Systeme. Bei der komfortablen Auswertung und Pflege sehr langfristiger Daten fehlten mir jedoch einige Möglichkeiten. Deshalb ist Zeitarchiv entstanden.

Inzwischen ist daraus deutlich mehr als ein reines Datenarchiv geworden.

Was Zeitarchiv aktuell bietet:

• dauerhafte Speicherung ausgewählter Entitäten, unabhängig von der Aufbewahrungsdauer des Home-Assistant-Recorders

• kompakte Speicherung abgeschlossener Monate mit Parquet und Zstandard

• vorberechnete Zeitintervalle für schnelle Auswertungen über Monate und Jahre

• eigene Dashboards mit frei kombinierbaren Linien-, Balken- und Zeitstrahl-Charts

• Vergleichstabellen mit Entitäten, Summengruppen und eigenen Formeln

• Erkennung und Korrektur von Ausreißern, Lücken und doppelten Zeitstempeln

• Import vorhandener Daten aus Home Assistant, Symcon oder frei zuordenbaren CSV-Dateien

• CSV-Export der vollständigen Rohdaten einer Entität

• planbare und prüfbare ZIP-Backups einschließlich Wiederherstellung

• Housekeeping- und Meldungsbereich für Speicherplatz, ungenutzte Elemente, Datenprobleme und fehlgeschlagene Vorgänge

• automatische Anpassung an Hell- und Dunkelmodus sowie mehrere Farbschemata

Ein größerer neuer Bereich ist das Energiedashboard. Dieses stellt den Energiefluss als Sankey-Diagramm dar und unterstützt unter anderem:

• Netzbezug, Einspeisung, mehrere Erzeuger, Speicher und Verbraucher

• Autarkie und Eigenverbrauch

• Speicherfüllstand und Wirkungsgrad

• Kosten- und CO₂-Bilanz

• PV-Ertragsprognose

• Tageslastprofil

• Vergleiche von Stunde bis Jahr

• Plausibilitätsprüfung und Erkennung veralteter oder auffälliger Werte

Zeitarchiv besteht aus zwei Teilen: einer Home-Assistant-Integration zur Auswahl und Übertragung der Entitäten und einer App beziehungsweise einem Add-on für Speicherung, Auswertung und Datenpflege. Die Oberfläche läuft direkt über den Home-Assistant-Ingress.

Projekt und Installation:

App/Add-on:
https://github.com/bertel2020/HA-Apps/tree/main/zeitarchiv

Integration:
https://github.com/bertel2020/HA-Zeitarchiv

Das Projekt ist kostenlos, vollständig Open Source und nicht kommerziell. Mir geht es darum, eine Lösung bereitzustellen, die ich selbst über Jahre vermisst habe.

Ich würde mich sehr über Tester und ehrliches Feedback freuen – besonders zur Bedienung, zu den Dashboards, zur Datenpflege und zum Energiedashboard. Verbesserungsvorschläge und kritische Hinweise sind ausdrücklich willkommen.

Da es sich um ein privat entwickeltes Projekt handelt, erfolgt die Nutzung auf eigene Verantwortung. Bitte erstellt insbesondere vor Importen, Wiederherstellungen oder größeren Datenänderungen ein unabhängiges Backup.

Viele Grüße
Roberto

[bertel2020]

Warum gibt es Zeitarchiv – trotz Home-Assistant-Langzeitstatistik, Energiedashboard und InfluxDB/Grafana?

Zeitarchiv ist nicht entstanden, weil ich die vorhandenen Lösungen nicht kannte. Im Gegenteil: Ich habe mich lange und intensiv mit InfluxDB, VictoriaMetrics und Grafana beschäftigt und verschiedene Ansätze ausprobiert.

Diese Systeme sind sehr leistungsfähig, waren für meinen Anwendungsfall aber zu aufwendig und führten trotz des erheblichen Einrichtungsaufwands nicht zu dem Bedienkomfort, den ich gesucht habe.

Home-Assistant-Recorder und Langzeitstatistik

Der Recorder von Home Assistant ist in erster Linie die Betriebsdatenbank des Systems. Er versorgt unter anderem die Verlaufsansicht, das Logbuch, Dashboard-Karten und die Langzeitstatistik.

Die vollständige Zustandshistorie wird standardmäßig nur für einen begrenzten Zeitraum aufbewahrt. Dieser Zeitraum kann verlängert werden, dadurch wächst jedoch auch die operative Datenbank.

Für geeignete numerische Sensoren bietet Home Assistant zusätzlich eine Langzeitstatistik. Diese ist für viele Anwendungen vollkommen ausreichend, speichert langfristig aber statistische Verdichtungen beziehungsweise Summen und nicht zwingend sämtliche ursprünglichen Zustandsänderungen in ihrer ursprünglichen zeitlichen Auflösung.

Außerdem müssen Entitäten bestimmte Voraussetzungen erfüllen, beispielsweise eine passende state_class. Andere Sensoren und nicht numerische Zustände können nicht in gleicher Weise langfristig ausgewertet werden.

Zeitarchiv verfolgt deshalb einen anderen Ansatz:

• Es werden nur ausdrücklich ausgewählte Entitäten archiviert.

• Die übertragenen Zustandsänderungen bleiben zunächst vollständig erhalten.

• Auflösung, Rundung und Aufbewahrung lassen sich pro Entität konfigurieren.

• Entitäten können bei Bedarf unbegrenzt aufbewahrt werden.

• Das Archiv ist unabhängig von der Aufbewahrungsdauer des Home-Assistant-Recorders.

Ein wichtiger Schwerpunkt ist dabei die kompakte Speicherung großer Datenmengen. Abgeschlossene Monate werden spaltenorientiert mit Parquet und Zstandard komprimiert. Zusätzlich sorgen vorberechnete Rollups dafür, dass Auswertungen über Monate oder Jahre nicht jedes Mal sämtliche Rohdaten verarbeiten müssen. Dadurch ist Zeitarchiv auf Archive über viele Jahre und Datenbestände mit vielen Millionen bis hin zu mehreren hundert Millionen Messwerten ausgelegt.

Zeitarchiv soll also keine zweite vollständige Home-Assistant-Datenbank sein, sondern ein bewusst ausgewähltes und langfristig nutzbares Messwertarchiv.

Visualisierung und langfristige Vergleiche

Home Assistant bietet gute Standarddarstellungen für den aktuellen und kurzfristigen Verlauf. Auch die Langzeitstatistik kann für viele Sensoren sinnvoll visualisiert werden.

Sobald ich jedoch komplexere und regelmäßig wiederkehrende Vergleiche erstellen wollte, wurde die Umsetzung deutlich aufwendiger. Dazu gehören beispielsweise:

• aktueller Zeitraum im Vergleich zum Vorjahr

• mehrere Jahre nebeneinander

• Monatsvergleiche über unterschiedliche Jahre

• mehrere Entitäten mit verschiedenen Einheiten in einem Chart

• Tabellen mit frei wählbaren Zeitspalten

• Summen aus mehreren Entitäten

• berechnete Werte und eigene Formeln

• dauerhaft gespeicherte, thematisch getrennte Auswertungen

Genau an diesem Punkt hat mich auch Grafana nicht vollständig überzeugt.

Grafana kann grundsätzlich Zeitverschiebungen und Vergleiche abbilden. Ein komfortabler Vorjahresvergleich ist jedoch kein allgemeines eingebautes Feature, das sich für beliebige Datenreihen einfach einschalten lässt. Je nach Datenquelle und gewünschter Darstellung benötigt man dafür angepasste Abfragen, Zeitverschiebungen, Transformationen oder mehrfach konfigurierte Datenreihen und Panels.

Bei einfachen Abfragen ist das machbar. Sobald mehrere Entitäten, unterschiedliche Zeiträume, Summen oder wechselnde Auswertungen beteiligt sind, entsteht jedoch schnell erheblicher Konfigurations- und Pflegeaufwand.

Mein Ziel war eine Bedienung, bei der ich einen Zeitraum auswähle und anschließend einfach „Vorjahr vergleichen“ aktiviere. Die dafür benötigten Abfragen und Zeitverschiebungen soll die Anwendung selbst erzeugen.

Zeitarchiv bietet deshalb:

• Vergleich mit Vorperiode oder Vorjahr direkt in der Verlaufsansicht

• Navigation von einer Stunde bis zu einer Dekade

• Charts mit mehreren Entitäten und unterschiedlichen Einheiten

• frei konfigurierbare Vergleichstabellen

• Summengruppen und eigene Formeln

• frei benennbare Dashboards

• wiederverwendbare Charts und Tabellen

• direkten Wechsel zwischen Kennzahl und Entitätsverlauf

Bereinigung und Pflege historischer Daten

Ein weiterer wichtiger Punkt ist die Datenqualität. Sensoren liefern gelegentlich falsche Werte, springen kurzzeitig auf null oder erzeugen unplausible Zählerstände. Auch Duplikate, Datenlücken und dauerhaft wiederholte Werte kommen vor.

Home Assistant besitzt Werkzeuge zur Prüfung und Korrektur bestimmter Statistikwerte. Es gibt jedoch keinen durchgängigen Arbeitsbereich, in dem sich die ursprüngliche Historie ausgewählter Entitäten systematisch untersuchen, korrigieren und bereinigen lässt.

Auch InfluxDB oder VictoriaMetrics speichern Zeitreihen sehr effizient. Das gezielte Auffinden und komfortable Korrigieren einzelner Home-Assistant-Messwerte ist jedoch nicht ihr primärer Anwendungsfall. Dafür benötigt man Abfragen, Datenbankwerkzeuge oder eigene Wartungsprozesse.

Grafana visualisiert die Daten, ist aber keine Oberfläche zur eigentlichen Datenpflege.

Zeitarchiv stellt diese Aufgaben deshalb direkt in der Oberfläche bereit:

• Ausreißer, Lücken und Duplikate erkennen

• einzelne Messwerte nachträglich korrigieren

• verdächtige Werte zunächst per Soft Delete ausblenden

• Änderungen prüfen, bevor Daten endgültig entfernt werden

• inaktive Entitäten erkennen

• historische Lücken durch Importe schließen

• vorhandene Zeitstempel beim Import nicht erneut anlegen

• widersprüchliche Einstellungen und ungenutzte Auswertungen anzeigen

• Import-, Backup- und Wartungsvorgänge nachvollziehbar dokumentieren

Ein einzelner defekter Sensorwert soll nicht noch Jahre später Summen, Diagramme oder Vergleiche verfälschen.

Energiedashboard

Das Energiedashboard von Home Assistant ist eine gute Standardlösung und für die meisten Installationen der richtige Ausgangspunkt. Zeitarchiv soll es nicht ersetzen.

Das Zeitarchiv-Energiedashboard legt den Schwerpunkt stärker auf langfristige Vergleiche und zusätzliche Auswertungen:

• Sankey-Darstellung mit mehreren Erzeugern und Speichern

• frei benennbare Verbrauchergruppen

• Autarkie und Eigenverbrauch

• Speicherfüllstand und Wirkungsgrad

• Kosten- und CO₂-Bilanz

• PV-Ertragsprognose

• Tageslastprofil

• Navigation von der Stunde bis zum Jahr

• Monatstrends über mehrere Jahre

• direkter Wechsel von einer Kennzahl zum langfristigen Entitätsverlauf

• Plausibilitätsprüfung der Energiebilanz

• Hinweise auf veraltete Sensorwerte

• Erkennung ungewöhnlich hoher Verbraucher

Beide Energiedashboards können problemlos parallel verwendet werden.

Warum nicht InfluxDB, VictoriaMetrics und Grafana?

InfluxDB, VictoriaMetrics und Grafana sind mächtige und bewährte Systeme. Wer sie bereits eingerichtet hat, die Abfragesprachen beherrscht und seine gewünschten Auswertungen damit komfortabel abbilden kann, benötigt Zeitarchiv möglicherweise nicht.

Für meine Anforderungen bedeuteten diese Lösungen jedoch:

• mehrere eigenständige Komponenten installieren und betreiben

• Datenübertragung und Filter konfigurieren

• Abfragen in InfluxQL, Flux, SQL, MetricsQL oder PromQL erstellen

• Zeitverschiebungen und Vorjahresvergleiche selbst konstruieren

• Panels und Dashboards einzeln konfigurieren und pflegen

• Aufbewahrungsregeln festlegen

• Datenbank, Benutzer und Zugriffsrechte verwalten

• eigene Sicherungs- und Wiederherstellungsprozesse einrichten

• für Datenkorrekturen zusätzliche Werkzeuge oder Abfragen verwenden

Trotz langer Beschäftigung mit diesen Systemen erreichte ich damit nicht die Kombination aus einfacher Bedienung, langfristigen Vergleichen, Datenpflege und Home-Assistant-Integration, die ich mir vorgestellt hatte.

Zeitarchiv ist bewusst weniger universell. Dafür sind Archivierung, Visualisierung, Vorjahresvergleich, Datenpflege, Import, Export, Backup und Wiederherstellung in einer auf Home Assistant zugeschnittenen Oberfläche zusammengefasst.

Mein persönlicher Hintergrund

Ich nutze seit etwa 13 Jahren Symcon und habe dort inzwischen mehr als 130 Millionen Messwerte aus den Bereichen Energie, Temperatur, Wetter und Betrieb gespeichert.

Home Assistant verwende ich hauptsächlich für Steuerung, Automatisierungen und die Integration unterschiedlichster Systeme. Bei Symcon schätze ich dagegen die unkomplizierte Langzeitspeicherung, schnelle Vergleiche und die Möglichkeit, fehlerhafte historische Werte nachträglich zu korrigieren.

Zeitarchiv ist aus dem Wunsch entstanden, diese Arbeitsweise direkt in Home Assistant zu ermöglichen – mit deutlich weniger Einrichtungs- und Pflegeaufwand als bei einer selbst zusammengestellten Lösung aus externer Zeitreihendatenbank und Grafana.

Kurz gesagt: Zeitarchiv richtet sich an Anwender, die ausgewählte Daten nicht nur langfristig und platzsparend aufbewahren, sondern sie auch komfortabel vergleichen, visualisieren, kontrollieren, sichern und bei Bedarf korrigieren möchten.

[bertel2020]

Für Fragen, Ideen oder Anregungen gerne GitHub Discussions nutzen.

bertel2020 HA-Apps · Discussions

[bertel2020]

Zeitarchiv 1.0.0 ist da!

Seit 0.94.0 hat sich einiges getan. Die Highlights:

Versorgungsanteile im Energiedashboard zeigen auf einen Blick, woher dein Strom kommt: Solar, Netz oder Speicher.

Migrations-Assistent: Hat Home Assistant ein Gerät ersetzt oder umbenannt? Der komplette Verlauf lässt sich jetzt in die neue Entität übertragen, samt automatischer Einheiten-Umrechnung.

Verdichten: Alte Monate lassen sich nachträglich auf eine gröbere Auflösung reduzieren, um Speicher zu sparen. Dank neuer Min/Max-Werte gehen kurze Spitzen dabei nicht verloren.

Jahresvergleich im Chart-Editor gibt es jetzt mit Laufsumme und eigener Ziellinie.

Dazu kommen eine schnellere, stabilere Datenbank, eine Datenintegritäts-Prüfung und viele Fehlerbehebungen.

Danke an alle Tester! Das Update ist ab sofort verfügbar.

[bertel2020]

Zeitarchiv 1.2.0 für Home Assistant ist verfügbar!

Hallo zusammen,

seit der ersten öffentlichen Version 1.0.0 habe ich Zeitarchiv um mehrere Funktionen erweitert und zahlreiche Verbesserungen an Stabilität, Datenpflege, Diagrammen und Bedienung vorgenommen.

Die größte Neuerung ist eine vollständig englische Benutzeroberfläche inklusive englischer Dokumentation. Die Sprache lässt sich manuell auswählen oder automatisch erkennen.

Was ist seit Version 1.0.0 neu?

Erkennung von Zählerrückgängen

Zeitarchiv erkennt jetzt fallende Zählerstände und unterscheidet dabei zwischen Werten, die anschließend wieder zum vorherigen Stand zurückkehren – meistens ein fehlerhafter Messwert – und Werten, die dauerhaft niedriger bleiben, beispielsweise nach einem Zählerwechsel.

Zähler, die sich regelmäßig zurücksetzen, können von diesen Warnungen ausgenommen werden. Wahrscheinliche Fehlwerte lassen sich manuell prüfen oder optional automatisch zur Löschung markieren.

Neuer Reiter „Markiert“

Alle zur Löschung markierten Werte können jetzt zentral überprüft werden. Einzelne Werte oder vollständige Chargen lassen sich wiederherstellen oder endgültig entfernen.

Zeitarchiv zeigt außerdem, warum die Werte markiert wurden und wann sie bei aktivierter automatischer Bereinigung gelöscht werden.

Änderungsverlauf der Daten

Der neue Reiter „Verlauf“ zeigt chronologisch, welche Änderungen an den Daten einer Entität vorgenommen wurden. Dazu gehören:

• Korrigierte Werte einschließlich des alten und neuen Wertes
• Zur Löschung markierte und wiederhergestellte Werte
• Hinzugefügte und endgültig entfernte Werte
• Durchgeführte Datenverdichtungen

Verbesserte Vergleiche und Diagramme

Vergleiche mit dem Vorjahr oder der Vorperiode zeigen jetzt zusätzlich die Summe bis zum gleichen Tag.

Angeschnittene Zeiträume werden dabei korrekt berücksichtigt: Ein Vergleich „bis zum 6. Oktober“ enthält beispielsweise nicht mehr den gesamten Oktober des Vergleichsjahres.

Die tabellarische Legende funktioniert jetzt auch bei Vorjahresvergleichen mit Laufsumme und wurde für kleinere Bildschirme verbessert.

Neue Status-Kachel

Eine neue Dashboard-Kachel fasst wichtige Zustände zusammen:

• Inaktive Entitäten
• Zu prüfende Zählerrückgänge
• Doppelte Zeitstempel
• Zur Löschung markierte Werte

Die einzelnen Einträge führen direkt zum passenden Bereich im Housekeeping.

Import aus VictoriaMetrics

Neben Home Assistant, Symcon und CSV-Dateien lassen sich historische Daten jetzt auch einmalig aus VictoriaMetrics importieren.

Einstellbare Warnungen für veraltete Werte

Für jede Werte-Kachel kann festgelegt werden, wann sie als veraltet markiert werden soll. Dadurch erscheinen Tageswerte oder selten aktualisierte Zähler nicht mehr dauerhaft als Warnung.

Verbesserungen an Stabilität und Zuverlässigkeit

Seit Version 1.0.0 wurden außerdem mehrere wichtige Probleme behoben:

• Ein Datei-Handle-Leck konnte nach längerer Laufzeit zum Fehler „Too many open files“ führen. Dieses Problem wurde behoben.
• Die Duplikatprüfung funktioniert jetzt auch bei Entitäten mit sehr vielen Rohwerten.
• Ein fehlgeschlagener Wartungsschritt blockiert Backups, Aufbewahrung, Kompaktierung und automatische Bereinigung nicht mehr.
• Zeiträume und Beschriftungen stimmen nun auch dann, wenn Browser und Home Assistant unterschiedliche Zeitzonen verwenden.
• Gestapelte Balken werden korrekt zugeordnet, wenn Datenreihen in unterschiedlichen Monaten oder Jahren beginnen.
• Vergleichstabellen funktionieren besser auf schmalen Bildschirmen.
• Ausgeblendete Tabellenzeilen werden in Summen und Anteilen korrekt berücksichtigt.
• Eine Division durch null zeigt „–“ anstelle einer Fehlermeldung.
• Bezugsstände von Zählern werden auch dann korrekt gefunden, wenn für einzelne Monate keine Archivdatei vorhanden ist.

Vielen Dank an alle, die Zeitarchiv getestet, Rückmeldungen gegeben und Fehler gemeldet haben.

Zeitarchiv bleibt weiterhin kostenlos, nicht kommerziell und vollständig Open Source.

Ich freue mich weiterhin sehr über Rückmeldungen, Verbesserungsvorschläge und Fehlerberichte.

Viele Grüße
Roberto

[luha68]

Hallo Roberto

Interessanter Ansatz, insbeondere für Leue wie mich, die sich mit dem ganzen Datenbankthema (Grafana & Co.) zumindest mal noch nicht so intensiv auseinandergesetzt haben. Eine einfache Archivierung von Langzeitwerten und deren grafische Darstellung ist sicherlich im Hinblick auf den Massenmarkt absolut sinnvoll!

Das gesagt… habe ich das also installiert und konfiguriert, das Zeitarchiv läuft. Und nun? Wie bekome ich denn nun eine Entität - beispielsweise meine gelaufenen Schritte ins System rein? Und noch eine Herausforderung:

“3. Integration verbinden …und in Home Assistant über Einstellungen → Geräte & Dienste → Integration hinzufügen → Zeitarchiv einrichten….” - das wird mir gar nicht angeboten, obwohl der “Server” bzw. die App läuft.

Was mache ich falsch, wo liegt mein Denkfehler?

Danke und viele Grüße, Lutz

[bertel2020]

Zeitarchiv 1.3.0 für Home Assistant ist verfügbar!

Hallo zusammen,

mit Version 1.3.0 wird die internationale Nutzung von Zeitarchiv weiter verbessert. Neben der Sprache können jetzt auch Zahlen-, Datums- und Währungsformate unabhängig voneinander eingestellt werden.

Neu in Version 1.3.0

Zahlen- und Datumsformate

Unter „Darstellung“ stehen nun drei Formate zur Auswahl:

• Deutsch
• English UK
• English US
• Automatisch entsprechend der Browsereinstellung

Die Auswahl gilt für die gesamte Oberfläche sowie für Diagramme und Tabellen. Das US-Format verwendet zusätzlich die 12-Stunden-Anzeige.

Einstellbare Währung

Für das Energiedashboard kann jetzt eine eigene Währung ausgewählt werden:

• Automatisch aus Home Assistant
• Euro
• Britisches Pfund
• US-Dollar
• Schweizer Franken

Dabei werden Währungssymbol, Position und Untereinheit wie Cent, Pence oder Rappen passend dargestellt.

Wichtig: Zeitarchiv führt keine Währungsumrechnung durch. Nach einem Wechsel der Währung müssen die hinterlegten Preise entsprechend angepasst werden.

Weitere Verbesserungen der Übersetzung

Auch gespeicherte Hinweise sowie Meldungen zu Bereinigung, Wartung und Backups erscheinen jetzt in der aktuell gewählten Sprache.

Zusätzlich wurden übersetzt:

• Laufzeit- und Altersangaben
• Add-on-Konfiguration und Portbeschreibung
• Fehlertexte der Einstellungen
• Rückmeldungen der API
• Namen und Entitäten der Demo-Daten

Die Sprache steht nun standardmäßig auf „Automatisch“ und folgt der Browsersprache. Auch bestehende Installationen ohne gespeicherte Sprachauswahl verwenden diese Einstellung.

Verbesserte Darstellung von Schaltern

Diagramme, die ausschließlich Schalter enthalten, werden jetzt automatisch als Zeitstrahl geöffnet. Beim Wechsel des Zeitraums bleiben die dafür benötigten Rohwerte erhalten.

Behobene Fehler

• „Wert hinzufügen“ und „Verdichten“ berücksichtigen jetzt zuverlässig die Zeitzone des Servers.
• Ein Fehler in der Sankey-Legende bei mehreren gleichnamigen Einträgen wurde behoben.
• Fehlermeldungen in den Einstellungen wurden vereinheitlicht und an die gewählte Sprache angepasst.

Zeitarchiv ist weiterhin kostenlos, nicht kommerziell und vollständig Open Source.

Ich freue mich weiterhin über Rückmeldungen, Verbesserungsvorschläge und Fehlerberichte – insbesondere zu den neuen Sprach-, Format- und Währungseinstellungen.

Viele Grüße
Roberto

[bertel2020]

@luha68

be ich das also installiert und konfiguriert, das Zeitarchiv läuft. Und nun? Wie bekome ich denn nun eine Entität - beispielsweise meine gelaufenen Schritte ins System rein? Und noch eine Herausforderung:

“3. Integration verbinden …und in Home Assistant über Einstellungen → Geräte & Dienste → Integration hinzufügen → Zeitarchiv einrichten….” - das wird mir gar nicht angeboten, obwohl der “Server” bzw. die App läuft.

Hast du auch die dazugehörige Integration installiert? Dort definierst du dann über Filter welche Entitäten ins Zeitarchiv “wandern”, am besten ist es mit einem Label zu arbeiten. Wenn es nicht klappt, einfach nochmal melden.

Grüße, Roberto

[luha68]

Hi Roberto, Danke für die Rückmeldung. Hatte mich zwischenzeitlich nochmal damit beschäftigt und alles läuft genau so, wie es soll! Bin fleissig am Datensammeln! Nochmals Danke für die tolle Lösung!

Viele Grüße, Lutz

[bertel2020]

Prima, das freut mich! Viel Spaß mit Zeitarchiv (und gerne ein Stern bei Github hinterlassen )
Grüße, Roberto

[Smartzeug]

Roberto, die Erkennung von Zählerrückgängen und die Möglichkeit, alte Fehlwerte nachträglich sauber zu korrigieren, finde ich fast spannender als das nächste hübsche Energiedashboard

Gerade bei PV, Wärmepumpe und Verbrauchsdaten über mehrere Jahre können einem solche Ausreißer die ganzen Vergleiche versauen.

Was mich noch interessieren würde: Hast du einen groben Praxiswert, wie viel Speicherplatz beispielsweise eine Million Messwerte nach der Komprimierung benötigen?

Das wäre für viele sicherlich interessant, die ihre Daten langfristig archivieren möchten

[bertel2020]

Hi Uğur, ja, das Energiedashboard ist sozusagen nur das Sahnehäubchen . Das wichtigste (und auch der Hauptgrund für die Entwicklung) ist das Thema kompakte Speicherung, Datenpflege und Auswertung/Visualisierung.
Du spricht genau einer der zentralen Punkte von Zeitarchiv an. Meine produktive Instanz (noch nicht alles migriert) belegt aktuell mit über 21 Mio. Datensätze ca. 200 MB! Darin sind viele Entitäten mit 13 Jahre Historie. Man kann also grob von ca. 10MB pro 1 Mio. Datensätze ausgehen. Wichtig ist, dass Zeitarchiv nicht als “Müllhalde” gedacht ist, sondern gezielt die Daten speichern soll, die man für lange Zeit aufbewahren und auswerten möchte (z. B. Energie, Wetter usw.).
Grüße, Roberto

[bertel2020]

ZEITARCHIV 1.5.0 – GROSSES UPDATE

Zeitarchiv 1.5.0 ist verfügbar und vereint die Neuerungen der Versionen 1.4 und 1.5.

ENERGIEDASHBOARD

• Geräte können jetzt einem Zwischenzähler zugeordnet werden.
• Verbräuche werden dabei nicht doppelt gezählt.
• Sankey-Diagramm, Verbraucheranteile, Charts und Energiebericht zeigen die Geräte unter dem jeweiligen Zwischenzähler.
• Nicht zugeordneter Verbrauch erscheint automatisch als „übrige Verbraucher“.
• Ein neuer Grundpreis in Euro pro Monat kann als Entität oder fester Wert hinterlegt werden.
• Fehlende Arbeits-, Einspeise- oder Grundpreise werden deutlich gekennzeichnet.
• Ein Fehler bei selten geänderten Preis-Helfern wurde behoben.

EXTERNE BACKUPS

Backups können zusätzlich auf ein externes Ziel übertragen werden:

• NFS- oder SMB/CIFS-Netzwerkspeicher
• WebDAV, beispielsweise Nextcloud
• Verbindungstest direkt in Zeitarchiv
• Eigene Aufbewahrung für das externe Ziel

Das lokale Backup bleibt erhalten. Schlägt die Übertragung fehl, versucht Zeitarchiv sie beim nächsten Backup erneut.

Die Netzwerkspeicher-Auswahl ist jetzt übersichtlicher und einklappbar. Nicht eingebundene Speicherorte werden getrennt angezeigt.

NEUER CSV-EXPORT

Der neue Assistent ermöglicht:

• Auswahl von Zeitraum und Auflösung
• Export mehrerer Entitäten gleichzeitig
• Automatische ZIP-Datei mit einer CSV pro Entität
• Vorherige Schätzung der Dateigröße

ZÄHLERRÜCKGÄNGE

Die Übersicht wurde überarbeitet. Vor dem Markieren fehlerhafter Werte zeigt Zeitarchiv genau, welche Daten betroffen sind. Direkte Links führen anschließend zu den markierten Werten.

ZEITARCHIV-INTEGRATION 0.20.0

Die passende Home-Assistant-Integration zeigt nun auch den Status externer Backups an. Fehlgeschlagene Übertragungen können über den Binary-Sensor „Backup fehlgeschlagen“ erkannt und in Automationen verwendet werden.

UPDATE:

• Zeitarchiv-App über den Home-Assistant-Add-on-Store
• Zeitarchiv-Integration über HACS

App und Dokumentation:
https://github.com/bertel2020/HA-Apps/tree/main/zeitarchiv

Integration:
https://github.com/bertel2020/HA-Zeitarchiv

Viel Spaß mit dem Update! Feedback und Erfahrungsberichte sind wie immer willkommen.

[Caipijoe]

Super Umsetzung!

Wird bei einem Backup alles gespeichert, so dass man bei einem Wechsel alles wieder auf dem neuen System hat und alles wieder läuft?

[bertel2020]

Ja – auf der Zeitarchiv-Seite ist das Backup vollständig und für einen Systemwechsel gedacht.

Gesichert werden unter anderem:

• sämtliche archivierten Messwerte einschließlich des laufenden Monats

• alle Verdichtungsstufen

• Entitätseinstellungen und Korrekturen

• eigene Charts, Tabellen und Dashboards

• die Konfiguration des Zeitarchiv-Energiedashboards

• die übrigen Einstellungen und der API-Token

Auf dem neuen System installiert man Zeitarchiv, lädt die ZIP-Datei hoch und stellt sie wieder her. Das Backup wird vorher auf Prüfsummen, Struktur und Datenbankintegrität geprüft. Der bisherige Datenbestand wird beim Einspielen zudem als Rückfallebene aufgehoben.

Eine wichtige Unterscheidung gibt es: Die portable Zeitarchiv-Sicherung enthält nicht die Konfiguration der Custom Integration innerhalb von Home Assistant. Bei einer vollständigen HA-Wiederherstellung kommt diese automatisch mit. Setzt man HA komplett neu auf und übernimmt nur das Zeitarchiv-Backup, muss man die Integration noch einmal verbinden und die Archivfilter neu auswählen beziehungsweise aus dem zuvor exportierten YAML importieren.

Kurz gesagt: Alle Archivdaten und im Zeitarchiv erstellten Auswertungen ziehen mit um. Bei einer sauberen HA-Neuinstallation ist lediglich die Verbindung zwischen HA und Zeitarchiv neu einzurichten.

[Caipijoe]

Vielen Dank, dann werde ich es mal ausprobieren, scheint ja eine echte Alternative zu Grafana zu sein.

[bertel2020]

Gerne, viel Spaß beim Ausprobieren! Wenn du Fragen hast oder Erfahrungen teilen möchtest, schau in die GitHub Discussions. Fehler und konkrete Verbesserungsvorschläge kannst du als GitHub Issue melden.