Datenbank aufräumen, säubern und klein halten

[kleiner Schelm]

Ich hab vergessen zu schreiben, dass ich immer wieder backups auf PC auf Backup Festplatte sichere. Es gibt ein aktuelles 40 GB Backup auf PC. Auch einige ältere backups. Ich kann also schon auch was wieder herstellen. Auf dem home assistant Rechner habe ich die backups runter geschmissen, dass sicher ist, dass da nix mehr in die Suppe spucken kann.

Ist mir schon klar, dass meine wirren versuche für dich zu kopfschütteln führen. Deshalb auch hier mein Versuch, dass ihr, die ihr Ahnung habt, helft. Wobei ich da natürlich das Nadelöhr bin, da ich vieles spezielles noch nicht kapiere. Es ist nicht so, dass ich in wildem Aktionismus irgendwas mache, was ich im Internet finde. Sonst würde ich hier nix fragen und um Hilfe bitten.

Durch meine geringen Kenntnisse habe ich bestimmt für viel datenmüll gesorgt. Wenn ich z.b. esphome Geräte angelegt und dann wieder gelöscht habe.

 

[kleiner Schelm]

Ich hab zwar keine Ahnung bzgl. HomeAssistant und von den Backups brauchen wir garnicht reden, aber... Kann man so ein HomeAssistant-Backup nicht auch einfach entpacken bzw. reinschauen? Dann müsste man doch die großen Dinge finden können... Mitunter halt mal irgendwohin entpacken (sofern möglich, sollte aber eigentlich ein "tar"-File sein, sowas kann man z.B. mit 7-Zip entpacken, ggf. kann Windows das ja mittlerweile schon von Haus aus) und dann mal mit einem Tool wie Treesize Free (Link) den Ordner analysieren lassen und dann werden einem die dicken Brocken auch schon direkt ganz oben angezeigt.

Das kann ich mal versuchen. Ich hole die Datenbank auf PC. Diese sollte ich mit sqlite browser öffnen können.

 

[u5zzug]

der versucht, alle Zeilen einer Tabelle anzuzeigen. Bei den 200 Millionen events ist er hängengeblieben.
Ansonsten, ja, kannst du in das Tar gucken und sehen, dass die DB groß ist.
Ich hab auch nichts gemacht, außer weitere excludes im Recorder einzurichten und im Entw.tool die Statistik unbenutzter Sensoren zu löschen und purge repack auszuführen.

 

[u5zzug]

es gibt ein Addon sqliteWeb, das zeigt nur kleine Portionen Daten an

 

[kleiner Schelm]

hallo,

die db2 ist nach runter laden nur 33 MB gross. Ich hab jetzt auch mal ein altes tar backup extrahiert. Wo finde ich denn das Datenbank File ?

das paswort für db2 :

Das MQTT-Passwort lässt sich auf der Konsole des Home Assistant Systems in der Datei /mnt/data/supervisor/homeassistant/.storage/core.config_entries finden. Der entsprechende Eintrag sieht bei mir wie folgt aus:

oha, das gilt nur, wenn man die datenbank ausgelagert hat. wie komm ich an das passwort meiner standard datenbank ?

 

[kleiner Schelm]

Ich lösch jetzt unter entwicklerwerkzeuge statistiks einiges an Entitäten. Dann bereinigen ich am besten nochmal über aktion und bereinigen. Hoffentlich bringt das was. Ich muss ganze Geräte mit purge raus nehmen, die nicht mehr in die langzeitstatistik gehen dürfen. Vom jk bis zum beispiel. Da sind alleine 16 Entitäten Widerstand der einzelnen Zellen vorhanden. Auch die einzelnen Spannungen. Wen interessiert, was da letzte Woche für Daten waren. Da interessiert nur das aktuelle.
Weiter habe ich jetzt sqlite web installiert. Meine Datenbank wird mit 125 GB gemeldet. Das ist ein mächtiges Tool. Hier werde ich die Datenbank verkleinern, alles mögliche an langzeit Entitäten raus löschen. Wer hier erfahrung hat, mir Tipps geben kann, was ich beim rum Schrauben an der sqlite Datenbank beachten muss, bitte sagen.

 

[u5zzug]

Mach dir nicht zu viel Mühe auf einmal damit, nach solchen Aktionen ist mir regelmäßig an nächsten Tag die DB kaputt. Und der Platz wird immer weniger, weil ich da so seltsame korrupte DB Dateien habe, die sind in smb völlig unbekannt, haben keinen Typ, kein Datum, nichts außer einem Namen und ich habe den Eindruck, es wird auch nicht mehr Platz, wenn ich die im HA cli lösche.

 

[kleiner Schelm]

Das hört sich nicht gut an. Wenn ich Entitäten aus der Datenbank löschen, sollte das Backup kleiner werden. Zumindest gibt es eine Warnung, wenn man die entität löscht, sich alle aufgezeichneten Daten verloren. Es ist aber auch so, dass oft verwaiste files auf der Festplatte verbleiben. Ich kenn das von früher von den Festplatten, da musste man ab und an "aufräumen" damit der Speicherplatz freigegeben wird. Das ganze löschen der Entitäten dauert bestimmt auch sehr lange. Danach muss die Datenbank auch reorganisiert werden. Ich lass einen 40 GB Backup auf der Festplatte.
Ich hab keine chance, die grösse ist viel zu hoch. Wenns alles nix hilft, sind die alten Daten weg und ich fang 2026 ganz neu an mit Daten sammeln, wobei ich dann gleich viel ausschließen muss. Hoffentlich bekomme ich das aber gebacken, dass die Energie dashboard Daten erhalten bleiben.
So wie ich das sehe, gibt es 5 Millionen Zeilen, jede Zeile hat 12 Zellen. Da sind 2.600 Entitäten vorhanden.


das habe ich gefunden:

Heute früh sieht es jetzt schon ganz anders aus, obwohl ich an den Einstellungen nichts geändert habe:

Das ist normal, bei der Migration, und allen Aktionen auf die SQLite Datenbank, werden Recovery Einträge in die zwei anderen Files .shm, .wal der SQLite Datenbank gemacht

<span>-rw-r--r-- 1 root root 3581263872 Aug 19 10:19 home-assistant_v2.db</span><br><span>-rw-r--r-- 1 root root 32768 Aug 19 10:19 home-assistant_v2.db-shm</span><br><span>-rw-r--r-- 1 root root 4659752 Aug 19 10:19 home-assistant_v2.db-wal</span><br>

Nach einem Tag werden dies aber neu geschrieben, daher glaube ich, das gestern noch einmal das gleiche was im .db File lag auch im .wal lag.

es wird also ein recovery angelegt, das dann erst am nächsten Tag gelöscht wird.