Datenbank aufräumen, säubern und klein halten

Ich bin dabei mich einzuarbeiten. Ich will das Stück für Stück machen. Es gibt einige Bluetooth temperatursensoren, die will ich komplett ausschließen. Jedes "Gerät" hat 5 Entitäten. Temperatur, Luftfeuchtigkeit, batteriekapazität, Spannung, Power. Wie kann ich mit einem Rutsch alle Entitäten aller bt temperatur-geräte ausschließen? Die sind alle unter bt-home sensor gelistet.
Wenn ich nach und nach ganze Geräte raus nehmen könnte, wäre das ein guter Anfang. Ich möchte ungern jede entität einzeln raus nehmen.
Vielen Dank für die Unterstützung.
 
Um es nochmal ganz klar zu sagen, purge_keep_days: 1100 ist Quatsch, bläht die DB auf, verlangsamt HA, macht Probleme, wenn man selbige mal reparieren muss usw.
Langzeitdaten (measurements) werden immer aufgehoben, später zusammengefasst von minütlichen u.ä. Werten auf stündlich, täglich o.ä., hab die genauen Intervalle nicht im Kopf.

Wenn du dem Recorder sagst, er soll jeden Pups 1000 Tage aufheben, dann tut er das halt.

wenn der Außentemp Sensor vom Type measurement ist, ist er auch in der Langzeitstatistik. Ggf. Templatesensor dafür erstellen und anpassen.
Wenn du das trotz gegenteiliger Empfehlung 80x so lange tust wie es Standard ist, dann ist die DB eben groß.
Vielleicht ließt du einfach nochmal von vorne und folgst den genannten Links. Und reduzierst deine 800.
 
Du kannst in der configurations.yaml angeben, das gewisse Sensoren nicht gespeichert werden sollen.
Code:
influxdb:
  host: localhost
  port: 8086
  database: homeassistant
  username: xxx
  password: xxx
  tags:
    source: HA
  tags_attributes:
    - friendly_name
  exclude:
    domains:
      - persistent_notification
      - person
      - update
    entity_globs:
      - sensor.sun*
      - weather.*
      - Astroweather*
    entities:
      - zone.home
      - sensor.wechselrichter_1_powerdc
      - sensor.wechselrichter_2_powerdc
.........
Wie Du siehst, kann man auch mit Platzhaltern "*" arbeiten, um so ganze Bereiche auszuschließen, z.B. bei Dir
*.Batteriekapazität
 
ihr habt recht, ich muss da einiges machen.

ich habe jetzt erst mal in configuration.yaml die Zeile
YAML:
recorder: !include recorder.yaml
eingefügt. eine Datei recorder.yaml erstell und in diese
YAML:
commit_interval: 30
purge_keep_days: 400
auto_purge: true
geschrieben. Ist das so ok ? was vorher in der configuration.yaml stend habe ich auskommentiert.
YAML:
# recorder:
  # neue Maria DB = optionale Zeile
  #  db_url: mysql://homeassistant:dbtest@core-mariadb/homeassistant?charset=utf8mb4
 # purge_keep_days: 400
 # commit_interval: 30
 # auto_purge: true
wobei die zeile mit mariadb schon immer auskommentiert war.

bthome.png
es gibt mehrere dieser Temperatursensoren. Ich möchte alle ausnehmen. geht das ? weil ich ja nicht generell alle entitäten mit wildcard ausnehmen kann, sonst verliere ich ja z. B. alle "Spannungs" entitäten. alle Geräte heissen temp.S01 bis temp.S05. lässt sich da was zusammen ausgranzen ?
ich will das schritt für schritt angehen. Habt bitte verständnis. ich kenne mich nicht aus, muss da noch alles lernen.
 
Zuletzt bearbeitet:
Das Addon nicht auf einem mobilen Gerät nutzen und das Browsertab ungestört werkeln lassen.
Das kann sehr lange dauern, bei euren DB Größen auch seeeeeeeeeeeehhhhhhhhhr lange.

Meine in ca. 14 Tagen von 6 auf 30GB angewachsene DB habe ich offensichtlich alert2_events zu verdanken, ich wollte alert2 mal eben ausprobieren, irgendwie hatte ich dann viiiiiiiiiiiiiiiele Benachrichtigungen zu belanglosem Zeug. Und ne riesige DB in Folge.
Ich weiß nicht mehr genau, ob ich da ein Beispiel ausprobiert habe oder wo das her kam mit dem ganzen notify für unbedeutende Fehler.
 
Eine Frage: was machst du mit 400 Tagen nicht besonders relevanter Kurzzeitstatistik?
Früher war vieles nach 10 Tagen weg. Deshalb habe ich das hoch gesetzt. Da hatte ich aber auch noch viel weniger Geräte.
ich muss mich bei langzeiterfassung einarbeiten. mit "purge", also der kurzzeiterfassung sollte nicht mehr als 4 wochen gespeichert werden.
 
Zuletzt bearbeitet:
@RudiP
Ich habe das nicht gut erklärt. Ich habe unter anderem 5x

20251209_193948.jpg

Diese Temperatur Sensoren. Die wollte ich erst mal aus dem kurzzeitspeicher raus nehmen. Pro sensor gibt es mehrere Entitäten, unter anderem die Spannung der cr2032 . Langsam bischen was raus nehmen und dabei lernen.

Ich hab jetzt nochmal nen 40 GB Backup gesichert und dann home assistant bereinigt. Auch wieder auf 60 tage runter gestellt. Ich habe angefangen, zu lesen, was und wie home assistant überhaupt speichert. Scheinbar werden die einzelnen Entitäten länger gespeichert, das wird dann zusammen gefasst und je Stunde nur ein Wert gespeichert.was bei Temperaturen auch vollkommen reicht. Wenn purge ein kurzzeitspeicher ist, home assistant sowieso von Haus aus viele Daten zusammen fasst und Langzeit speichert, hab ich das ausunwissenheit/Dummheit übertrieben. Auf jeden Fall kann ich trotz bereinigen von home assistant und dem einstellen von 60 tage bei purge noch Temperaturen und ströme anzeigen lassen vom Dezember 2024. Ich probiere jetzt aus, was gespeichert ist.

Das ist Neuland für mich, ich muss mich schlauch machen.

20251209_200748.jpg
Das habe ich gefunden. Der kurzzeitspeicher, der mit purge definiert werden kann, wird nach 10 tage (standard) gelöscht. Daneben gibt es einen langzeit speicher, der wird nie gelöscht.
20251209_201156.jpg
Das sind Werte von 7.12. 2024. Man sieht, dass die Temperaturbereich stündlich gespeichert sind.der stromwert nicht. Wie hoch das aufgelöst ist, hab ich nicht geguckt. Aber es wird außerhalb von purge Standard viel gespeichert. Das sollte mir reichen. Beim temperaturwert steht ja auch: quelle langzeitstatistik. Allerdings sind von 2023 auch bei dem stromwert nur noch stündlich Werte gespeichert.

Wenn man nicht das optimale Suchwort eingibt, kommt man oft darauf, dass empfohlen wird, purge hoch zu setzen. Dem Unsinn bin ich auch aufgesessen.

Wenn einer nen link hat, wo die Parameter langzeitspeicher gut erklärt werden, was alles wie gespeichert wird und auch was nicht gespeichert wird, das würde mich freuen.
 
Zuletzt bearbeitet:
Es gibt doch schon reichlich Links in diesem Thema, sowohl zur Doku als auch zu HowTos.
Es gibt keinen Purge Speicher, purge heißt löschen und genau das legst du mit der Option fest - nach wie vielen Tagen die Daten gelöscht werden.
Langzeit ist alles vom Typ measurement, aber ich wiederhole mich...
 
Hallo @u5zzug,

mag sein, dass Du recht hast.
Aber ich finde das Thema auch interessant und wichtig, dass es hier nochmals zur Sprache kommt (ich lese hier auch mit und wende vieles an, wenn auch nur zum ausprobieren und testen an).
Was dann an Müll auftaucht, das spottet jeder Beschreibung.
Das mit den Links und Doku wäre auch interessant, wo Du genau die richtigen her hast.
Was wäre sinnvoll und auch anzuraten,
Da ist natürlich der eierlegende Rat der Wollmilchsau gefragt
Im WWW findet man leider auch sehr viel Mist....
 
ich sprach von Links IN DIESEM THEMA, da nach Links gefragt wurde.
z.B. diese:

https://www.home-assistant.io/integrations/recorder/
offizielle HA Doku, sollte jeder kennen und benutzen (zur Not mit irgendeinem Translationtool, z.B. das in Firefox integrierte und am besten parallel zum originalen Text.

https://community.home-assistant.io/t/how-to-keep-your-recorder-database-size-under-control/295795
https://community.home-assistant.io...ze-and-extend-the-life-of-your-sd-card/205299
Kochbuch/User Guides im offiziellen HA Forum.
Diese sind von jedem bearbeitbar und werden aktuell gehalten (im Unterschied zu irgendwelchen Videos und vielen Blogs).
 
Im Prinzip hast Du Recht @u5zzug . Aber gerade was das Übersetzen der Anleitung mit Übersetzungstools angeht, sehe ich das sehr skeptisch. Viel zu oft werden Dinge mit Übersetzt, die besser im original geblieben wären, weil man sie sonst in HA nicht findet.
Das man den original Text und die Übersetzung nebeneinander liegen hat ist sicher gut, aber dann noch den HA Bildschirm, weil man das gelesene ja gleich umsetzen will, dann wirds arg Eng auf dem Monitor. ;)
Auch finde ich, wenn man sich mit jemandem Unterhält, versteht man manches besser, als wenn man eine Anleitung liest.
UND, man kann Rückfragen stellen.

Und nein, eine wirklich bessere Lösung habe ich auch noch nicht.

Es ist halt gerade im Bereich Datenbank ein Haufen Wissen, was da auf einmal auf einen einprasselt und das alles richtig zu Sortieren finde ich manchmal schon schwierig und das, obwohl ich selbst Datenbanken programmiere.

In einem Stimme ich Dir aber vollkommen zu.
Videos und erst Recht die KI sollte man mit äußerster Vorsicht genießen.
Videoanleitung sind schnell mal veraltet, weil sich HA weiter entwickelt hat oder eine neue Integration raus gekommen ist, die das angefragte Problem schon längst löst.
KI oder ChatGPT habe ich schon oft erlebt, das man falsche und auch Unsinnige Antworten bekommt.
Sagt man der KI dann, das sie einen Fehler gemacht hat, Entschuldigt sie sich und behauptet auch gerne mal das Gegenteil.
Aber, man muß ihr sagen, das ihre Antwort falsch war, nur so kann sie wirklich Lernen.
Natürlich bekommt man auch oftmals vernünftige Antworten, keine Frage. Aber wie gesagt, bitte alles mit Vorsicht genießen.

Zur Datenspeicherung selbst. Ich habe bei mir ja auch Versucht, manche Entitäten bzw. Sensoren vom Speicher auszuschließen.
Batterieladezustand, was Interessiert mich der nächsten Monat noch. Der ist heute und max. Morgen noch Interessant, danach kann der weg. Ja, gibt Außnahmen bei einer Speicherbatterie, aber sicher nicht der Ladestand der Batterie im Thermometer.
Bei vielen Geräten gibt es eine Entität xxx.InternetAccess, der wohl anzeigt, ob das Gerät eine Verbindung zum Internet hat.
Muß auch nicht ewig gespeichert werden.
Ich hatte vor einiger Zeit auch mal angefangen, zu schauen, welche Sensoren alles gespeichert werden und die dann auf EXCLUDE gesetzt.
Aber da kann man sich wirklich dran halten.

Aktuell ist mein Backup 5 Gb groß. Damit kann ich leben.
Meine Befürchtung, das man nach ein, zwei Jahren nochmal irgendwelche Sensordaten sehen bzw. eine Auswertung machen will, haben sich eher nicht bestätigt.
Klar schaut man nochmal, was man 2023 an Strom verbraucht hat oder wie hoch der Gasverbrauch in 2024 war, aber das wird ja auch festgehalten. Aber eben auch ohne das mein Stromverbrauch an jedem Tag im Sekundentakt gespeichert wird.

Wenn sich hier jetzt jemand die Mühe macht, sich mit den Datenbanken und was wann wo gespeichert wird, befasst, nur zu, ich lese da gerne mit und lerne dazu.
 
Ich hätte gerne daten über so 3 jahre, was die daten meiner pv-Anlage betrifft. Wie viel Strom und Leistung am tag und monat x letztes jahr erzeugt wurde. Damit ich das vergleichen kann. Was damals für eine Temperatur war ist nicht wichtig.
Ich habe zwar schon seit 2022 home assistant, habe bis jetzt aber nicht viel Ahnung. Es sind sehr viele Geräte dazu gekommen, gerade im esphome bereich. Ich hab mir immer aus dem Internet passende Anleitungen gesucht, diese dann genutzt um das bei mir zum laufen zu bekommen. So damals auch auf mariadb umgestellt und purge auf 800 gestellt.
Wenn ich das richtig sehe, speichert home assistant langzeitdaten über mehrere Jahre, unabhängig von dem kurzzeitspeicher. Der kurzzeitspeicher wäre für mich über 2 Monate ok.
Ich muss mich jetzt Stück für Stück in die Datenverwaltung von home assistant einarbeiten. Die ganzen original dokumentationen und Anleitungen sind ja schön, nur wenn ich das durch lese, kapiere ich leider nicht alles. Ich stelle dann hier (für euch) doofe Fragen. Ihr habt mir auch schon sehr viel geholfen. Vielen Dank dafür.
Ich kanns nur wiederholen, ich bemühe mich, da durch zu steigen und mir entsprechend Kenntnisse zu zulegen. Home assistant soll ja gut laufen. Weil home assistant laufend verbessert wird, gibt es viele alte Anleitungen im Internet, die nicht mehr gültig sind. Auch das macht mir immer wieder zu schaffen.
 
Die ganzen original dokumentationen und Anleitungen sind ja schön, nur wenn ich das durch lese, kapiere ich leider nicht alles.
Weil home assistant laufend verbessert wird, gibt es viele alte Anleitungen im Internet, die nicht mehr gültig sind.
Auch wenn es ggf. schwer fällt, hält man sich i.d.R. doch meist besser an die Dokumentation direkt vom Hersteller. Diese ganzen Videos sind ja "ganz nett", um sich ggf. erstmal einen groben Überblick zu verschaffen, aber wenn es ins Detail geht, ist die Hersteller-Doku definitiv "immer" zu bevorzugen, da die "sonstigen Online-Inhalte" (Blogartikel, Videos, etc.) dann mitunter doch wieder recht schnell veraltet sind (insbesondere, wenn häufiger mal "breaking changes" vom Hersteller kommen).

So ganz generell würde ich regelmässig hier reinschauen: https://www.home-assistant.io/blog/ und ebenfalls von Interesse könnte jener hier sein: https://alerts.home-assistant.io/.

Vor jedem Update würde ich dann definitiv noch einen Blick auf die aktuellen Problem werfen: https://github.com/home-assistant/operating-system/issues und sofern externe Repos genutzt werden (via HACS), dort auch nochmal durchschauen. Ist ja auch nicht ungewöhnlich, dass man etwas aktualisiert und es dann nicht mehr funktioniert (oder anderen Dinge dann nicht mehr funktionieren). Also vor einem HA-Update erstmal alles durchschauen und Ausschau nach berichteten Problemen halten, gleiches gilt für die Updates von extern bezogenen Dingen.

Wenn man sich da erstmal in das Ökosystem eingefunden hat, geht das sicherlich auch alles etwas leichter von der Hand (sagt einer, der derzeit gar kein HomeAssistant nutzt). Ist ja eigentlich mit allem so... also: Bleib tapfer & bleib dran! 😊
 
Ich habe purge_days auf 60 runter gestellt. Alle backups gelöscht. Mariadb addon gelöscht, war eh nie in Funktion. Dann20251210_222121.jpg
Eine Bereinigung mit 60 tage durchgeführt. Danach wieder ein manuelles Backup angefertigt. Das ist immernoch 40 GB gross. Ich dachte, dass ich mit der Reduzierung von purge_days und dem bereinigen die Daten löschen kann.
Was genau muss ich denn machen, um das Backup kleiner zu bekommen. Ich hab ja einiges an Geräten und gedöns in home assistant. Das kann aber nicht angehen, dass mein Backup so gross ist. Da geistern irgend tote files/bytes rum, die nicht wirklich gelöscht sind, denke ich. Oder dauert das bereinigen und neu packen im Hintergrund sehr lange ? Und ich muss warten, bis das zu Ende durchgeführt ist ?
 
Zuletzt bearbeitet:
Ich hab zwar keine Ahnung bzgl. HomeAssistant und von den Backups brauchen wir garnicht reden, aber... 😅 Kann man so ein HomeAssistant-Backup nicht auch einfach entpacken bzw. reinschauen? Dann müsste man doch die großen Dinge finden können... Mitunter halt mal irgendwohin entpacken (sofern möglich, sollte aber eigentlich ein "tar"-File sein, sowas kann man z.B. mit 7-Zip entpacken, ggf. kann Windows das ja mittlerweile schon von Haus aus) und dann mal mit einem Tool wie Treesize Free (Link) den Ordner analysieren lassen und dann werden einem die dicken Brocken auch schon direkt ganz oben angezeigt.
 
Ich hab grad ne kaputte DB mit 28 GB und 200 Millionen Zeilen Statistik einer unbedacht benutzten Integration, vermutlich von Aufräumversuchen.
Man löscht doch nicht alle Backups und fummelt dann an der DB herum!
 

Letzte Anleitungen

Statistik des Forums

Themen
7.505
Beiträge
73.324
Mitglieder
8.028
Neuestes Mitglied
mil0x
Zurück
Oben