OpenHAB InfluxDB aufräumen

Aus Laub-Home.de Wiki
Zur Navigation springen Zur Suche springen

Während man sich mit openHAB beschäftigt kommt es immer mal wieder dazu, das Items hinzu und aber auch gelöscht werden. Da ich bei mir alle Daten in die InfluxDB schreiben lasse, kommt es so zu einigen Leichen in der openHAB Influx Datenbank. Um diese aufzuräumen muss man die dementsprechenden Measurements in der InfluxDB löschen. Wie man dies manuell macht erkläre ich als erstes. Da ich nicht immer alle Schritte per hand machen möchte, habe ich untenstehendes Script geschrieben.

manuelles Aufräumen

Um das manuelle Aufräumen zu starten, sollten wir auf jeden Fall wissen welche Items wir aus der Datenbank löschen wollen. Dafür Verbinden wir uns als erstes an die Datenbank und lesen dann alle Measurements aus um diese dann ggf. mit der Liste in PaperUI zu vergleichen.

Hat man eine lokale installation laufen, oder nutz openHABian, dann kann man einfach mittels dieses Befehles sich an die InfluxDB verbinden:

influx

Nutz ihr Docker, wie ich, dann kann man dies so machen (ändert den Dockercontainer_Name ab):

docker exec -ti DOCKERCONTAINER_NAME influx

Nun ist man in der SQL Command line und sollte sich zunächst an die openHAB Datenbank verbinden. Bei mir heißt diese openhab_db:

# openhab Datenbank öffnen
use openhab_db

nun wollen wir uns eine Liste der verfügbaren Measurements ausgeben:

# verfügbare Measurements anzeigen
show measurements

nachdem wir nun verglichen haben und wissen welche Measurements wir aus der Datenbank löschen wollen, machen wir das mit diesen Befehlen:

# einzelnes Measurement löschen
drop measurement TEST
# oder 
drop series from TEST

# mehrere mittels REGEX loschen: löscht alles was TEST im Namen hat
drop series from /^*TEST*/

Item und Measurement Listen zum Vergleich erstellen

Item Liste aus openHAB auslesen:

curl -s -k -X GET --header "Accept: application/json" "https://localhost:8443/rest/items?recursive=false&fields=name" | sed 's/,/\n/g' | awk -F '"' '{ print $4}' | sort -n

Measurements Liste aus InfluxDB auslesen:

influx -host 'localhost' -port '8086' -database 'openhab_db' -execute 'show measurements' | tail +4 | sort -n

# Docker Variante
docker exec -ti DOCKERCONTAINER_NAME influx -host 'localhost' -port '8086' -database 'openhab_db' -execute 'show measurements' | tail +4 | sort -n

leitet man das Ganze nun in zwei Dateien um (items.txt measurements.txt), kann man diese mit dem folgenden diff Befehl vergleichen und bekommt nur die Measurements ausgegeben, zu denen es kein Item mehr gibt:

curl -s -k -X GET --header "Accept: application/json" "https://localhost:8443/rest/items?recursive=false&fields=name" | sed 's/,/\n/g' | awk -F '"' '{ print $4}' | sort -n > items.txt
influx -host 'localhost' -port '8086' -database 'openhab_db' -execute 'show measurements' | tail +4 | sort -n > measurements.txt

# prüft auf obsolete Measurements
diff -Zu items.txt measurements.txt | grep -i ^+[a-z,0-9] | cut -d '+' -f 2

Automatisches Aufräumen via Script

Will man wie ich sich nicht die Mühe machen, das Ganze ständig per hand zu machen, der kann das hier stehende Skript verwenden. Es macht alle Schritte, die auch oben beschrieben sind. Passt einfach die Variablen ggf, an eure Bedürfnisse an.

Das Script ist hier bei githab verfügbar:

cd /usr/local/sbin/
wget https://raw.githubusercontent.com/alaub81/scripts/master/cleanup-openhab-influxdb.sh
chmod +x /usr/local/sbin/cleanup-openhab-influxdb.sh

hier das Script in Plain Text zum Copy and Pasten: /usr/local/sbin/cleanup-openhab-influxdb.sh

#!/bin/bash
#########################################################################
#Name: cleanup-openhab-influxdb.sh
#Subscription: This Script deletes unused item entrys in the influxdb
#
#by A. Laub
#andreas[-at-]laub-home.de
#
#License:
#This program is free software: you can redistribute it and/or modify it
#under the terms of the GNU General Public License as published by the
#Free Software Foundation, either version 3 of the License, or (at your option)
#any later version.
#This program is distributed in the hope that it will be useful,
#but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
#or FITNESS FOR A PARTICULAR PURPOSE.
#########################################################################
#Set the language
export LANG="en_US.UTF-8"
#Load the Pathes
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

#set the variables:

# Tempfolder
TMPDIR=/tmp/
# openHAB Server
OPENHABSERVER=localhost

# InfluxDB Command
INFLUX="docker exec -ti openhab_influxdb_1 influx"
# InfluxDB Host
INFLUXHOST=localhost
# openHAB Database
INFLUXDB=openhab_db

# do the stuff
# generate Items list
curl -s -k -X GET --header "Accept: application/json" "https://$OPENHABSERVER:8443/rest/items?recursive=false&fields=name" | sed 's/,/\n/g' | awk -F '"' '{ print $4$

# read Measurements from InfluxDB
$INFLUX -host $INFLUXHOST -port '8086' -database $INFLUXDB -execute 'show measurements' | tail +4 | sort -n > $TMPDIR/measurements.txt


for i in $(diff -Zu $TMPDIR/items.txt $TMPDIR/measurements.txt | grep -i ^+[a-z,0-9] | cut -d '+' -f 2); do
        $INFLUX -host $INFLUXHOST -port '8086' -database $INFLUXDB -execute "drop measurement $i"
        echo delete measurement: $i
done


rm $TMPDIR/items.txt
rm $TMPDIR/measurements.txt

zum Schluss nicht das Execute Recht vergessen:

chmod +x /usr/local/sbin/cleanup-openhab-influxdb.sh

gestartet wird es dann einfach via:

cleanup-openhab-influxdb.sh