Grafana sqlite Migration zu Postgres

Aus Laub-Home.de Wiki
Zur Navigation springen Zur Suche springen

Nachdem ich ständig von den Grafana Dashboards ausgeloggt wurde, weil die sqlite3 Datenbank locked war, habe ich nach langer Recherche dazu entschieden zur Postgres SQL Datenbank zu wechseln. Da ich in Docker Containern unterwegs bin und alles via compose Files hochgezogen habe, ist das Einbinden der Postgres Datenbank nicht allzu kompliziert. Interessanter war am Ende die Datenmigration. Hier habe ich mich nach langem Probieren die sqlite DB umzuwandeln und die komplette DB in Postgres zu importieren, für den einfacheren Weg entschieden: Export der Dashboards, Grafana Grundeinrichtung, Dashboard Import.

Ich bin auf die folgenden Fehlermeldungen mit der sqlite Datenbank gestoßen:

  • lvl=eror msg="failed to look up user based on cookie" logger=context error="database is locked"
  • lvl=info msg="Database locked, sleeping then retrying" logger=sqlstore error="database is locked" retry=0

Ich baue hier auf den folgenden Anleitungen auf:

Export Dashboards

Als erstes exportieren wir uns sämtliche Dashboards die wir migrieren wollen. Dafür loggen wir uns in der bestehenden Grafana Instanz ein und gehen in das zu exportierende Dashboard und klicken auf den Share Dashboard Button:

Grafana Export 1.png

Nun im darauffolgenden Popup gehen wir auf Export und dann auf Save to file:

Grafana Export 2.png

Damit wird eine Json Datei heruntergeladen. Diese gut aufbewahrt ablegen. Wiederholt das für alle Dashboards die ihr braucht. Zum Schluss schaut euch am besten alle Einstellungen besonders, die der Datasources an und macht euch am besten Screenshots davon, diese müssen wir nämlich neu einrichten.

Grafana Export 3.png

Docker Compose

nun kommen wir zum Umbau der Datenbank, in unserem Docker Compose Projekt. Dazu legen wir als erstes in unserer .env Datei die benötigten Postgres Einstellungen an:

.env

# Config File for Grafana Application

# Docker Compose Project Name
# max length 11 characters
PROJECT_NAME=grafana

# Postgres Configuration
POSTGRES_DB_PORT=5432
POSTGRES_PASSWORD=havdsdcsdfxCodpit9
POSTGRES_USER=grafana
POSTGRES_DB=grafanadb

# Port Configuration Grafana
GRAFANA_HTTP_PORT=3000

# Timezone
TZ=Europe/Berlin

Nun kommen wir zum docker-compose.yml. Ich habe hier als Beispiel mal eine komplette Compose Grafana Applikation genommen:

  • Postgres
  • Renderer
  • Grafana

solltet ihr es inkludieren wollen, kopiert den Postgres Service und fügt diese environment Variablen eurem Grafana Service hinzu:

...

      - GF_DATABASE_TYPE=postgres
      - GF_DATABASE_HOST=postgresdb
      - GF_DATABASE_NAME=${POSTGRES_DB}
      - GF_DATABASE_USER=${POSTGRES_USER}
      - GF_DATABASE_PASSWORD=${POSTGRES_PASSWORD}
      - GF_DATABASE_SSL_MODE=disable
      
...

Ansonsten hier die gesamte Docker-Compose Applikation:

docker-compose.yml

version: '3.8'

services:
  postgres:
    image: postgres
    restart: always
    volumes:
      - data_postgres:/var/lib/postgresql/data/
#    ports:
#      - ${POSTGRES_DB_PORT}:5432
    environment:
      - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
      - POSTGRES_USER=${POSTGRES_USER}
      - POSTGRES_DB=${POSTGRES_DB}
      - TZ=${TZ}
    labels:
      - "com.centurylinklabs.watchtower.enable=true"
    networks:
      backend-nw:
        aliases:
          - postgresdb

  renderer:
    image: adejong/grafana-image-renderer-pi:1.0.8-beta2
    restart: always
    environment:
      ENABLE_METRICS: 'true'
    labels:
        com.centurylinklabs.watchtower.enable: "true"
    networks:
      - backend-nw

  grafana:
    image: grafana/grafana:latest-ubuntu
    depends_on:
      - influxdb
      - renderer
      - postgres
    restart: always
    user: "0"
    volumes:
      - data_grafana:/var/lib/grafana
    ports:
      - ${GRAFANA_HTTP_PORT}:3000
    environment:
      - GF_INSTALL_PLUGINS=grafana-clock-panel,briangann-gauge-panel,natel-plotly-panel,grafana-simple-json-datasource
      - GF_SMTP_ENABLED=true
      - GF_SMTP_HOST=mx.laub-home.de:465
      - GF_SMTP_USER=root@laub-home.de
      - GF_SMTP_PASSWORD=Karma33S
      - GF_SMTP_FROM_ADDRESS=root@laub-home.de

      - GF_DATABASE_TYPE=postgres
      - GF_DATABASE_HOST=postgresdb
      - GF_DATABASE_NAME=${POSTGRES_DB}
      - GF_DATABASE_USER=${POSTGRES_USER}
      - GF_DATABASE_PASSWORD=${POSTGRES_PASSWORD}
      - GF_DATABASE_SSL_MODE=disable

      - GF_RENDERING_SERVER_URL=http://renderer:8081/render
      - GF_RENDERING_CALLBACK_URL=http://grafana:3000/
      - GF_LOG_FILTERS=rendering:debug
      - GF_SERVER_SERVE_FROM_SUB_PATH=true
      - GF_SERVER_ROOT_URL=https://laub-raspi4.laub.loc${GRAFANA_TRAEFIK_SUBPATH}
      - TZ=${TZ}
    labels:
      - "com.centurylinklabs.watchtower.enable=true"
    networks:
      - app-nw
      - backend-nw

volumes:
  data_postgres:
  data_grafana:

networks:
  app-nw:
    internal: false
    driver: bridge
    driver_opts:
      com.docker.network.bridge.name: app-${PROJECT_NAME}
  backend-nw:
    internal: true
    driver: bridge
    driver_opts:
      com.docker.network.bridge.name: be-${PROJECT_NAME}

wenn ihr alles angepasst habt, könnt ihr das Ganze starten:

docker-compose up -d

Nun via Briowser einloggen:

  • http://yougrafanahost:3000

Ihr werdet nun aufgefordert euch einzuloggen. Hier bitte "admin" mit dem Passwort "admin" verwenden. Ihr werdet nun direkt zum Ändern des Passwortes aufgefordert und euch begrüßt eine frische Grafana Installation.

Grundkonfiguration

Als erstes solltet ihr wieder eure Datasources so anlegen, wie ihr es vorher hattet. Bei mir war es nur eine InfluxDB, die ich nach den vorher erstellten Screenshots eingerichtet habe. Ebenso könnt ihr nun ggf. Alle User wieder anlegen.

Import Dashboards

Nachdem nun alles soweit wieder läuft, kommen wir dazu die Dashboards zu importieren. Dazu gehen wir zu Dashboards --> Manage:

Grafana Import 1.png

Nun auf Import:

Grafana Import 2.png

Dann auf Upload JSON File:

Grafana Import 3.png

Wählt dann euren vorher erstellten JSON Export aus und bestätigt den Import auf der darauffolgenden Seite:

Grafana Import 4.png

Dies wiederholt ihr einfach für sämtliche Dashboards die ihr exportiert habt. Nun solltet ihr alle Dashboards wieder wie gewünscht zur Verfügung haben.

Backup Postgres

Nun sollten wir uns mit dem Backup der Postgres Datenbank beschäftigen.

Eine Anleitung hierzu findet ihr hier: