Webserver / Mailserver Statistiken mit Awstats
Einleitung
Wer sieht nicht gerne was auf seinem Webserver oder Mailserver los ist. Genau dafür ist das kleine Perl Programm awstats da. Ich will hier eine kleine Beschreibung erstellen wie man awstats zum Laufen bekommt.
Homepage
Installation Awstats
Debian Linux
Wir installieren zuerst das normale AWSTATS Paket der Stable Version:
aptitude update aptitude install awstats
Da diese Version Recht betagt ist und nicht die aktuellen Browser oder Betriebssysteme erkannt werden, holen wir uns die aktuellste unstable/sid Version. Wer dies nicht möchte kann den Restlichen Teil überspringen.
Als erstes die Datei /etc/apt/sources.list editieren:
Aus lenny oder stable wird sid oder unstable:
#web mirrors deb http://ftp.de.debian.org/debian/ lenny main deb-src http://ftp.de.debian.org/debian/ lenny main
-->
#web mirrors deb http://ftp.de.debian.org/debian/ sid main deb-src http://ftp.de.debian.org/debian/ sid main
nun Paket Listen aktualisieren
aptitude update
und awstats Paket herunterladen und installieren bzw. auf die Unstable Version updaten:
aptitude install awstats -d dpkg -i /var/cache/apt/archives/awstats_6.9.5~dfsg-4_all.deb
Nun wieder von SID auf Lenny bzw. UNSTABLE auf STABLE switchen:
#web mirrors deb http://ftp.de.debian.org/debian/ lenny main deb-src http://ftp.de.debian.org/debian/ lenny main
und Paket Liste aktualisieren:
aptitude update
Awstats 7 installieren unter Debian Squeeze
Um den neusten Awstats Release 7 unter Debian Squeeze zu installieren, kann das Paket einfach aus dem Wheeze Repository installiert werden. Hierzu einfach in der /etc/apt/sources.list alle squeeze Einträge durch wheezy Einträge ersetzten:
# # deb cdrom:[Debian GNU/Linux 6.0.0 _Squeeze_ - Official i386 NETINST Binary-1 20110205-14:34]/ squeeze main #deb cdrom:[Debian GNU/Linux 6.0.0 _Squeeze_ - Official i386 NETINST Binary-1 20110205-14:34]/ squeeze main deb http://ftp.de.debian.org/debian/ wheezy main deb-src http://ftp.de.debian.org/debian/ wheezy main deb http://security.debian.org/ wheezy/updates main deb-src http://security.debian.org/ wheezy/updates main deb http://ftp.de.debian.org/debian/ wheezy-updates main deb-src http://ftp.de.debian.org/debian/ wheezy-updates main # Non-Free Repo deb http://ftp.de.debian.org/debian/ wheezy non-free deb-src http://ftp.de.debian.org/debian/ wheezy non-free
nun das awstats Paket installieren bzw. updaten:
aptitude update aptitude install awstats
Red Hat Linux
Konfiguration Awstats
Die Konfigurations Dateien befinden sich unter /etc/awstats. Ich benenne die bestehende awstats.conf in awstats.template um, diese Datei für die einzelnen Statistiken einfach zu kopieren, z.B.:
cp awstats.template awstats.wiki.laub-home.de.conf
Achtung, die aktivierten Dateien müssen die Dateiendung .conf haben!
Apache Webserver
Hier die Änderungen die zum Überwachen eines Apache Logfiles gemacht werden müssen:
awstats.wiki.laub-home.de
#fuer das lokale access.log LogFile="/var/log/apache2/access.log" #mehrere Files zusammeuehren, diese muessen vorher lokal kopiert werden #LogFile="/usr/bin/logresolvemerge.pl /srv/awstats/wiki.laub-home.de/wiki.laub-home.de*.log |" #fuer alle gzip logfiles #LogFile="ssh -l root 192.168.x.x zcat /var/log/apache2/archive/wiki.laub-home.de/wiki.laub-home.de-access*.log.gz |" #nur fuer das aktuellste gz #LogFile="ssh -l root 192.168.x.x zcat /var/log/apache2/archive/wiki.laub-home.de/wiki.laub-home.de-access.%YYYY-24-%MM-24-%DD-24.log.gz |" LogFormat=1 SiteDomain="wiki.laub-home.de" AllowFullYearView=3
Mail Server
Hier die angepassten Parameter einer Awstats Konfigurationsdatei zur Auswertung von Mail Logs:
LogFile="cat /var/log/mail.log > /tmp/mail.log; perl /usr/share/doc/awstats/examples/maillogconvert.pl standard < /tmp/mail.log |" LogType=M LogFormat="%time2 %email %email_r %host %host_r %method %url %code %bytesd" SiteDomain="mail" LevelForBrowsersDetection=0 # 0 disables Browsers detection. LevelForOSDetection=0 # 0 disables OS detection. LevelForRefererAnalyze=0 # 0 disables Origin detection LevelForRobotsDetection=0 # 0 disables Robots detection. LevelForSearchEnginesDetection=0 # 0 disables Search engines detection. LevelForFileTypesDetection=0 # 0 disables File types detection. ShowSummary=HB ShowMonthStats=HB ShowDaysOfMonthStats=HB ShowDaysOfWeekStats=HB ShowDomainsStats=0 ShowHostsStats=HBL ShowRobotsStats=0 ShowEMailSenders=HBML ShowEMailReceivers=HBML ShowSessionsStats=0 ShowPagesStats=0 ShowFileTypesStats=0 ShowOSStats=0 ShowBrowsersStats=0 ShowOriginStats=0 ShowKeyphrasesStats=0 ShowKeywordsStats=0 ShowMiscStats=0 ShowHTTPErrorsStats=0 ShowSMTPErrorsStats=1
Squid Logfiles auswerten
Um Logfiles des Squids auswerten zu können muss zuerst das Logging des Squids angepasst werden:
/etc/squid/squid.conf
access_log /var/log/squid3/access.log combined emulate_httpd_log on
Nun die Einstellungen im awstats: awstats.squid.conf
LogFile="/var/log/squid/access.log.1" LogType=W LogFormat=4 SiteDomain="localhost" LevelForBrowsersDetection=0 LevelForOSDetection=0 LevelForRefererAnalyze=0 LevelForRobotsDetection=0 LevelForSearchEnginesDetection=0 LevelForKeywordsDetection=0 LevelForFileTypesDetection=2 LevelForWormsDetection=2 ShowDomainsStats=0 ShowRobotsStats=0 ShowWormsStats=HBL ShowFileSizesStats=0 ShowOSStats=0 ShowBrowsersStats=0 ShowOriginStats=0 ShowKeyphrasesStats=0 ShowKeywordsStats=0 ShowMiscStats=0
Installation und Konfiguration GeoIP Plugin
Zuerst braucht man die GeoIP Datenbanken, die mit folgendem kleinen Skript heruntergeladen werden:
/usr/local/sbin/getgeoip.sh
#!/bin/sh
#
# GeoIP Databases Update
# Script Updates GeoIP Databases
# by A.Laub andreas@laub-home.de
GEOIPLOCATION="/usr/local/share/GeoIP"
if [ ! -d $GEOIPLOCATION ]; then
mkdir -p $GEOIPLOCATION
fi
cd $GEOIPLOCATION
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
wget http://geolite.maxmind.com/download/geoip/database/asnum/GeoIPASNum.dat.gz
gunzip -f *.gz
chown root.root *.dat
Dem Skript noch das Ausführ Rechte geben:
chmod +x /usr/local/sbin/getgeoip.sh
und starten:
/usr/local/sbin/getgeoip.sh
nun sollte der GeoIP Ordner angelegt worden sein und folgenden Inhalt haben:
ls -l /usr/local/share/GeoIP/
total 33732 -rw-r--r-- 1 root root 2811170 2010-09-03 13:24 GeoIPASNum.dat -rw-r--r-- 1 root root 1072630 2010-09-02 19:18 GeoIP.dat -rw-r--r-- 1 root root 30605325 2010-09-03 04:27 GeoLiteCity.dat
Dann noch die Perl Abhängigkeiten installieren:
aptitude install libgeo-ip-perl
Und rein ins CPAN:
cpan
hier bitte folgenden Befehl absetzten:
install Geo::IP::PurePerl
Nun können die Datenbanken im Awstats verwendet werden. Um das Plugin für alle Webstatistiken zu aktivieren konfiguriert man am besten folgende Globale Konfigurationsdatei: awstats.conf.local
Achtung!!! Unter Red Hat Linux muss diese Datei angelegt werden und in den einzelnen Webstatistik Konfigurationsdateien inkludiert werden. Dazu bitte folgende Zeile am Ende der Konfigurationsdateien anhängen:
Include "/etc/awstats/awstats.conf.local"
awstats.conf.local
#Enable GeoIP LoadPlugin="geoip GEOIP_STANDARD /usr/local/share/GeoIP/GeoIP.dat" LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /usr/local/share/GeoIP/GeoLiteCity.dat" LoadPlugin="geoip_org_maxmind GEOIP_STANDARD /usr/local/share/GeoIP/GeoIPASNum.dat"
Um wöchentlich zu aktualisieren, einfach dem cron.weekly hinzufügen:
ln -s /usr/local/sbin/getgeoip.sh /etc/cron.weekly/getgeoip
Hostinfo Plugin
Das Hostinfo Plugin ermöglicht es eine whois-Abfrage für jeden Hosteintrag in der Statistik zu machen. Voraussetzung hierfür ist das Perl Modul XWhois, welches auf zwei Arten installiert werden kann. 1. via Repository unter Ubuntu/Debian
aptitude install libnet-xwhois-perl
2. via cpan:
cpan Net::XWhois
Aktiviert wird das Plugin in der Awstats Konfiguration durch folgenden Parameter:
# PLUGIN: HostInfo # REQUIRED MODULES: Net::XWhois # PARAMETERS: None # DESCRIPTION: Add a column into host chart with a link to open a popup window that shows # info on host (like whois records). # LoadPlugin="hostinfo"
Leider gibt es ein kleine Problem mit dem Perl Modul in Version 0.90 und der deutschen Denic whois Abfrage. Klickt man auf das Fragezeichen bei den Whois Abfragen eines Deutschen DNS Eintrages, poppt ein leeres Whois Fenster auf, bei dem nur die Beiden folgenden Zeilen beschrieben sind:
Full Whois Field
Domain: domain.de
Status: connect
Die Oberen Einträge beim Common Whois Fields sind komplett leer. Das Problem kommt daher, das bei der Denic der Parameter -T dn mitgeliefert werden muss um eine komplette whois Ausgabe zu bekommen. Gefixt wird das ganze im Perl Modul selbst:
/usr/share/perl5/Net/XWhois.pm ca. Zeile 428
my %ARGS = (
'whois.nic.ad.jp' => { 'S' => '/e' },
'whois.internic.net' => { 'P' => '=' },
'whois.networksolutions.com' => { 'P' => '=' },
# Add this Line for denic to work.
'whois.denic.de' => { 'P' => '-T dn ' },
);
Nun wird zu mindest mal das Full Whois Field ausgefüllt.
Benutzer Management
Man kann einzelne Statistiken Passwortschützen. Will man zum Beispiel das nur die Webseiten verantwortlichen Zugriff auf ihre Webseiten Statistik bekommen und nicht auf andere, für Sie unwichtigen Seiten, kann man dies mit einer simplen Passwort Authentifikation und ein paar Anpassungen in den einzelnen Awstats Konfigurationen einrichten.
Als erstes muss die awstats.pl passwortgeschützt werden. Dies kann durch die einfache Konfigurationserweiterung folgender Datei geschehen:
/etc/apache2/conf.d/awstats.conf
Alias /awstats-icon /usr/share/awstats/icon/
<Files awstats.pl>
Order deny,allow
Deny from all
Allow from 127.0.0.1
AuthType Basic
AuthName "HTTP Access"
AuthUserFile /etc/apache2/httpduser.pwd
Require user statuser1 statuser2 statuser3
Satisfy Any
</Files>
<Directory /usr/share/awstats/icon/>
Options +FollowSymLinks
AllowOverride None
order allow,deny
allow from all
</Directory>
Nun muss noch die Passwort Datei /etc/apache2/httpduser.pwd mit den gewünschten Benutzern (hier statuser1, statuser2 und statuser3) erstellt und die Passwörter vergeben werden:
htpasswd -c /etc/apache2/httpduser.pwd statuser1 htpasswd /etc/apache2/httpduser.pwd statuser2 htpasswd /etc/apache2/httpduser.pwd statuser3
Nun ist die gesamte Awstats Statistik Passwort geschützt und jeder user der sich einloggt hat zugriff auf alle Statistiken. Um Benutzern nun einer Statistik zu zuweisen müssen folgende Parameter in der Statistik Konfigurationsdatei angepasst werden:
AllowAccessFromWebToAuthenticatedUsersOnly=1 AllowAccessFromWebToFollowingAuthenticatedUsers="statuser1 statuser2"
Somit dürfen auf die Statistik nur der "statuser1" und "statuser2" zugreifen. "Statuser3" bekommt eine Fehlermeldung beim versuch die Statistik zu öffnen.