analogを使ってログ解析

analogはログ解析ソフトです。
Debianならaptで簡単にインストールできます。
インストールしたらまず/etc/analog.cfgを編集します。

ログファイルの指定

LOGFILE /var/log/apache2/access.log

古いログファイルの指定 (gzで圧縮されていても大丈夫です)

LOGFILE /var/log/apache2/access.log.*

出力HTMLの指定

OUTFILE /var/www/hoge/Report.html

HOSTEXCLUDE・・・このホストからのログは対象としない
リモートホストでの指定ではワイルドカード（*）を省略しないこと
HOSTINCLUDE・・・このホストを集計の対象とする
FILEEXCLUDE・・・このファイル（ディレクトリ）を集計の対象としない
DNSFILE・・・IPの逆引き結果をキャッシュするファイル
DNS WRITE・・・キャッシュを参照、新しいIPはキャッシュする詳しくはこちら
DNSGOODHOURS・・・キャッシュの有効期限　詳しくはこちら

LANGUAGE japanese-utf
HOSTEXCLUDE 192.168.0.*
HOSTEXCLUDE *.point.ne.jp
HOSTEXCLUDE *.ezweb.ne.jp
#FILEINCLUDE /upload/*
FILEEXCLUDE /icons/*
DNSFILE /var/www/kaiseki/dnscache.txt
DNS WRITE
DNSGOODHOURS 679

BROWSER ON
DAILYREP ON
DAILYSUM ON
FAILHOST ON
FAILREF ON
FAILURE ON
FAILUSER ON
FIVEREP ON
FIVESUM ON
FULLBROWSER ON
HOST ON
HOURLYREP ON
HOURLYSUM ON
ORGANISATION ON
QUARTERLY ON
QUARTERREP ON
QUARTERSUM ON
REFERER ON
REQUEST ON
SEARCHWORD OFF
SIZE ON
WEEKHOUR ON
WEEKLY ON

ALL ONで全て有効にしてから不要なものをOFFにしていく方法もある。

ALL ON
FAILVHOST OFF
INTSEARCHQUERY OFF
INTSEARCHWORD OFF
PROCTIME OFF
REDIRHOST OFF
REDIRREF OFF
REDIRUSER OFF
REDIRVHOST OFF
SEARCHQUERY OFF
SEARCHWORD OFF
VHOST OFF

参考リンク
http://www.miloweb.net/analog.html