ログファイルの解析

5 万行を目で追っている

障害の報告を受けて開いたログが 5 万行あるとき、上から読んでも答えは出ません。知りたいのは「どの相手からの、どんな要求が、何件失敗したか」であって、1 行ずつの中身ではないからです。

まず、扱う形を見ます。Web サーバーのアクセスログは、1 行が空白区切りで並んだ表のような作りをしています。

左から 1 列目が接続元、9 列目が応答の番号です。列で数えられる形になっている、という点が出発点になります。

一気に書こうとして、どこで間違えたか分からなくなる

長いつなぎを一度に書くと、結果が空になったときに原因の場所が特定できません。1 段ずつ足して、そのつど出力を見ます。

まず、見たい行だけに絞ります。

絞れていることを確かめてから、欲しい列だけを取り出します。

ここまで来れば、あとは同じ値を数えるだけです。

1 台だけ突出していると分かりました。絞る、取り出す、数える。この 3 段が、ログ解析のほとんどを占めます。

数えたはずなのに、同じ値が何度も出てくる

uniq -c の前の sort を落とすと、件数が合いません。uniq が見るのは隣り合った行だけで、離れた場所にある同じ値は別のものとして数えられるためです。並べてから数える、と手順で覚えてください。

最後の sort -rn は数として大きい順に並べ替える指定です。-n を付けないと文字として並ぶので、100 より 99 が上に来ます。

解説

対象が圧縮済みの access.log.1.gz なら、grep の代わりに zgrep を使うと展開せずにそのまま絞れます。systemd の管理下にあるサービスのログは、ファイルではなく journalctl -u サービス名 から取り出します。

1. grep を使って ERROR 行をカウントする
2. 結果として 3 のみを出力する