topでリアルタイム監視する

ps は一瞬の写真しか撮れない

ps で一覧を出したときは何ともなかったのに、体感ではずっと重い。原因が数秒おきに入れ替わっている場合、写真を 1 枚撮っただけでは捕まえられません。動きを見続けるための道具が top です。数秒ごとに画面を描き直して、今まさに資源を使っているものを上に押し上げてくれます。

上の数行だけで当たりが付く

1 行目の右端が、直近 1 分、5 分、15 分の平均待ち行列の長さです。この例では 1 分平均が 3.20 で、15 分平均の 0.42 よりずっと大きくなっています。つまり、つい今しがた何かが起きたと読めます。逆に 15 分平均のほうが大きければ、山はもう過ぎたところです。

同じ 3 つの数字は uptime でも見られます。目安は CPU のコア数で、コア数を超えていれば順番待ちが起きています。

待ち行列が伸びていても、CPU が原因とは限らない

3 行目が、CPU の時間が何に使われたかの内訳です。

さきほどの例は us が 4.2 と低いのに、wa が 80.1 まで上がっています。CPU は暇なのに、ディスクの応答を待って動けない状態です。ここで CPU の強いマシンに載せ替えても、何も改善しません。逆に us が高いなら計算そのものが重いということなので、処理の中身か台数を見直す話になります。

同じ「重い」でも打つ手が正反対になるので、この 1 行は必ず見ます。

画面を奪われずに 1 回だけ取る

top は画面全体を書き換えるので、そのままではログに残せず、他のコマンドにもつなげられません。-b を付けると画面の制御をやめてただの文字列として吐き、-n 1 で 1 回出したら終了します。この形なら grep に渡せますし、ファイルに書き出して後から比べることもできます。

解説

定期的に top -b -n 1 を書き出しておくと、障害の後で「そのとき何が動いていたか」を追えます。重くなってから調べ始めると、原因のプロセスは既に消えていることが多いです。