本番で障害が起きたとき、最初の 30 分で何をしますか

最初の 5 分で影響を見る

知らせを受けたら、まず「利用者に何が起きているか」を確かめます。全員が使えないのか、一部の画面だけか、遅いだけか、です。エラーの割合や遅さ (レイテンシ) の数字と、外から実際に開いてみた結果で見ます。

影響の大きさで、障害の重さ (深刻度) を決めます。重さが決まると、誰を呼ぶか、どこへ知らせるかが決まります。迷ったら重いほうに置き、あとで下げます。軽く置いて人が集まらないほうが、困るからです。

役を分ける

人が集まったら、少なくとも次の 2 つの役を分けます。

• 決める人 (指揮をとる人) 何を試すか、戻すかどうかを決めます。自分で手を動かしすぎず、全体を見ます
• 伝える人社内や利用者への知らせを受け持ちます。手を動かす人が、問い合わせに答えて手を止めないようにするためです

人数が少なければ一人が 2 つを持つこともありますが、それでも「いまは決める時間」「いまは伝える時間」と分けて動きます。

直すより先に止める

最初の 30 分でいちばん大事なのは、原因を知ることではなく、影響を止めることです。よく使う手は次の通りです。

• 直前の配備を戻す (ロールバック) 障害の始まりと配備の時刻が近ければ、まず疑います
• 新しい機能を切る機能を出し入れできる仕組みがあれば、配備を戻さずに止められます
• 台数を増やす、流れを絞る負荷が原因なら、増やすか、一部の要求を断って全体を守ります

戻すと原因の手がかりが消えるのでは、と迷うことがあります。ログや数字は残っているので、利用者を待たせてまで残す理由は、ほとんどありません。戻す前に、いまの状態の画面やログの場所だけ控えておきます。

時刻つきで残し、決まった間隔で伝える

チャットの 1 つの部屋に、何を見て、何を決めて、何をしたかを時刻つきで書き続けます。あとの振り返り (ポストモーテム) の材料になり、途中から来た人もすぐ追いつけます。

周りへの知らせは、何も分からなくても「30 分ごと」のように間隔を決めて出します。「調べています。次は 10 時 30 分に知らせます」と言うだけで、問い合わせは減ります。

話すときは、自分が受けた障害で、何を見て、何を戻したかの例を 1 つ用意します。話す例は架空の例で構いません。