System Design入門 設計判断を数字とコードで確かめる
つくる 運用シート
この回でやること
落ちる所と、そのとき見る数字を組にして並べます。
- 読む 約 7 分
- 最後にクイズ 1 問
落ちる所と見る数字を組にする
席の予約サービスの運用シートには、部品ごとの障害の影響と、それに気づく数字を並べます。単一障害点の一覧だけでは、いつ手を打つかを判断できません。
全員が予約できなくなってからでは、発売開始の機会を取り戻せないことがあります。要求の失敗に加え、故障や詰まりに近づく変化を見ます。
保存先の接続数が上限へ近づくと、予約の要求が接続を待つようになります。予約できなくなる前に、その数や待ち時間の増加を見つければ調査を始められます。
この章で見た単一障害点、生存確認、ログとメトリクス、SLOを同じシートにまとめます。権限の境界も、取り消しを誰に許すかという運用上の判断として添えます。
部品ごとに詰まり方を考える
アプリは応答時間、保存先は接続数、キューは滞留件数、キャッシュはヒット率を見ます。その数字が変わったときに、予約へどんな影響が出るかも書きます。
接続や外部応答を待っている間、CPUは計算していないので低いままのことがあります。CPUだけを見ると、利用者が待ち続けている状態を見逃します。
低いCPUだけで原因を決めることもできません。遅さが出た時間帯と処理を絞り、その部品の数字を見て、要求IDのログから待っている箇所を追います。
まだ詰まり方が分からない部品には、生存確認の成否を仮に置きます。調査や実測で特徴が分かったら、故障前の変化を捉えられる数字を足します。
予約サービスで解いてみる
平均2 QPS、ピーク係数50なら、設計上のピークは毎秒100件です。1台40件のアプリ3台は120件を処理できますが、1台を外すと80件に落ちます。
月5万円の制約を踏まえ、増設と監視のどちらに費用を使うかを考えます。まず構成を読み、次の運用シートを作ります。
| 部品 | 障害の影響 | 見る数字と初動 |
|---|---|---|
| 振り分け1台 | 故障で全停止 | 生存確認に失敗したら代替経路を確認 |
| アプリ3台 | 1台故障でもピーク時は能力不足 | 応答時間のp95と配れる台数を確認 |
| 保存先 | 接続待ちで予約が遅れる | 接続数と接続待ち時間を確認 |
| キュー | 通知の送信が遅れる | 滞留件数と最古の待ち時間を確認 |
| キャッシュ | 保存先への読みが増える | ヒット率と保存先の負荷を確認 |
p95は、応答時間を短い順に並べたとき、95%の要求が収まる時間です。平均だけでは隠れる、一部の利用者の遅さを見るために使います。
予約が遅く、アプリのCPUが20%でも、保存先の接続が上限100本に達していたら、まず接続待ちを調べます。遅い要求のログで、接続取得に時間を使っているかを確かめます。
最後に、正常かつ300ミリ秒以内の予約応答を月99%以上にするSLOと、予算を使い切ったら新機能を止めるルールを添えます。権限不足の取り消しは内部で理由を記録し、外には予約の存在を明かさない方針も残します。