System Design入門 設計判断を数字とコードで確かめる
なぜ制限するか
この回でやること
制限の目的を決めてから方式を選び、使いすぎへの対処を考えます。
- 読む 約 7 分
- 最後にクイズ 1 問
1人の使いすぎで全員が遅くなる
席の予約サービスでは、空席を調べる要求にも処理時間がかかります。取引先のプログラムが待たずに問い合わせ続けると、ほかの利用者の画面まで遅くなります。
悪意がなくても、再試行の間隔を入れ忘れれば同じことが起きます。レート制限は、決めた時間内に使える回数を区切り、使いすぎた要求を断る仕組みです。
台を増やせば、一時的に速くなることはあります。ただし、待たずに送る相手の使用量も伸びれば、増やした処理能力をまた使い切ります。
使う量に上限がないままでは、ほかの利用者に処理能力を残せません。必要な増設と、特定の相手の使いすぎを抑えることは、別々に考えます。
目的を先に決める
全員に使う機会を残すなら、利用者や取引先ごとに数えます。外の決済サービスを守るなら、そのサービスへ送る合計を制限します。
有料と無料で使える回数を分けたい場合もあります。同じ上限の数字でも、誰を数えるか、何を守るかで設定の意味が変わります。
正常な使い方で必要な回数を調べ、そこに余裕を持たせます。全体の平均をそのまま1人の上限にすると、画面を開いた直後の数回まで断ってしまいます。
超過した要求には HTTP 429 を返し、可能なら再試行までの待ち時間も伝えます。呼び出す側がすぐ連打すると負荷が続くため、指定された時間を待つことも必要です。
予約サービスで解いてみる
DAU は3万人、1人が1日6回問い合わせます。平均 QPS は、1日の要求数を1日の秒数で割って求めます。
1日の要求数 = 30,000 × 6 = 180,000件
平均 QPS = 180,000 ÷ 86,400 ≒ 2
ピーク QPS = 約2 × ピーク係数50 = 約100このコースでは平均を約2 QPSに丸め、ピークを約100 QPSとして考えます。1台が毎秒40件を処理するなら、3台で毎秒120件です。
月5万円の予算内でこの構成を用意できたとします。通常のピークには足りますが、取引先だけで毎秒200件を送り始めると、全体の処理能力を超えます。
ここで台数を倍にするだけでは、その相手の送信量がさらに増えたときに同じ問題が戻ります。予算を使う前に、取引先ごとの利用上限を決める必要があります。
ただし、残りの余裕が毎秒20件だからといって、それをそのまま取引先の上限にはしません。通常の100件に含まれる取引先の利用分や、ほかの利用者の混み方を確かめます。
この例の判断は、使いすぎを抑えて全員の取り分を守ることです。下流を一定の速さで守りたい場合は、回数の上限に加えて、要求を送る間隔も考えます。