System Design入門 設計判断を数字とコードで確かめる
リーキーバケット
この回でやること
溜まった要求を一定の速さで流す仕組みと、待ち時間の関係を読み解きます。
- 読む 約 7 分
- 最後にクイズ 1 問
出ていく速さを一定にする
席の予約が発売開始に集中しても、外の決済サービスが受け取れる速さは変わりません。リーキーバケットは要求をいったんため、一定の間隔で下流へ送る方式です。
ここでは、要求を待ち行列に置く形を考えます。行列が空なら送りません。上限までたまっているときに届いた新しい要求は断ります。
違いは、下流に届く要求の並びです。トークンバケットは札がたまっていれば、その分をまとめて通せます。平均を抑えていても、短い間には要求が集中します。
リーキーバケットは、ためた要求を決めた間隔で送り出します。突発を受け止めても、下流には同じ突発を渡しません。
平らにすると待ち時間が生まれる
下流が一定の速さしか受けられないなら、送り出す速さをその上限以下にします。行列の容量は、受け入れる突発の大きさと、許せる待ち時間から決めます。
ためた要求は順番を待ちます。空席の画面を開いた瞬間の問い合わせまで待たせると、下流に余裕がある場面でも表示が遅れます。
下流が突発に耐えられるなら、トークンバケットでまとめて通すほうが利用者を待たせずに済みます。下流を守る必要と、待たせたくない体験を分けて考えます。
予約サービスで解いてみる
予約サービスの DAU は3万人、1人1日6回の利用です。平均は約2 QPS、ピーク係数50なら約100 QPSになります。
1台が毎秒40件を処理でき、月5万円の予算内で3台を用意できたとします。合計は毎秒120件でも、外の決済サービスの上限が毎秒8件なら、決済はその速さに合わせます。
この制限は、決済先へ送る全利用者の合計にかけます。利用者ごとに毎秒8件を許すと、合計が下流の上限を超えてしまいます。
発売開始に決済要求が24件まとめて届く場合を考えます。空の行列には24件を置けるものとし、最初の送信は到着から1件分の間隔が過ぎた後に行います。
間隔は1秒を毎秒の送信件数で割って求めます。最後の要求までの時間は、件数を送信速度で割って求めます。
送信間隔 = 1 ÷ 8 = 0.125秒
24件を送り終えるまで = 24 ÷ 8 = 3秒最初の要求は0.125秒後、最後は3秒後に下流へ送ります。この時間は送信開始までの待ちで、決済の処理時間は別にかかります。
行列が満杯のまま次の要求が来たら、待ち場所を増やす代わりに断って呼び出す側へ知らせます。入る速さが出る速さを超え続けると、行列を大きくしてもいつか満杯になります。
この例では、瞬間の24件を待たせて下流の毎秒8件を守ります。容量と送信間隔を組にして決めれば、守れる速さと利用者が待つ長さを説明できます。