ガバナンス・バイアス/ドリフト継続監視｜基礎を学ぶ

このレッスンで学ぶこと 対応試験ドメイン D3 タスク 3.3.3（バイアスの継続監視）と 3.3.4（ドリフトの継続監視）。Amazon SageMaker Clarify・SageMaker Model Monitor・組織ポリシーを組み合わせ、本番運用中にガバナンスを保つ設計判断を身につけます。

解説

ガバナンスは「作って終わり」ではなく運用中の継続監視が本質です。前レッスンの監査証跡（何を残すか）に対し、ここでは「バイアスとドリフトを運用中にどう測り続けるか」を扱います。証跡（文書）と監視（時系列の検知）は役割が違います。

バイアスの検出（SageMaker Clarify）

Amazon SageMaker Clarify は、データやモデル出力のバイアスを数値で測定します。学習前のデータ偏り、学習後のモデル出力の偏り、特徴量の寄与（説明可能性）を評価できます。「公平性が保たれているかを定量評価したい」という要件で使います。

ドリフトの継続監視（SageMaker Model Monitor）

Amazon SageMaker Model Monitor は、本番エンドポイントの入力データや予測の分布が、ベースライン（学習時の前提）から時間とともにずれていないか（ドリフト）を継続監視します。検出のタイプは次の通りです。

監視タイプ	検出するもの
データ品質ドリフト	入力データの統計分布のずれ
モデル品質ドリフト	予測精度・指標の劣化
バイアスドリフト	運用中のバイアス指標の変化（Clarify と連携）
特徴量寄与ドリフト	特徴量の重要度の変化

Clarify が「ある時点のバイアスを測る」、Model Monitor が「時系列でずれを検知し続ける」という役割分担です。逸脱を検知したら Amazon CloudWatch のアラームで通知し、再学習やレビューのトリガにします。

組織ポリシーで統制を効かせる

監視で異常を見つけるだけでなく、AWS Organizations の組織ポリシー（SCP など）で、承認外モデルの利用禁止や監視必須のガードレールを組織横断で強制します。ガバナンスは「検知（Clarify/Model Monitor）」と「強制（組織ポリシー）」の両輪です。

Python

# ガバナンス監視の役割分担
# - SageMaker Clarify: バイアスを定量測定（ある時点の評価）
# - SageMaker Model Monitor: ベースラインからのドリフトを時系列で継続監視
# - CloudWatch: 逸脱検知時のアラート・再学習トリガ
# - Organizations 組織ポリシー: 承認外利用の禁止を組織強制

Bedrock 中心のアプリでの当てはめ

Bedrock の基盤モデルそのものは AWS マネージドで再学習しませんが、RAG のデータ分布や自社のファインチューニング済みモデル、評価指標は時間とともにずれます。入力データの傾向変化やアプリ品質の劣化を Model Monitor 的な発想で監視し、評価データセットでの定期再評価（Bedrock Model Evaluation）と組み合わせるのが実務的です。

試験で問われるポイント

SageMaker Clarify（バイアスの測定）と SageMaker Model Monitor（ドリフトの継続監視）は役割が違う。「公平性を定量評価」は Clarify、「運用中に分布のずれを監視し続ける」は Model Monitor
監視（Clarify/Model Monitor）と証跡文書（Model Cards）も別物。前レッスンとの対比で、文書化は Model Cards、時系列検知は Model Monitor
ガバナンスは検知だけでなく強制（組織ポリシー / SCP）も必要。「承認外モデルを使わせない」は組織ポリシーで強制
ドリフト検知後のアクション（通知・再学習・レビュー）は CloudWatch アラーム起点で組む。検知して終わりにしない
試験で問われるのは AWS のどの機能でバイアス・ドリフトを継続監視し統制するかであり、公平性指標の数式そのものではない

サービスの使い分け早見表

やりたいこと	使うもの	混同しやすいもの
バイアス・公平性を定量測定（ある時点）	Amazon SageMaker Clarify	Model Monitor（時系列のドリフト監視であり一時点の測定ではない）
運用中の分布・品質のずれを継続監視	Amazon SageMaker Model Monitor	Clarify（一時点の測定であり継続監視の常駐ではない）
モデルの素性・制限を監査向けに文書化	SageMaker Model Cards	Clarify / Model Monitor（測定・監視であり文書ではない）
承認外モデル利用の組織横断な禁止	AWS Organizations 組織ポリシー（SCP）	CloudWatch（検知・通知であり予防的強制ではない）

まとめ

ガバナンスの継続監視は、SageMaker Clarify でバイアスを定量測定し、SageMaker Model Monitor でドリフトを時系列監視し、CloudWatch で逸脱を通知し、AWS Organizations の組織ポリシーで承認外利用を強制する両輪設計です。Clarify と Model Monitor の役割の違い、検知と強制の両立が頻出論点です。

次のステップ

次のクイズレッスンで、本番形式のシナリオ問題に挑戦して継続監視・ガバナンスの判断力を確認しましょう。