オブザーバビリティとモニタリング（CloudWatch / Logs Insights / Bedrock Model Invocation Logging / X-Ray）｜基礎を学ぶ

このレッスンで学ぶこと 対応試験ドメイン D4 タスク 4.3（オブザーバビリティとモニタリング）。生成 AI アプリの運用に必要なメトリクス・ログ・トレースを、Amazon CloudWatch・CloudWatch Logs Insights・Amazon Bedrock Model Invocation Logging・AWS X-Ray でどう取得し使い分けるかを身につけます。

解説

本番の生成 AI アプリは「速いか」「失敗していないか」「何が入力され何を返したか」「どこが遅いか」を継続的に観測する必要があります。オブザーバビリティはメトリクス・ログ・トレースの 3 本柱で構成され、AWS ではそれぞれに対応するサービスがあります。

3 本柱と AWS サービスの対応

柱	何を見るか	AWS サービス
メトリクス	呼び出し回数・レイテンシ・スロットリング・トークン数などの数値	Amazon CloudWatch（メトリクス・アラーム・ダッシュボード）
ログ	実際の入力・出力・エラー内容	Amazon Bedrock Model Invocation Logging / CloudWatch Logs
トレース	リクエストがどのコンポーネントをどれだけ通ったか	AWS X-Ray

Amazon CloudWatch メトリクス

Amazon Bedrock は呼び出し回数、入出力トークン数、レイテンシ、スロットリング回数などのメトリクスを自動で CloudWatch に発行します。これらにアラームを設定し、「レイテンシが閾値超過」「スロットリングが急増」を検知して通知できます。ダッシュボードで運用状況を一望することも可能です。

Amazon Bedrock Model Invocation Logging

モデル呼び出しの入力プロンプトと出力（および画像などの本文）を丸ごとログに残す機能です。出力先は Amazon CloudWatch Logs または Amazon S3 を指定します。「何を入れて何が返ったか」を監査・デバッグ・品質改善のために保存できます。メトリクスでは分からない中身の調査に使います（PII を含む場合は保管・アクセス制御に注意）。

CloudWatch Logs Insights

CloudWatch Logs に集めたログをクエリ言語で集計・分析するツールです。例えば「エラーメッセージ別の発生件数」「特定時間帯の遅いリクエスト」を抽出できます。生ログを目で追うのでなく、条件で絞り込み傾向を掴むのに使います。

プレーンテキスト

fields @timestamp, @message
| filter @message like /ThrottlingException/
| stats count() by bin(5m)

AWS X-Ray

複数コンポーネント（API Gateway → Lambda → Bedrock → Knowledge Base など）をまたぐリクエストの経路と各区間の所要時間を可視化する分散トレースサービスです。「全体が遅いが、どの区間がボトルネックか」を特定するのに使います。メトリクス（数値）でもログ（中身）でもなく、経路と区間レイテンシを見るのが X-Ray の役割です。

試験で問われるポイント

3 本柱の対応を取り違えない。数値の監視・アラームは CloudWatch メトリクス、入出力の中身は Bedrock Model Invocation Logging、ログの集計分析は CloudWatch Logs Insights、区間ボトルネック特定は X-Ray
「入力プロンプトと出力を記録したい」なら Bedrock Model Invocation Logging。CloudWatch メトリクスでは中身は分からない、というのがひっかけ
「分散したコンポーネントのどこが遅いか」なら X-Ray。CloudWatch メトリクスは個別サービスの数値、X-Ray は経路横断のレイテンシ内訳
Logs Insights はログ分析であって、コスト分析（Cost Explorer）やトレース（X-Ray）ではない
Model Invocation Logging は入出力を保存するため、PII・機微情報の取り扱い（保管先の暗号化・アクセス制御）が論点になる

サービスの使い分け早見表

やりたいこと	使うもの	混同しやすいもの
呼び出し回数・レイテンシ・スロットリングを監視しアラート	Amazon CloudWatch メトリクス	X-Ray（経路トレースで個別数値の主役ではない）
入力プロンプトと出力を丸ごと記録	Amazon Bedrock Model Invocation Logging	CloudWatch メトリクス（中身は持たない）
ログを条件で集計・分析	Amazon CloudWatch Logs Insights	AWS X-Ray（トレース可視化）
分散コンポーネントのボトルネック区間を特定	AWS X-Ray	CloudWatch メトリクス（サービス単体の数値）

まとめ

オブザーバビリティはメトリクス・ログ・トレースの 3 本柱です。数値の監視とアラームは Amazon CloudWatch、入出力の中身は Amazon Bedrock Model Invocation Logging、ログの集計分析は CloudWatch Logs Insights、経路横断のボトルネック特定は AWS X-Ray と役割を分けて使います。試験ではこの対応関係の取り違えが典型的なひっかけです。

次のステップ

次のクイズレッスンで、メトリクス・ログ・トレースの使い分けを問うシナリオ問題に挑戦しましょう。