クイズ：FM 評価フレームワーク（D5 タスク 5.1）
クイズ1
ある企業が新しい Claude モデルへの移行を検討しています。現行モデルと新モデルを同一の入力セットで比較し、定量スコアを出したいという要件があります。最も適切な AWS サービスはどれですか。
クイズ2
チームが golden dataset を設計しています。「サンプル数が少ないほど評価が速く終わるのでよい」という意見が出ました。この主張の問題点を最も正確に説明しているのはどれですか。
クイズ3
スタートアップが新しい社内 FAQ チャットボットを開発しています。本番ログがまだ存在せず、評価セットの数が不足しています。コストを抑えながら評価データを素早く拡充する方法として最も適切なのはどれですか。
クイズ4
チームが Bedrock Model Evaluation のカスタム評価モードで LLM-as-judge を設定しています。審判モデルに評価対象と同一の Claude モデルを選ぼうとしています。この設計の問題点として最も正確に説明しているのはどれですか。
クイズ5
ある企業が新しい FM バージョンのカナリアデプロイを計画しています。新モデルに全トラフィックの 5% を流し、CloudWatch でエラー率とレイテンシを監視しながら徐々に拡大する方針です。このシナリオで Bedrock 側の設定として最も適切なのはどれですか。
クイズ6
評価チームが「自動評価（BERTScore）でスコアが高いのに、人手評価では低評価が続く」という状況に直面しています。この乖離の原因として最も適切な説明はどれですか。
クイズ7
ある企業が A/B テストで「旧モデル」と「新モデル」の品質を比較することにしました。同一ユーザーセグメントを 2 グループに分けて結果を収集する予定ですが、評価担当者から「A/B テストは統計的有意性が必要」という指摘を受けました。この文脈で A/B テストの信頼性を上げるために最も重要な設計上の考慮事項はどれですか。
クイズ8
ある本番システムでモデルをアップグレードした直後から応答品質が低下しました。チームは Bedrock Model Evaluation の評価レポートを確認しましたが、新モデルの方がスコアが高いと表示されています。この状況で最も疑うべき原因はどれですか。
未回答の問題は、不正解として正解と解説のみ表示します
ログインが必要です
クイズに回答するにはログインしてください。