クイズ：RAG 評価・Agent 評価（D5 タスク 5.1）

クイズ1

RAG チャットボットが「参照ドキュメントに書かれていない情報を事実として回答する」という問題を起こしています。最初に診断すべき RAGAS 観点はどれですか。

ある企業が「上位 5 件の検索結果を返しているが、2 件しか実際の回答に使われていない」という状況に気づきました。この状況を測定するのに最も適した RAGAS 観点はどれですか。

チームが RAGAS を使って RAG パイプラインを評価する計画を立てています。マネージャーから「RAGAS はどの AWS サービスで有効化しますか」と聞かれました。最も正確な答えはどれですか。

LLM-as-judge を設計しているチームが、審判モデルと評価対象モデルに同じ Claude Sonnet を使おうとしています。加えて、採点基準をプロンプトに明記しないで「よいか悪いかを判断してください」だけ書こうとしています。この設計の問題点をすべて正しく説明しているのはどれですか。

Amazon Bedrock Agents で「商品を注文して配送状況を確認してキャンセルする」という 3 ステップのシナリオをテストしています。各ステップの成功率は高いのにエンドツーエンドのタスク完了率が低い状態です。この状況の説明として最も適切なのはどれですか。

Bedrock Agents のタスク完了率を計測するために実行トレースを記録したいと考えています。最も適切な実装方針はどれですか。

評価レポートを受け取った経営者から「全体スコアが 82 点なので問題ない」という判断が下されました。しかし担当エンジニアは懸念を持っています。このエンジニアが指摘すべき評価レポートの設計上の問題として最も適切なのはどれですか。

RAG システムのモデルをアップグレードした後、評価チームが「新バージョンの全体スコアは旧バージョンより高いが、一部のクエリカテゴリでは低下している」ことに気づきました。この状況を正しく対処する方針はどれですか。

未回答の問題は、不正解として正解と解説のみ表示します

ログインが必要です

クイズに回答するにはログインしてください。