RAG の答えの精度が低いとき、どこを疑いますか

こう聞かれます

• 「RAG の答えの精度が低いとき、どこを疑いますか」
• 「答えがずれている原因が、検索か生成かを、どう見分けますか」
• 「文書はどんな大きさに分けますか」

面接官が見ている点

• 検索の側と生成の側を分けて考えられるか
• 勘で直さず、「正しい文書が取れているか」を先に測ると言えるか
• 直す手を、それぞれの弱点も含めていくつか挙げられるか

短い答え

• まず、質問に対して正しい文書が検索で取れているかを、生成と分けて測ります。取れていなければ検索の側、取れているのに外れるなら生成の側を疑います。
• 検索の側では、文書の分け方、埋め込みのモデル、キーワード検索との併用 (ハイブリッド検索)、結果の並べ直し (再ランキング) を見ます。
• 生成の側では、渡す文脈の量と順番、プロンプトの指示を見ます。

少し詳しい答え

よくある間違い

• 最後の答えだけを見て直す検索と生成のどちらが悪いか分からないまま、プロンプトばかり直すことになります
• 意味の検索だけに頼る型番や固有の名前に弱いことがあります。キーワードの検索も併用します
• 文脈をたくさん渡せば良くなると思う関係の無い文が混ざると、答えがかえってぶれます

深掘りの問い

• 「評価のための質問は、どう集めますか」実際の問い合わせやログから集め、答えの載っている文書を人が付ける、と答えます
• 「文書が更新されたらどうしますか」変わった文書だけ埋め込みを作り直す仕組みにする、と答えます
• 「答えに出典を付けるには」渡す文書に番号や出どころを付け、答えでその番号を示させる、と答えます

関連するコースと用語

• RAGと外部知識
  コース「生成AI資格対策(生成AIパスポート+G検定)」
• LLMのしくみ
  コース「生成AI資格対策(生成AIパスポート+G検定)」

用語集で確かめる言葉は、RAG、埋め込み、ベクトル化、コンテキスト長です。