本番で動いている AI エージェントや RAG の失敗を、どう見つけますか

AI の失敗はエラーにならない

ふつうの仕組みの失敗は、エラーや止まりとして表に出ます。AI エージェントや RAG の失敗は、もっともらしい答えとして静かに出ます。エラーの数を見ているだけでは、誤った答えが毎日出ていても気づけません。苦情を待つと、気づくのはお客様の業務に響いたあとです。だから、失敗を拾う仕組みを本番に出す前から置きます。

1 回ごとに残す記録

あとで「なぜこの答えになったか」をたどれるように、1 回ごとに次を残します。

question: 利用者の問い
retrieved: [引いた文書の名前と場所]
tool_calls: [呼んだツール、渡した値、返った結果]
answer: 最後の答え
user_action: そのまま使った / 手で直した / 却下した

引いた文書が残っていれば、答えの誤りが文書を引き損ねたせいか、引いた文書を読み違えたせいかを分けられます。ツール呼び出しが残っていれば、エージェントがどの手順で外れたかが分かります。記録には個人の情報が入りやすいので、残す範囲と期間はお客様の決まりに合わせます。

失敗の合図を拾う

全部を人が読むことはできないので、怪しい回を合図で拾います。

• 利用者の手直しと却下答えを大きく書き換えた、使わずに閉じた
• 答えなかった資料にあるはずの問いに「分かりません」と返した
• 言い切った引いた文書に無いことを、確かな口調で答えた
• 同じ問いの繰り返し言い回しを変えて何度も聞き直している
• ツールの空回り同じツールを何度も呼んで、答えに届かなかった

合図に引っかかった回を毎日まとめて見ると、どの種類の問いで外れやすいかが見えてきます。

人が読む抜き取り

合図だけでは、利用者が気づかずにそのまま使った誤りは拾えません。そこで、合図とは関係なく、毎日数件をでたらめに選んで人が読みます。お客様の現場の担当にも、週に一度ほど一緒に読んでもらうと、業務の目でしか分からない誤りが見つかります。

評価の組に足して戻す

見つけた失敗は、「文書を引き損ねた」「読み違えた」「ツールの選び違い」「答えてはいけないのに答えた」などの種類に分け、評価の組に足します。直したら組を全部回し、同じ失敗が戻っていないかを確かめます。見つける、分ける、組に足す、直す、の流れを回し続けることが、本番の AI を育てる土台になります。

トレードオフ

記録を細かく残すほど失敗をたどりやすくなりますが、保管の費用と、個人の情報を抱える危うさが増えます。人の抜き取りを増やすほど見落としは減りますが、人の時間がかかります。最初は合図での拾い上げと少ない抜き取りで始め、外れの多い種類の問いに人の目を寄せていきます。