お客様の業務で AI の出来を測るために、評価の組をどう作りますか

本物の過去の事例から選ぶ

評価の組は、お客様の業務で実際に起きた事例から作ります。問い合わせの窓口なら過去の問い合わせの記録、書類の確かめなら過去に処理した書類です。エンジニアが頭で考えた質問は、言い回しがきれいすぎたり、業務でよく出る形から外れていたりして、本番の出来を表しません。

選ぶときは、よく来る種類が多めに入るようにします。月に 1 度しか来ない珍しい事例ばかりを集めると、組の点数と現場の手応えがずれます。件数に決まりはありませんが、最初は小さな組で始め、現場の担当が 1 件ずつ見られる量にとどめます。

正解と合格の線は現場が決める

業務の正解は、その業務をしている人がいちばんよく知っています。正解の答えと、「完全ではないが、この答えなら使える」の線を、現場の担当に決めてもらいます。

下は通販の問い合わせを例にした組の形です (中身は例です)。

線を先に決めておくと、点数が出たときに「これは使えるのか」の言い合いにならず、お客様と同じ物差しで話せます。

易しい例、難しい例、答えてはいけない例

組には 3 種類を混ぜます。

• 易しい例よく来る、答えがはっきりした問い。ここで外れるなら土台から見直します
• 難しい例言い回しが崩れている、2 つの話が混ざっている、資料の奥にしか答えが無い問い
• 答えてはいけない例ほかの人の情報を求める問い、資料に答えが無い問い、業務の外の問い

答えてはいけない例を入れないと、なんでも答える AI が高い点を取ってしまいます。資料に無いことを聞かれたら「分からない」と答えるのが正解だと、組の中で示しておきます。

個人の情報を外し、変えるたびに回す

過去の事例には、名前や住所が入っていることがあるので、組に入れる前に外すか置き換えます。外し方もお客様と決めます。

組ができたら、プロンプト、モデル、資料の入れ替えなど、仕組みを変えるたびに全部を回し、前の結果と並べます。前に合っていた例が外れていないかを見ると、直したつもりで別の所を壊していないかが分かります。

トレードオフ

組を大きくするほど点数は安定しますが、現場の担当が正解を付ける手間が増え、お客様の負担になります。小さな組で始めると早く回せますが、たまたま易しい例に偏ると、本番より良い点が出ます。最初は小さく作って種類の混ぜ方に気を配り、本番で見つかった外れを足しながら育てます。