プロンプト評価の指標：回答品質を客観的に測定する方法

プロンプトに一行足して、返ってきた文章を読んで、前より良くなった気がする。そう思って採用したのに、翌週に同じプロンプトを使ったら別のところが崩れていた。生成 AI を仕事で使い続けると、必ずこれが起きます。

原因は、良し悪しを読んだ印象だけで決めていることです。印象は記録に残らないので、先週の自分と比べられません。比べられなければ、直したのか壊したのかも分かりません。

印象を、数えられる形に置き換える

難しい指標を持ち込む必要はありません。自分の用途で「これが守られていなければ使い物にならない」という条件を 2 つか 3 つ選び、守れた回数を数えるだけで足ります。

たとえばカスタマーサポートの返信案を作らせているなら、次の 3 つが数えられます。

• 形式が守れた回数 — 件名と本文がそろったメールの形で返ってきたのは、10 回中何回か
• 禁止した言葉が混ざった回数 — 使わないと決めた言い回しが、何回まぎれ込んだか
• 事実の食い違いの箇所数 — 金額、日付、担当者名のうち、手元の資料と合わなかったのは何箇所か

どれも読み手の好みが入りません。誰が数えても同じ数になるので、翌週の自分とも、隣の席の人とも比べられます。逆に「読みやすさ」「自然さ」を点数にしようとすると、その日の気分で 3 点にも 5 点にもなり、記録の意味がなくなります。

10 回動かして、表に 1 行足す

生成 AI は同じプロンプトでも毎回違う文を返します。1 回だけ見て判断すると、たまたま良かった回を実力と勘違いします。10 回動かして、結果を次のような表に足していきます。

この 2 行が並んだ時点で、出力形式の指定は効いたが、禁止語と事実の食い違いにはまったく効いていない、と言い切れます。次に手を入れる場所も、表がそのまま指しています。

10 回という数にも意味があります。6 回が 7 回になった程度の差は、直した効果ではなく、その日のゆらぎで出る幅です。10 回中 3 回以上動いたときだけ、効いたと判断してください。数える手間を惜しんで 2 回や 3 回で切り上げると、この判断ができなくなります。

100 点の見本を、先に 5 件書いておく

数えるには、何が正解かを先に決めておく必要があります。実際に届いた問い合わせを 5 件選び、それぞれに「こう返ってきたら合格」という文面を自分の手で書いておきます。

この 5 件は、プロンプトを直すたびに毎回通します。今まで通っていた 3 件目が急に落ちたなら、その修正はやりすぎです。5 件は少なく見えますが、崩れは驚くほどここに出ます。

解説

3 つの条件は同時には立ちません。形式を厳しくすると文章が硬くなり、やわらかさを求めると形式が緩みます。どれを優先するかは、用途ごとに先に決めておきます。