プロンプトのA/Bテスト入門：継続的に回答品質を改善する方法

物差しが決まったら、次は案を比べます。ところが多くの人は、直すときに 2 か所いっぺんに書き換えてしまいます。

役割の指定を「プロのライター」から「経験 20 年のベテラン編集者」に変え、ついでに出力形式も箇条書きに変えた。結果は良くなった。ここで手が止まります。効いたのは役割か、形式か。次に別の仕事へ持っていくとき、どちらを持っていけばよいのか分かりません。

1 回の修正で、変える場所は 1 か所

比べたい版を 2 つ作るとき、違いは 1 か所だけにします。役割を変えた版と、形式を変えた版は、別々に試します。面倒に見えますが、これをやらないと、良くなった理由が毎回分からないまま次に進むことになります。

変える対象になりやすいのは、次のようなところです。

• 役割の書き方を変える
• 制約を「100 文字以内」から「3 つの箇条書き」に変える
• 手本を 0 個から 1 個に増やす
• 手順を踏ませる一文を足す

このうちどれか 1 つだけを動かし、残りは元の版のまま固定します。固定した側が、次の比較の出発点になります。

先ほどの例なら、まず役割だけを差し替えた版を作って比べます。差がほとんど出なければ、役割の書き換えは効いていなかったということです。そのうえで元の版に戻り、今度は形式だけを箇条書きに変えます。2 回に分けたぶん時間はかかりますが、手元に残るのは「効いたのは形式だった」という、次の仕事にも持っていける一文です。

1 回の結果で勝ちを決めない

同じプロンプトでも返ってくる文は毎回違います。1 回ずつ比べて勝敗をつけると、実力ではなくその日の当たり外れを採用してしまいます。各版を 10 回動かし、前のレッスンで決めた条件が守れた回数を数えて比べてください。

負けた版も消さずに残します。「役割を長く書いたら、かえって形式が崩れた」という記録は、次に同じ誘惑にかられたときに効きます。

自分が書いた長いほうを、つい勝たせてしまう

もう一つの落とし穴は、自分の目です。時間をかけて書いた長いプロンプトのほうが良いはずだ、という気持ちが採点に混ざります。

防ぎ方は簡単で、出力だけを並べて、どちらの版から出たものかを隠して読みます。付箋を貼る、別のファイルに順番を混ぜて貼る、それだけで十分です。同僚に見てもらえるなら、どちらの版かを伝えずに渡してください。

解説

どちらが良いかを AI 自身に判定させる手もあります。ただし判定基準を渡さずに聞くと、長いほうや丁寧なほうを選びがちです。前のレッスンで決めた条件を、そのまま判定基準として渡してください。