Self-Consistency：複数の推論パスで回答の信頼性を高める技術

5 回投げれば、料金も待ち時間も 5 倍になる

同じ問いを複数回投げて、いちばん多く出た答えを採用する。これが Self-Consistency です。仕組みが単純なぶん、費用も単純に増えます。5 回投げれば料金は 5 倍、順に待てば時間も伸びます。だから、次の場合は使いません。

• 答えが 1 つに決まらない問い。キャッチコピー案や要約を 5 回投げても、5 つとも違う文が返るだけで、多数決の対象になりません
• 外れても影響が小さい問い。下書きや言い換えは、外れたらもう一度頼めば済みます
• 1 回で毎回同じ答えが返る問い。すでに安定しているものに 5 倍払う理由はありません

使うのは、答えが 1 つに決まっていて、外れると気づかないまま困る問いです。数値の計算、条件が絡む判定、締め日や割引の適用可否。人が結果を見ても、正しいかどうか一目では分からない種類の問いが対象になります。

なぜ多数決で当たりが増えるのか

途中の考えを書かせても、AI は毎回まったく同じ道筋をたどるわけではありません。ここが効きます。

正しい道筋は数が限られていて、どれを通っても同じ答えに着きます。一方、計算を 1 か所間違えたときの答えは、間違え方ごとにばらばらです。結果として、正解は同じ値に積み上がり、誤答は散らばります。5 回投げて「9、9、7、9、10」と返ってきたら、9 が 3 票で残ります。

このばらつきが必要なので、API から使う場合は temperature を 0 ではなく 0.7 前後に上げます。0 にすると毎回ほぼ同じ出力になり、同じ間違いを 5 回買うだけになります。回数は 3 回から 5 回で十分です。それ以上増やしても、多数派が入れ替わることはめったにありません。

1 回の応答で 3 案出させるのは、多数決ではない

「3 通りの考え方を書いてから、多数派を答えてください」と 1 回のやり取りの中で書かせる例をよく見かけます。手軽ですが、これは多数決になっていません。

1 回の応答の中では、2 つ目の案は 1 つ目の案を読んだ状態で書かれます。1 つ目が間違っていれば、2 つ目も 3 つ目もそれに引きずられます。独立に投げていないので票が割れず、同じ方向に揃ってしまいます。バラバラであることが効きの源なので、そこが失われると意味がありません。

本来の形は、同じプロンプトを別々の会話として複数回送り、それぞれの最終回答だけを取り出して、こちらで数えることです。数えるのはこちらの仕事で、AI にはやらせません。

手で 5 回投げるなら、集計しやすい形で返させておくと楽です。

最終行だけを見比べれば、5 回分の票がすぐ数えられます。票が 3 対 2 のように割れたときは、多数派を採るより、その問い自体を人が確認したほうが安全です。割れたという事実が、その問いが AI にとって難しいことを教えてくれています。