プロンプトの技法

試験で問われるのは、名前の付いた技法だけ

プロンプトの工夫は無限に語れますが、試験に出るのは名前の付いた技法に限られます。出題は「こういう聞き方をした。この技法は何か」という形が中心です。必要なのは、技法の説明文を読んで名前を言えること、そして名前から中身を言えることの2方向だけです。ここでは名前が付いている技法を対応表の形で押さえます。

この表の左端と中身の対応が、そのまま出題の形になります。

取り違えやすい組み合わせが決まっている

shot 系の3つは、見せた例の個数だけで決まります。ここでいう例とは、入力とそれに対する望ましい出力の組を指します。0個なら zero-shot、1個なら one-shot、複数なら few-shot です。指示文の長さや丁寧さは関係ありません。few-shot は、言葉で説明しにくい形式や書きぶりを実例で伝える技法で、ラベルの付け方の基準を揃えたいときに効きます。

ここで狙われるのが、few-shot はモデルの中身を書き換える学習ではないという点です。与えた例はその場のプロンプトに含まれるだけで、次回には持ち越されません。追加のデータでモデルを訓練するファインチューニングとは別物です。

思考の連鎖は、答えを一息に出させるのではなく、途中の推論過程を順に書かせてから結論を出させる技法です。複数の手順を踏む計算や、条件が絡み合う論理問題で正答率が上がることが知られています。役割の指定と混同しやすいので、過程を書かせているか、例を見せているか、立場を与えているかで切り分けます。

出力形式の指定と制約の明示も似て見えますが狙いが違います。出力形式の指定は出力の器を決めるもので、後続の処理に機械的に渡したいときに必須です。制約と禁止事項の明示は中身の範囲を絞るもので、文字数の上限、使ってよい用語、触れてはいけない話題を先に伝えます。とくに「〜を含めないでください」という否定形は、書いておかないと守られません。

段階的に分けて聞くは、1回の依頼に要求を詰め込むとどれかが抜け落ちるのを防ぐ技法です。資料の要約、要約からの論点抽出、論点に対する提案、という3段に分けて順に依頼すると、各段の出力を人が確認でき、途中で軌道修正もできます。

聞き方を変えても出てこないものがある

プロンプトの工夫は万能ではありません。モデルがそもそも知らない社内情報は、聞き方を変えても出てきません。この場合に必要なのは技法ではなく、社内文書を検索して根拠として与える RAG です。また、事実の正しさは技法では保証されません。思考の連鎖を使っても、途中の過程がもっともらしいだけで誤っていることはあります。技法は出力を望む方向へ寄せる手段であって、正しさの保証ではありません。

試験ではこう出る

• 最頻出は技法名を答えさせる形です。「例を3つ提示したうえで本題を解かせた」なら few-shot が答えです。one-shot と迷わせてくるので、例の個数を必ず数えます
• 「順を追って考えるよう指示した」を、few-shot や役割の指定と迷わせる形も出ます
• few-shot をファインチューニングと取り違えさせる選択肢が置かれます
• 「出力を後続システムに渡したい」という場面では、出力形式の指定が答えです。役割の指定を選ばせようとする誤答が並びます
• 「社内規程の内容を答えさせたいが、モデルが知らない」という設問では、プロンプト技法ではなく RAG が答えになります