プロンプト設計に必要なLLMの動作原理を理解する

知らないことを聞いても「知りません」と返ってこない

社内制度のように、ネット上にほぼ情報が無いことを AI に聞くと、それらしい答えが堂々と返ってきます。存在しない条文番号や、誰も書いていない出典が付いてくることさえあります。人間なら「分かりません」と答える場面で、AI は答えません。

これは故障ではありません。AI の作りからすると、こうなるほうが自然です。

AI がしているのは、次の一語を選ぶことだけ

大規模言語モデル（LLM）は、入力された文章を見て「この続きに来る確率がいちばん高い言葉」を 1 語選び、それを文章の末尾に足して、また次の 1 語を選びます。この繰り返しだけで文章ができあがります。

「日本の首都は」と入れて「東京」が返るのは、AI が日本の地理を理解しているからではなく、学習した文章の中でその並びが圧倒的に多かったからです。裏を返すと、学習データに無いことを聞かれても、AI は「確率がいちばん高い並び」を返す装置なので、空欄を返す道がありません。もっともらしい嘘、いわゆるハルシネーションは、この性質の裏側です。

同じ質問を 2 回投げて答えが微妙に違うのも、同じ理由です。1 語ずつ確率で選んでいるので、2 番手だった語がたまたま選ばれると、そこから先の文章がまるごと変わります。AI は毎回同じ答えを出す機械ではありません。

学習した文章を材料にしている以上、学習が終わった時点より後の出来事も知りません。昨日のニュースを聞いても、AI は「知らない」とは言わず、それらしい文章を組み立てます。

ここから 2 つのことが決まります。1 つは、事実確認を伴う仕事で AI の出力をそのまま信じてはいけないこと。もう 1 つは、こちらが渡す文章そのものが、次に来る語の確率を動かす唯一の材料だということです。指示文はお願いではなく、確率を寄せるための入力です。丁寧に頼むかどうかではなく、どんな言葉を置いたかで結果が動きます。

会話が長くなると、最初の指示が効かなくなる

AI が一度に見られる文章の量には上限があります。この範囲をコンテキストウィンドウと呼び、量はトークンという単位で数えます。日本語はおおよそ 1 文字が 1 から 2 トークンです。

会話が長引くと、最初のほうに書いた前提が上限からこぼれ、AI の視界から消えます。「文体を指定したのに途中で戻ってしまった」というのは、たいていこれです。

直し方は単純で、効かせたい指示を会話の最後にもう一度書きます。長い資料を扱うときも、資料を貼ったうえで、その後ろに指示を置くほうが安定します。前に置いた指示は、長い本文にはさまれて薄まるからです。設定が崩れてきたと感じたら、新しい会話を始めて前提を貼り直すほうが、同じ会話で粘るより速く戻ります。