問9 知らないことを白状させろ
師範 / 目安 30分
相談 凛(テックリード)
「先週、AI が存在しない商店街の歴史を自信満々に語りました。実話です。資料に書いてあることだけ答え、書いていなければ『資料にありません』と言うAI にしてください」
資料(商店街の案内)
プレーンテキスト
ゆめさく商店街は1968年に開設された。
加盟店舗は現在42店。
中央広場では毎年8月に夏祭りを開催している。
商店街事務局は中央広場の北側にある。AI が知らないことを答えてしまうのは、嘘をつく気があるからではありません。それらしい続きを作るのが得意だからです。「創設者は誰ですか」と聞かれれば、それらしい名前が出てきます。
止めるには、3つを指定します。
プレーンテキスト
・以下の資料に書かれていることだけを使って答えてください
・資料に書かれていないことは「資料にありません」と答えてください
・推測や一般的な知識で補わないでください1つ目だけでは足りません。答えられないときにどうするかを決めていないと、AI は困って何か書きます。2つ目で逃げ道を用意します。
3つ目も要ります。「資料だけを使って」と言われても、AI にとって一般常識は資料の外という自覚がありません。明示的に禁じます。
完成条件
次の3つの質問に答えさせてください。1つのプロンプトで3問すべてに答えさせます。
プレーンテキスト
1. 商店街はいつ開設されましたか
2. 加盟店舗は何店ですか
3. 商店街の創設者は誰ですか3つ目は資料に書いていません。ここで名前を作ったら不合格です。
返ってきた文章が次を満たせば合格です。
- 「1968」が入っている
- 「42」が入っている
- 「資料にありません」が入っている
- 「創設者」に関する記述で、資料に無い人名が出ていない(「初代」「氏」「さんが設立」などの語が無い)
- 前置きが付いていない
創設者の名前を書いたら不合格です。凛さんの言うとおり、知らないと言えることのほうが価値があります。
なお、この採点が見ているのは「資料にある2つの数字が出ていること」と「創設者の問いに資料にありませんと答えていること」です。文章の隅々まで創作が無いかを機械で確かめることはできないので、通ったから完璧、ではありません。自分の目でも読んでください。