ハルシネーション（AIの嘘）の原因と見抜き方

調べものをしていて、ChatGPT が参考書を 3 冊すすめてくれた。著者名も出版社も出版年もそろっている。書店で探したら、そのうち 1 冊は存在しませんでした。

これがハルシネーション（幻覚）です。厄介なのは、嘘であることが文面からまったく分からない点です。自信のなさそうな書き方をしてくれれば疑えるのに、正しい回答とまったく同じ調子で出てきます。

なぜ「知りません」と言わずに作るのか

AI は事実のデータベースを検索しているのではありません。膨大な文章を学習して、「この言葉の次にはこの言葉が来る確率が高い」という計算を繰り返して文を組み立てています。

つまり AI が優先しているのは、正しいかどうかではなく、文章として自然かどうかです。書名の話をしているなら、それらしい書名が並ぶのが自然な流れなので、知らない部分もパターンで埋めてしまいます。悪意はなく、仕組み上そうなるというだけです。

「知りません」と正直に答えるより、それらしい答えを出すほうが文章としては自然に見える。この性質がある限り、完全になくすことは今の技術では難しく、こちら側で見抜く必要があります。

嘘が出やすい場所は決まっている

全部を疑っていては使えないので、疑う場所を絞ります。危ないのは次の 4 つです。

• 固有名詞 — 人名、書名、会社名、法律や制度の名前
• 数値 — 統計、価格、人口、シェア
• 日付 — 発売日、施行日、出来事の年
• URL — 参考リンクとして示されたアドレス

回答にこの 4 つが出てきたら、そこだけ裏を取る。逆に、考え方の整理、文章の言い換え、企画のたたき台のように事実を含まない依頼では、ハルシネーションはほとんど問題になりません。全部を疑う必要はないのです。

数字が危ないのは、AI が計算しているわけでも表を引いているわけでもないからです。文章のパターンとしてそれらしい桁の数を置いているだけなので、惜しい間違いが混じります。学習データが少ない話題ほど危険度も上がるので、ニッチな地域の歴史、専門的な論文の内容、そして学習の締め切り以降に起きた出来事は、確認なしで使わないでください。

見抜く手は 3 つある

1 つ目は、示された URL を実際に開くこと。 ハルシネーションのなかでも特に多いのが、実在しないページのアドレスです。それらしいドメインにそれらしい文字列が並ぶので、見た目では判断できません。クリックして 404 が出るなら、その回答全体を疑ってください。

2 つ目は、新しいチャットで同じことを聞き直すこと。 会話をまたいで答えが食い違うなら、AI はその情報を確かに持っているのではなく、その場で組み立てています。人名や数字が呼ぶたびに変わるようなら、まず信用できません。

3 つ目は、根拠を言わせること。 「なぜその結論になるのか、順を追って説明してください」と足すと、思考の道筋が文章に出てきます。理由の部分が「一般にそう言われています」だけで具体を欠くときは、根拠がない合図です。

そのうえで、公式サイトや公的な統計といった一次情報にあたります。手間に見えますが、確認するのは先ほどの 4 つが出てきた箇所だけなので、実際にかかるのは数分です。

出させない頼み方

見抜くだけでなく、そもそも作らせない工夫もあります。効くのは、逃げ道を用意してあげることです。

解説

プレーンテキスト

確信が持てない項目は「わかりません」と書いてください。 存在しない書名や統計を作らないでください。

この一行があるだけで、無理な穴埋めはかなり減ります。逆に「まだ誰も知らない秘密の情報を教えて」のように、知らないことを無理やり考えさせる頼み方は、ハルシネーションを自分から呼び込みます。

事実を確かめる道具と、案を広げる道具。生成 AI は後者が本業だと考えて使い分けると、付き合い方がぐっと楽になります。存在しない物語の設定を作らせるときには、この「もっともらしく作る力」がそのまま長所になります。