ハルシネーションとリスク

バグではなく、仕組みからの必然

ハルシネーションとは、生成AIが事実と異なる内容を、もっともらしい文章として出力する現象です。日本語では幻覚と訳されます。大事なのは、これがたまたま起きた不具合ではなく、大規模言語モデルの仕組みから当然に生じるものだという点です。

言語モデルがやっているのは、これまでの文脈のうしろに次に来やすい語を確率的に選ぶことです。モデルの内部には、その記述が真か偽かを照合する仕組みがありません。学習データの中で頻繁に並んでいた語のつながりが、そのまま自然な文として再生されます。したがってモデルは、正しい答えを知らない場面でも、知らないと止まるのではなく文としてもっともらしく続く語を並べてしまいます。自信のなさが文体に現れないため、断定口調の誤りが生まれます。

起きやすい場所には偏りがある

判例名、法令の条文番号、製品の型番、URL のように一文字違えば別物になる情報ほど危険です。

特有のリスクは、技術の話だけではない

試験では、生成AIのリスクを幅広く問われます。主なものは下記のとおりです。

• 学習データの偏り — 学習に使われた文章に社会的な偏りがあれば、出力にも引き継がれます
• 著作権の侵害 — 生成物が既存の著作物と類似した場合に問題となりえます
• 機密情報や個人情報の漏えい — 入力した情報が外部に渡る、あるいは学習に使われる場合があります
• 悪用 — 偽情報の大量生成、フィッシング文面の作成、ディープフェイクによるなりすまし
• 環境負荷とコスト — 学習と推論には大量の計算資源と電力が必要になります
• 自動化バイアス — 人が機械の出力を過度に信頼し、確認を省いてしまう傾向のことです

最後の自動化バイアスは、技術ではなく人間側のリスクである点が問われます。出力が流暢であるほど、人は正しいと感じてしまいます。

消せない前提で設計する

ハルシネーションをゼロにする方法は存在しません。したがって対処は、起こる前提で被害を抑える設計になります。人が確認する工程を残す、社内文書などを検索してその内容に基づいて答えさせる RAG で根拠を持たせる、出典を出させるの3つが柱です。出典については、出典そのものが捏造される場合もあるため、リンク先の実在確認まで含めて初めて対策になります。

そのうえで、医療、法務、与信のように誤りの影響が大きい領域では重要な判断に単独で使わないという線を引き、下書き、要約、案出しのように人が直す前提の使い方に用途を寄せることになります。

試験ではこう出る

出題者はハルシネーションという語を出さずに、現象の記述で書いてきます。

• 「実在しない論文を引用した」「もっともらしいが誤った内容を出力した」はハルシネーションの合図です。学習データの偏りの選択肢と迷わせてくるので、事実として誤っているか、価値判断が偏っているかで切り分けます
• 「原因として最も適切なものはどれか」の答えは、次に来る語を確率的に選ぶ仕組みであり事実の照合をしていないため、です。「学習データが少ないため」は一因ではあっても根本の説明としては弱い選択肢として置かれます
• 「対策として不適切なものはどれか」という否定形も頻出です。「再学習すれば完全になくなる」「温度を下げれば誤りは生じない」のように、完全に消せると断定する選択肢が誤りになります
• 「担当者が出力をそのまま社外資料に使った」という事例は、自動化バイアスと人による確認工程の欠如を問う問題です