AIのセキュリティ

命令と入力が、同じ文章として届いてしまう

従来のソフトウェアでは、命令はコードとして書かれ、データは別の口から流れてきます。ところが言語モデルは、開発者が設定した指示も、利用者が打ち込んだ文も、外部から読み込んだ資料も、すべて同じ自然言語のテキストとして受け取ります。指示と入力データを構造的に区別できないという性質が、生成AI特有の攻撃を生みます。以下の手法は、すべてこの一点から出ています。

読ませた資料のほうに、指示を仕込まれる

特に厄介なのが間接プロンプトインジェクションです。攻撃者は利用者と直接やりとりする必要がなく、AIに読ませる資料の側に仕込んでおけば済むため、利用者は自分が攻撃されたことに気づけません。RAGで社内文書を参照する構成や、Webページを読み取らせる構成では、取り込んだ文書の中身が命令として解釈されうるという前提で設計します。

このほか、大量の入出力からモデルの機能を複製するモデル抽出、特定のデータが学習に使われたかを推測するメンバーシップ推論、学習データやシステムプロンプトの中身を吐き出させる手口も、名前として問われます。

道具を持たせると、被害が「操作」に変わる

AIにメール送信、ファイル操作、外部APIの呼び出しといった道具を与えると、被害の性質が変わります。それまでは間違った文章が出るだけだったものが、実際に操作が実行されるに変わるからです。間接プロンプトインジェクションと組み合わされば、読み込んだ文書に書かれた指示に従って、AIが機密ファイルを外部へ送るといった事態が起こりえます。

危険が最大になるのは、機密情報へのアクセス、外部から来る信頼できない入力の処理、外部への出力や作用の手段という3つが重なったときです。この3つを同時に満たす構成は避けるか、強い制限を掛けます。

完全に防ぐ単一の手段はないので、層を重ねます。外部から来るテキストを無条件に指示として扱わない入力の検証、機密語句が混ざっていないかを見る出力のフィルタ、AIに与えるアカウントの権限の最小化、生成されたコマンドやコードをそのまま実行しない運用、送信や削除の前に人の確認を挟む承認、そして入出力の記録と監視です。このうち権限の最小化と人による承認は、攻撃を防ぐのではなく攻撃が成功したときの被害を限定するための策で、この違いを説明できるようにしておきます。社内で運用ルールを定めるときは、情報システム部門や法務部門と一緒に決めてください。

試験ではこう問われる

• 「Webページを読み込ませたところ、そのページに書かれていた指示にAIが従ってしまった」は間接プロンプトインジェクションです。直接との違いは、指示をどこに仕込んだかで切り分けます
• 「安全上の制限を外させて禁止された内容を出力させる」はジェイルブレイクです。役割を演じさせる手口が書かれていれば合図になります
• 「学習用データに不正なデータを混ぜて判断を歪めた」はデータポイズニングです。学習時を狙うか推論時を狙うかで敵対的サンプルと見分けます
• 「対策として最も適切なものはどれか」では、AIの出力を人が確認せずに実行する運用を是とする選択肢が誤りになります。AIの出力は信頼できない入力として扱う、が原則です