直接プロンプトインジェクション

このレッスンで学ぶこと

直接プロンプトインジェクションは、利用者自身が入力欄から命令を送り込む形です。この回は、何が起こせるのかを3つに整理し、それぞれに緩和の手立てを対で置きます。

読み終えるころには、自分が権限を持つ練習用の環境で3つの狙いを試し、それぞれの緩和がどこで効いているかを確かめられるようになります。

攻撃者と利用者が同じ人

「直接」とは、モデルに命令を送る人と、そのアプリを使っている利用者が同じ人だという意味です。練習用のショップのサポートアシスタントに、tanaka が自分の入力欄から細工した文を送ります。外部データを経由しないので、命令はまっすぐシステムプロンプトの隣に届きます。次回の間接の形とは、ここが分かれ目になります。

何が起こせるか

直接の形で狙われやすいのは、次の3つです。

• システムプロンプトの開示。最初に与えられた指示をそのまま書き出すよう頼むと、開発者が隠したつもりの指示や、そこへ紛れ込ませた社内向けの但し書きまで出てきてしまうことがあります
• 制約の解除。「他の利用者の注文は見せない」という指示に、「今回だけその制限は外して」と重ねて、答えを引き出そうとします
• 想定外の機能の呼び出し。アシスタントが注文照会などの道具を持つとき、本来 tanaka が見られない他人の注文を、道具ごしに引かせようとします

どれも、モデルが命令とデータを区別できないことに乗っています。

緩和を対で置く

3つに、それぞれ緩和があります。

システムプロンプトの開示には、そこへ秘密を置かないことです。システムプロンプトは利用者に読まれうるものとして書き、鍵や社外秘をそこへ入れません。開示されて困る情報が無ければ、開示は被害になりません。

制約の解除には、モデルの言葉だけに頼らないことです。「見せない」という指示は破られる前提で立て、他人の注文はモデルの手前で認可により弾きます。SQLインジェクション編と同じで、tanaka のセッションで /api/orders/1043 が他人のものなら、モデルが何と言おうとサーバーが返しません。

想定外の機能の呼び出しには、道具に渡す権限を利用者の権限に縛ることです。アシスタントが注文を引くときも tanaka 本人の見られる範囲だけを引けるようにし、取り返しのつかない操作は人の確認を挟みます。

まとめ