AI エージェントやツール呼び出し (MCP など) を本番で使うとき、何に気をつけますか

エージェントとツール呼び出し

AI エージェントは、LLM が自分で次の手を決め、ツール (検索、ファイルの読み書き、API など) を呼びながら作業を進める仕組みです。ツール呼び出しは、LLM が「この関数をこの引数で呼んで」と決まった形で出し、アプリがそれを実際に動かす仕組みです。MCP (Model Context Protocol) は、AI のアプリと外のツールやデータを、決まった形でつなぐための取り決めです。

LLM は間違えることがあり、読み込んだ文書に仕込まれた指示にだまされることもあります。だから「LLM が正しく判断する」ことに頼らず、間違えても被害が小さい形にします。

4 つの守り

• 権限を絞る読むだけで足りるなら書けないツールにする、触れるフォルダや表を限る、などです (最小権限)
• 人の確認削除、送金、外へのメール送信のように戻せない操作は、実行の前に人が承認します
• 上限 1 回の作業で呼べる回数、使える費用、かけてよい時間に上限を置き、超えたら止めます
• 記録どの指示で、どのツールを、どの引数で呼び、何が返ったかを残します。おかしな動きを後から追えます

# ツールごとに許す範囲を決めておく例
tools:
  search_docs:     { allow: true }
  read_file:       { allow: true, paths: ["docs/"] }
  delete_record:   { allow: true, require_human_approval: true }
limits:
  max_tool_calls: 20
  max_cost_usd: 1

つなぐ相手を確かめる

MCP のサーバーは、つなぐと、そのツールの説明や返す中身が LLM に読まれます。信頼できない相手だと、説明や返す中身に紛れた指示で LLM が誘導されることがあります。誰が作った物か、何の権限を求めるかを確かめ、版を固定して入れます。

トレードオフ

人の確認を増やすほど安全になりますが、自動化の良さが薄れます。上限を低くしすぎると、正しい作業まで途中で止まります。最初は確認と上限を厳しめにし、記録を見て、安全だと分かった操作から少しずつ自動に任せます。間違いの影響が小さい作業 (下書き、調べもの) ほど任せやすく、影響が大きい作業 (お金、本番のデータ) ほど人が決めます。