AIへの指示の出し方：プロンプト入門

プロンプト評価の指標：回答品質を客観的に測定する方法

生田 陸人
監修
LuaGate エンジニア / 現役エンジニア
編集 LuaGate編集部

このレッスンで分かること

  • この記事では「プロンプト評価の指標：回答品質を客観的に測定する方法」を プロンプト設計 の現場で使える形で整理します
  • プロンプト評価の重要性：なぜなんとなくではいけないのか をおさえれば、現場で迷ったときに立ち戻れる
  • 回答品質を測定するための3つの主要指標 をおさえれば、現場で迷ったときに立ち戻れる
  • 1. 指示への準拠性（Instruction Following） をおさえれば、現場で迷ったときに立ち戻れる
  • 2. 内容の正確性と事実性（Accuracy & Factuality） をおさえれば、現場で迷ったときに立ち戻れる

プロンプト評価の指標 とは

AIの回答品質を感覚ではなく数値や基準で評価する方法を解説。精度、指示への準拠性、安全性の3つの観点から、客観的なプロンプト評価シートの作り方と改善のステップを学びます。

プロンプト評価の重要性：なぜ「なんとなく」ではいけないのか

生成AIを使っていて、「今回の回答は良かった」「今回はイマイチだった」と感じることはありませんか？その「感覚」は非常に大切ですが、プロンプトを継続的に改善していくためには、客観的な指標を用いて回答品質を測定する必要があります。

「なんとなく」の評価でプロンプトを修正してしまうと、ある部分が良くなっても別の部分が悪くなるといった「デグレード（品質低下）」に気づけません。特に、業務でAIを活用したり、AIアプリを開発したりする際には、チーム全体で共有できる共通の物差しが必要です。本レッスンでは、プロンプトの回答品質を客観的に評価し、改善サイクルを回すための具体的なメトリクス（指標）と手法について詳しく解説します。

評価は「改善の起点」です。数値化できない品質は改善もできず、感覚に依存したチューニングは必ずデグレードを生みます。最初に物差しを決めることが、AI活用の第一歩です。

回答品質を測定するための3つの主要指標

AIの回答品質を評価する際、まずは以下の3つの大きな柱を基準に考えます。これらを意識することで、多角的にAIの性能をチェックできるようになります。

diagram (will load when visible)

1. 指示への準拠性（Instruction Following）

プロンプトで指定した制約事項や形式を、AIがどれだけ忠実に守っているかを測定します。これは最も客観的に測定しやすい指標です。

  • 形式の遵守は「JSON形式で出力して」という指示に対して、正しくJSONが返ってきたか。
  • 文字数・構成は「500文字以内」「3つの箇条書きで」といった条件を満たしているか。
  • 除外ワードは「『AI』という言葉を使わないで」といったネガティブ・プロンプトが機能しているか。

2. 内容の正確性と事実性（Accuracy & Factuality）

回答の内容が事実に基づいているか、論理的に正しいかを評価します。特にビジネス利用では最も重要な指標です。

  • ハルシネーションの有無は存在しない事実を捏造していないか。
  • コンテキストの利用は与えた参考資料（RAGなどの外部知識）を正確に引用できているか。
  • 論理的一貫性は回答の冒頭と結末で矛盾が生じていないか。

3. 文体と有用性（Style & Utility）

ユーザーの目的に対して、回答がどれだけ役に立つか、適切なトーンであるかを評価します。

  • トーン＆マナーは「丁寧な敬語で」「親しみやすい口調で」といったキャラ設定が守られているか。
  • 読みやすさは改行や見出しが適切に使われ、人間にとって理解しやすいか。
  • 目的の達成度は結局、ユーザーの悩みは解決されたか（ドメイン知識の深さ）。

3軸はトレードオフが起きやすい関係です。準拠性を強めすぎると文体が硬くなり、文体を整えすぎると正確性が下がる、といった現象が頻発します。バランスを意識しましょう。

実践！独自の評価シート（ルーブリック）の作成方法

客観的な評価を行うためには、評価シート（ルーブリック）を作成するのが最も効果的です。ルーブリックとは、評価項目ごとに「何をもって5点とするか、1点とするか」を定義した基準表のことです。

例えば、カスタマーサポートのメール返信案を作成するプロンプトを評価する場合、以下のような評価テーブルを作成します。

評価項目1点（不合格）3点（合格レベル）5点（理想的）
指示遵守形式が全く異なる形式は合っているが細部に漏れがあるすべての制約を完璧に満たす
正確性誤った情報を伝えている事実だが説明が不足している正確かつ必要な補足が含まれる
言葉遣い不自然・失礼な表現がある一般的なビジネス敬語顧客の心情に寄り添った表現

このように基準を明確にすることで、評価者によるブレを防ぎ、どのプロンプトが本当に優れているのかを定量的なデータとして蓄積できるようになります。

良い評価と悪い評価の具体例

プロンプトの改善を行う際、評価の出し方そのものが間違っていると、改善の方向性も狂ってしまいます。比較してみましょう。

避けたい例 あやふやな評価の例

  • 「なんとなくAIっぽい文章で、あまり良くない気がする」
  • 「内容が薄い。もっと詳しくしてほしい」
  • 「10回中、数回は間違った答えが返ってくる」

問題点: 何をどう改善すべきか具体的なアクションに繋がらず、感覚に頼っているため再現性がありません。

良い例 客観的で具体的な評価の例

  • 「指示した『箇条書き3点』を守れたのは10回中6回であり、成功率は60%である。残り4回は文章形式になった」
  • 「情報の正確性は高いが、1文が平均80文字を超えており、可読性スコアが低い（目標は40文字以内）」
  • 「指定した『NGワード：初心者』が2箇所で使用されている。禁止指示の強度が不足している」

利点: 課題が明確になり、「指示の強調」や「構成の指定」など、次の改善ステップが論理的に導き出せます。

評価サイクルを回すためのステップ

評価指標が決まったら、以下のサイクルでプロンプトをブラッシュアップしていきます。

diagram (will load when visible)
  1. 期待値の設定は「どういう回答が100点か」をあらかじめ定義する。
  2. 複数パターンの実行は同じプロンプトを少なくとも5〜10回は試行する（AIのゆらぎを確認するため）。
  3. スコアリングは作成したルーブリックに基づき、各回答に点数をつける。
  4. ボトルネックの特定は平均点が低い項目（例 → 正確性は高いが、文字数制限が守れない）を見つける。
  5. プロンプトの修正は低い項目を重点的に改善する指示を追加する。

このプロセスを繰り返すことで、特定のタスクに最適化された「最強のプロンプト」へと近づいていきます。

やってみよう あなたが普段使っているプロンプトを1つ選び、以下の3つの観点で「1〜5点」の自己採点をしてみてください。

  1. 指示の形式を守れているか？
  2. 内容に嘘や間違いはないか？
  3. 文体や雰囲気はイメージ通りか？ もし点数が低い項目があれば、そこを補うためにどんな「言葉」をプロンプトに追加すればよいか考えてみましょう。

まとめ

プロンプトエンジニアリングにおいて、評価は単なる「採点」ではなく、改善のための「地図」です。

  • 感覚ではなく、客観的な指標（メトリクス）を持つこと。
  • 指示遵守、正確性、有用性の3軸で評価すること。
  • ルーブリックを作成し、定量的・定点的に観測すること。

これらのステップを踏むことで、AIの回答品質は確実に向上していきます。次回のレッスンでは、複数のプロンプト案を比較して最適なものを選ぶ「A/Bテスト」の手法について学んでいきましょう。

AIの回答が安定しないと悩んでいる方の多くは、実は「何が良い回答か」を数値化できていないだけかもしれません。まずは小さな基準を作ることから始めてみましょう！

現場でよくある具体例

  1. 業務ケース 1 — 商品説明文の生成。「役割・読者・トーン・制約・出力例」の 5 ブロックを徹底したら、編集工数が 3 分の 1 に
  2. 業務ケース 2 — 議事録要約で「アクションアイテムは担当者と期限を明記」と一文足したらタスク漏れが激減
  3. 業務ケース 3 — 顧客対応の Chain-of-Thought 設定で「まず分類、次に回答候補、最後に確認質問」と段階指示にし、誤回答が 4 割減

次にとるべきアクション

  1. 自分の現業務プロンプトを 1 つ取り出す — 「プロンプト評価の指標：回答品質を客観的に測定する方法」の観点で 3 箇所書き換え、変更前後を比較する
  2. プロンプトをテンプレ化する — 役割・入力・出力フォーマット・制約の 4 ブロックで定型化する
  3. 評価セットを 5 件作る — 自分のユースケースで「期待出力」を 5 件用意し、プロンプト改善のたびに回帰確認する

次のレッスン

次は プロンプトのA/Bテスト入門：継続的に回答品質を改善する方法 で、プロンプトのA/Bテスト入門：継続的に回答品質を改善する方法 を学びます。

事前確認 — 進む前に次の 3 つができることを確認しましょう。

  1. プロンプト評価指標 の要点を自分の言葉で説明できる
  2. このレッスンの最小コード (または操作手順) を見ずに書ける
  3. 練習問題やクイズで間違えた箇所を読み直して理解した

理解度チェック (30 秒)

Q. プロンプト評価指標 とは何か、1 文で説明してください。

この章のポイント

A. 本文の「このレッスンで分かること」または冒頭の説明文を見直し、自分の言葉で要約できれば OK。詰まったら本レッスンの最初の H2 セクションを読み返してみましょう。

関連レッスン

参考にした出典

学習を加速したい方へ

プロンプトエンジニアリング実践ガイドを体系的にマスターするなら、chotdekiru の無料学習ポータル で実際に手を動かして学習を始めるのがおすすめです。質問・つまずきも現役エンジニアが伴走します。

復習ミニクイズ

プロンプトの改善を繰り返す際、「なんとなくイマイチ」という感覚的な評価ではなく、ルーブリック（評価基準表）などを用いた客観的な評価を行うべき主な理由として、最も適切なものはどれですか？

参考リンク