AWS Certified Generative AI Developer - Professional 資格対策コース

モデルパラメータ調整（Temperature / top-k / top-p）と A/B テスト

編集 LuaGate編集部公開 2026/05/30

このレッスンで学ぶこと 対応試験ドメイン D4 タスク 4.2.4（モデルパラメータ調整と A/B テスト）。Amazon Bedrock の推論パラメータ（Temperature・top-k・top-p・maxTokens）が出力に与える影響を理解し、A/B テストで客観的にパラメータやモデルを選ぶ進め方を身につけます。

解説

生成 AI の出力は、推論時パラメータで「どれだけ確定的か」「どれだけ多様か」を制御できます。試験では「事実回答で揺れをなくしたい」「創造的な文章がほしい」といった要件に対し、適切なパラメータと検証手順を選べるかが問われます。

主要パラメータの意味

パラメータ	役割	大きくすると	小さくすると
Temperature	確率分布の鋭さ（ランダム性）	多様・創造的・揺れる	確定的・再現性高い
top-p（nucleus）	累積確率 p までの候補から選ぶ	候補が広がり多様	候補が絞られ安定
top-k	上位 k 個の候補から選ぶ	候補が増え多様	候補が絞られ安定
maxTokens	出力の最大トークン数	長く生成（コスト増）	短く打ち切る

ポイントは次の通りです。Temperature を下げる（0 に近づける）と、同じ入力に対しほぼ同じ確定的な出力になり、事実回答・分類・抽出に向きます。逆に高くすると多様で創造的になり、アイデア出しやコピー生成に向きます。top-p と top-k は候補語彙の絞り込みで、Temperature と併用してランダム性を調整します。

Python

import boto3

client = boto3.client("bedrock-runtime", region_name="us-east-1")

# 事実回答は確定的に
resp = client.converse(
    modelId="anthropic.claude-3-5-sonnet-20241022-v2:0",
    messages=[{"role": "user", "content": [{"text": "東京都の県庁所在地は?"}]}],
    inferenceConfig={"temperature": 0.0, "topP": 0.1, "maxTokens": 64},
)

A/B テストで客観的に選ぶ

パラメータやモデルを「感覚」で決めるのは試験的に誤りです。A/B テストで、複数の設定（モデル・パラメータ・プロンプト）を実トラフィックや評価データに当て、品質指標やビジネス指標を比較して選びます。

候補 A（例 Temperature 0.2）と候補 B（例 Temperature 0.7）を一定割合のトラフィックに振り分ける
ユーザー満足度・タスク完了率・コスト・レイテンシなどの指標で比較する
Amazon Bedrock Model Evaluation で評価データに対する品質を客観計測し、A/B 判断の根拠にできる
一度に 1 要素だけ変えるのが原則（複数同時変更だと何が効いたか分からない）

A/B テストは新モデル投入時のカナリアデプロイ（少量トラフィックで様子見）とも相性が良く、リスクを抑えて切り替えられます。

試験で問われるポイント

事実回答・分類・抽出は Temperature を低く（決定論的・再現性重視）、創造タスクは高く（多様性重視）。要件と方向を逆にする選択肢がひっかけ
Temperature を 0 にしても「精度が必ず上がる」わけではない。揺れが減るだけで、根本の品質はモデル適合性やプロンプト・RAG 品質で決まる
top-p と top-k は候補語彙の絞り込み。Temperature と役割が違う（ランダム性の鋭さ vs 候補集合のサイズ）
パラメータ・モデル選定は感覚でなく A/B テスト＋客観評価で決める。Bedrock Model Evaluation が評価の根拠になる。複数要素を同時に変えないのが鉄則

サービスの使い分け早見表

やりたいこと	使うもの	混同しやすいもの
確定的・再現性の高い回答	Temperature を下げる（0 付近）	maxTokens 調整（長さの制御で揺れには無関係）
多様・創造的な生成	Temperature を上げる + top-p/top-k 緩める	top-k を 1 に固定（むしろ多様性が消える）
候補語彙の絞り込み	top-p / top-k	Temperature（分布の鋭さの調整）
パラメータ・モデルを客観選定	A/B テスト + Bedrock Model Evaluation	公開ベンチマーク（自社品質を保証しない）

まとめ

推論パラメータは出力の確定性と多様性を制御します。Temperature が中心軸で、事実回答は低く、創造タスクは高く設定します。top-p・top-k は候補語彙の絞り込みです。そしてどの設定が良いかは感覚ではなく A/B テストと Bedrock Model Evaluation による客観評価で、一度に 1 要素ずつ変えて検証するのが試験の答えです。

次のステップ

次のクイズレッスンで、パラメータの方向選択と A/B テストの設計を問うシナリオ問題に挑戦しましょう。