AWS Certified Generative AI Developer - Professional 資格対策コース
Amazon Bedrock の基盤モデル選定(ベンチマーク・能力・制限の評価)
このレッスンで学ぶこと 対応試験ドメイン D1 タスク 1.2.1(基盤モデルの選定)。Amazon Bedrock が提供する複数の基盤モデル(FM)を、要件に照らして評価・比較し、ユースケースごとに最適なモデルを選ぶ判断軸を身につけます。
解説
Amazon Bedrock は、Anthropic Claude、Amazon Nova、Meta Llama、Mistral、Cohere、AI21 など複数ベンダーの基盤モデルを単一 API で利用できるフルマネージドサービスです。資格試験では「このモデルがすごい」という知識ではなく、要件が与えられたときにどの軸でモデルを選ぶかという設計判断が問われます。
モデル選定の 6 つの評価軸
基盤モデルを選ぶときは次の 6 軸で評価します。
| 評価軸 | 確認すること | 典型的なトレードオフ |
|---|---|---|
| 精度・能力 | 推論・コーディング・要約などタスク別の品質 | 高性能モデルほど高コスト・高レイテンシ |
| モダリティ | テキスト/画像/音声、マルチモーダル対応 | マルチモーダルは対応モデルが限られる |
| コンテキスト長 | 入力できるトークン数 | 長コンテキストは料金とレイテンシに影響 |
| レイテンシ | 初回トークンまでの時間・生成速度 | 軽量モデルは速いが品質が落ちる |
| コスト | 入力/出力トークン単価 | 大量呼び出しでは単価差が支配的 |
| カスタマイズ性 | ファインチューニング・蒸留の可否 | 対応はモデルファミリ依存 |
ベンチマークの読み方と落とし穴
公開ベンチマーク(MMLU、HumanEval など)はあくまで一般的な目安です。試験では「ベンチマークが高いモデルを選べば良い」という選択肢はひっかけになりがちです。自社ユースケースに対しては、Amazon Bedrock の Model Evaluation(モデル評価)機能で、自前のデータセットを使った評価を行うのが正攻法です。公開スコアではなくユースケース固有の評価を優先する、という判断が問われます。
コード例(Converse API でモデルを差し替えて比較)
モデル ID を変えるだけで同じコードで複数モデルを比較できます。これが Bedrock の抽象化の利点です。
Python
import boto3
client = boto3.client("bedrock-runtime", region_name="us-east-1")
def ask(model_id: str, prompt: str) -> str:
resp = client.converse(
modelId=model_id,
messages=[{"role": "user", "content": [{"text": prompt}]}],
inferenceConfig={"maxTokens": 512, "temperature": 0.2},
)
return resp["output"]["message"]["content"][0]["text"]
# モデル ID を差し替えるだけで比較できる
for mid in [
"anthropic.claude-3-5-sonnet-20241022-v2:0",
"amazon.nova-pro-v1:0",
]:
print(mid, "->", ask(mid, "RAG を一文で説明して"))試験で問われるポイント
- ベンチマーク至上主義はひっかけ。「公開ベンチマークが最高のモデルを選ぶ」ではなく、Bedrock Model Evaluation で自社データに対する評価を行う判断が正解になりやすい
- 要件に「最も低いレイテンシ」「最も低いコスト」「マルチモーダル必須」など制約が明示されたら、その制約を満たさないモデルは即除外できる(消去法)
- 試験で問われるのは Amazon Bedrock のモデル選定であって、特定モデルの内部アーキテクチャではない。AWS のどの機能で選定・評価するかに焦点を当てる
サービスの使い分け早見表
| やりたいこと | 使うもの | 混同しやすいもの |
|---|---|---|
| 複数 FM を単一 API で呼ぶ | Amazon Bedrock | SageMaker(自前モデルのホスティング寄り) |
| 自社データで FM を客観評価 | Bedrock Model Evaluation | 公開ベンチマーク(一般指標にすぎない) |
| FM 呼び出しの統一インターフェース | Bedrock Converse API | InvokeModel(モデル別ボディ形式で差し替えにくい) |
まとめ
基盤モデル選定は「最強モデルを選ぶ」ことではなく、精度・モダリティ・コンテキスト長・レイテンシ・コスト・カスタマイズ性の 6 軸で要件と突き合わせ、Bedrock Model Evaluation で自社データに対し検証することです。試験ではこの判断プロセスが繰り返し問われます。
次のステップ
次のクイズレッスンで、本番形式のシナリオ問題に挑戦してモデル選定の判断力を確認しましょう。
関連レッスン
- モデル切替を可能にする抽象化アーキテクチャ(pro-fm-abstraction)
- クロスリージョン推論とレジリエント設計(pro-fm-resilience)
- PoC 検証と本番移行判断(pro-poc-validation)