AWS Certified Generative AI Developer - Professional 資格対策コース
データ検証・処理・品質改善(マルチモーダル・モデル別入力形式)
このレッスンで学ぶこと 対応試験ドメイン D1 タスク 1.3.1〜1.3.4(データ検証・処理・品質改善とマルチモーダル入力)。AWS Glue Data Quality・Amazon Bedrock Data Automation・Amazon Comprehend・Amazon Textract を使い分け、GenAI に渡すデータを正しく検証・抽出・整形する設計判断を身につけます。
解説
GenAI の品質は入力データの品質で決まります。資格試験では、どの AWS サービスでデータを検証・抽出・整形するかという使い分けが問われます。それぞれ守備範囲が異なる点が肝心です。
データ品質を検証する(Glue Data Quality)
AWS Glue Data Quality は、データセットに対して品質ルール(欠損率・一意性・値域など)を定義し、合否を自動評価します。RAG や学習に投入する前に、データが基準を満たすかを検証するゲートとして使います。データカタログは AWS Glue Data Catalog が担います。
非構造データから抽出する(Textract・Comprehend・Data Automation)
| サービス | 役割 |
|---|---|
| Amazon Textract | PDF・画像から文字・表・フォームを抽出(OCR) |
| Amazon Comprehend | テキストから言語・感情・エンティティ・PII を抽出(NLP) |
| Amazon Bedrock Data Automation | ドキュメント・画像・音声・動画から構造化データを一括抽出(マルチモーダル) |
Amazon Bedrock Data Automation は、複数モダリティのコンテンツから構造化された出力を生成マネージドに取り出せる新しめの機能です。「動画や音声を含む多様な入力を一括で構造化したい」要件に向きます。OCR 特化なら Textract、テキストの NLP 解析なら Comprehend と、目的で切り分けます。
モデル別の入力形式に整える
マルチモーダルモデルは、画像をどう渡すか(base64 ・S3 参照など)がモデルやプロファイルで異なります。Converse API は画像・ドキュメントブロックを統一的に扱える形を提供します。
Python
import boto3
bedrock = boto3.client("bedrock-runtime")
# Converse でテキストと画像を同時に渡す(マルチモーダル入力)
resp = bedrock.converse(
modelId="us.amazon.nova-pro-v1:0",
messages=[{
"role": "user",
"content": [
{"text": "この画像の表を読み取って要約して"},
{"image": {"format": "png", "source": {"bytes": image_bytes}}},
],
}],
)
print(resp["output"]["message"]["content"][0]["text"])試験で問われるポイント
- Textract・Comprehend・Bedrock Data Automation は似て非なるもの。スキャン PDF からの文字・表抽出は Textract、テキストの感情・エンティティ・PII 抽出は Comprehend、動画/音声を含む多様な入力の一括構造化は Bedrock Data Automation。要件のモダリティで切り分ける
- 「投入前にデータが品質基準を満たすか検証したい」と来たら AWS Glue Data Quality。データ抽出の Textract やデータ管理の Glue Data Catalog と混同しない
- マルチモーダル入力では、モデルが受け付ける形式(画像の渡し方)を整える必要がある。Converse の content ブロックで統一的に扱う
- 試験で問われるのは AWS のどのサービスでデータを検証・抽出するかであり、一般的な ETL 論ではない
サービスの使い分け早見表
| やりたいこと | 使うもの | 混同しやすいもの |
|---|---|---|
| 投入前にデータ品質を検証 | AWS Glue Data Quality | Glue Data Catalog(メタデータ管理が役割) |
| スキャン文書から文字・表を抽出 | Amazon Textract | Comprehend(テキストの NLP 解析向き) |
| テキストの感情・エンティティ・PII 抽出 | Amazon Comprehend | Textract(OCR 向き) |
| 動画/音声含む多様入力を一括構造化 | Amazon Bedrock Data Automation | Textract(文書 OCR に限定的) |
まとめ
データ検証・処理は、AWS Glue Data Quality で投入前に品質を検証し、Amazon Textract で文書 OCR、Amazon Comprehend でテキスト NLP、Amazon Bedrock Data Automation で多モダリティの一括構造化を使い分け、モデル別の入力形式に整えることが核心です。サービスの守備範囲の違いが試験で問われます。
次のステップ
次のクイズレッスンで、本番形式のシナリオ問題に挑戦してデータ検証・処理の判断力を確認しましょう。
関連レッスン
- ベクトルストア設計とメタデータ・同期(pro-vector-store-design)
- Titan Embeddings と埋め込みソリューション選定(pro-embedding-titan)
- PII 保護とプライバシー(pro-pii-privacy)