AWS Certified Generative AI Developer - Professional 資格対策コース

データ検証・処理・品質改善(マルチモーダル・モデル別入力形式)

生田 陸人
LuaGate エンジニア / 現役エンジニア
編集 LuaGate編集部

このレッスンで学ぶこと 対応試験ドメイン D1 タスク 1.3.1〜1.3.4(データ検証・処理・品質改善とマルチモーダル入力)。AWS Glue Data Quality・Amazon Bedrock Data Automation・Amazon Comprehend・Amazon Textract を使い分け、GenAI に渡すデータを正しく検証・抽出・整形する設計判断を身につけます。

解説

GenAI の品質は入力データの品質で決まります。資格試験では、どの AWS サービスでデータを検証・抽出・整形するかという使い分けが問われます。それぞれ守備範囲が異なる点が肝心です。

データ品質を検証する(Glue Data Quality)

AWS Glue Data Quality は、データセットに対して品質ルール(欠損率・一意性・値域など)を定義し、合否を自動評価します。RAG や学習に投入する前に、データが基準を満たすかを検証するゲートとして使います。データカタログは AWS Glue Data Catalog が担います。

非構造データから抽出する(Textract・Comprehend・Data Automation)

サービス役割
Amazon TextractPDF・画像から文字・表・フォームを抽出(OCR)
Amazon Comprehendテキストから言語・感情・エンティティ・PII を抽出(NLP)
Amazon Bedrock Data Automationドキュメント・画像・音声・動画から構造化データを一括抽出(マルチモーダル)

Amazon Bedrock Data Automation は、複数モダリティのコンテンツから構造化された出力を生成マネージドに取り出せる新しめの機能です。「動画や音声を含む多様な入力を一括で構造化したい」要件に向きます。OCR 特化なら Textract、テキストの NLP 解析なら Comprehend と、目的で切り分けます。

モデル別の入力形式に整える

マルチモーダルモデルは、画像をどう渡すか(base64 ・S3 参照など)がモデルやプロファイルで異なります。Converse API は画像・ドキュメントブロックを統一的に扱える形を提供します。

Python

import boto3 bedrock = boto3.client("bedrock-runtime") # Converse でテキストと画像を同時に渡す(マルチモーダル入力) resp = bedrock.converse( modelId="us.amazon.nova-pro-v1:0", messages=[{ "role": "user", "content": [ {"text": "この画像の表を読み取って要約して"}, {"image": {"format": "png", "source": {"bytes": image_bytes}}}, ], }], ) print(resp["output"]["message"]["content"][0]["text"])

試験で問われるポイント

  • Textract・Comprehend・Bedrock Data Automation は似て非なるもの。スキャン PDF からの文字・表抽出は Textract、テキストの感情・エンティティ・PII 抽出は Comprehend、動画/音声を含む多様な入力の一括構造化は Bedrock Data Automation。要件のモダリティで切り分ける
  • 「投入前にデータが品質基準を満たすか検証したい」と来たら AWS Glue Data Quality。データ抽出の Textract やデータ管理の Glue Data Catalog と混同しない
  • マルチモーダル入力では、モデルが受け付ける形式(画像の渡し方)を整える必要がある。Converse の content ブロックで統一的に扱う
  • 試験で問われるのは AWS のどのサービスでデータを検証・抽出するかであり、一般的な ETL 論ではない

サービスの使い分け早見表

やりたいこと使うもの混同しやすいもの
投入前にデータ品質を検証AWS Glue Data QualityGlue Data Catalog(メタデータ管理が役割)
スキャン文書から文字・表を抽出Amazon TextractComprehend(テキストの NLP 解析向き)
テキストの感情・エンティティ・PII 抽出Amazon ComprehendTextract(OCR 向き)
動画/音声含む多様入力を一括構造化Amazon Bedrock Data AutomationTextract(文書 OCR に限定的)

まとめ

データ検証・処理は、AWS Glue Data Quality で投入前に品質を検証し、Amazon Textract で文書 OCR、Amazon Comprehend でテキスト NLP、Amazon Bedrock Data Automation で多モダリティの一括構造化を使い分け、モデル別の入力形式に整えることが核心です。サービスの守備範囲の違いが試験で問われます。

次のステップ

次のクイズレッスンで、本番形式のシナリオ問題に挑戦してデータ検証・処理の判断力を確認しましょう。

関連レッスン

  • ベクトルストア設計とメタデータ・同期(pro-vector-store-design)
  • Titan Embeddings と埋め込みソリューション選定(pro-embedding-titan)
  • PII 保護とプライバシー(pro-pii-privacy)