マルチモーダル

情報の種類ごとに、別のモデルを用意していた

情報の種類のことをモダリティと呼びます。テキスト、画像、音声、動画がそれぞれ別のモダリティです。かつての AI は、モダリティごとに専用のモデルを用意するのが当たり前でした。文章を分類するモデル、画像を分類するモデル、音声を文字にするモデルが、それぞれ別々に作られ、別々に学習されていました。

マルチモーダルモデルは、複数のモダリティを1つのモデルで扱います。画像を見せながら文章で質問する、図を渡して説明文を書かせる、音声を聞かせて要約させる、といった使い方が1つの窓口でできるようになりました。

画像と文章を、同じ地図の上に置く

性質のまるで違う画像と文章を、どうやって同じモデルが扱えるのでしょうか。鍵になるのが埋め込み (embedding) です。

埋め込みとは、あらゆる情報を数百から数千個の数値が並んだベクトルへ変換したものです。文章はテキスト用の変換器で、画像は画像用の変換器で、それぞれベクトルにします。変換器は別々ですが、出てくるベクトルは同じ空間の座標として扱えるよう一緒に学習されます。

一緒に学習するとはどういうことか。大量の画像とその説明文の組を用意し、対応する組は近い座標に、無関係な組は遠い座標になるよう変換器を調整します。これを大量に重ねると、猫の写真のベクトルと「猫が窓辺に座っている」という文のベクトルが、空間の中で近い位置に来るようになります。

いったんベクトルという同じ形になってしまえば、あとはモデルの内部で区別なく扱えます。異なるモダリティを、共通のベクトル表現という一枚の地図の上に置く。それがマルチモーダルの核心です。意味の近さを座標の近さで測るこの道具立ては、社内文書を検索して回答の根拠にする仕組みなど、生成 AI のあちこちに出てきます。

効くのは、目や耳で読んで打ち直していた作業

入力側と出力側のどちらを何にするかで、使い方が枝分かれします。

• 画像を入力してテキストを出力する。写真の説明、グラフの読み取り、手書きメモの文字起こし、レシートからの項目抽出が該当します
• テキストを入力して画像を出力する。画像生成がこれにあたります
• 音声を入力してテキストを出力する。会議の文字起こしや議事録の下書きに直結します
• テキストを入力して音声を出力する。読み上げ、ナレーション、音声案内の生成です
• 動画を入力してテキストを出力する。長い録画から要点や該当箇所を拾わせる用途です

組み合わせの数だけ用途があるように見えますが、業務で効くのは、これまで人が目や耳で読み取って手で打ち直していた作業です。紙の帳票を目で見て台帳に転記する、録音を聞き返して議事録に起こす、といった工程が代表例になります。

有効なのは、入力の形が定まっていない情報を扱うときです。定型の CSV なら従来のプログラムのほうが速く確実ですが、レイアウトがばらばらな請求書や手書きが混ざる申込書は、従来型の処理が最も苦手としてきた領域です。ただし注意も同じところにあります。画像から読み取った数値をモデルが読み違えても、出力はやはりもっともらしい文章で返ってきます。金額や日付のように誤りが致命的になる項目は、人が確認する工程を残すか、合計値の突き合わせのような機械的な検算を挟む設計にします。

試験ではこう出る

出題者は用語の定義そのものより、言い換えを通じて理解を確かめてきます。

• 「テキストと画像を同一のモデルで扱う」「入力の種類が複数にまたがる」とあればマルチモーダルが答えです
• 「異なる種類の情報を同じベクトル空間で表現する」という記述は埋め込みを指しています。トークン化やファインチューニングと並べて迷わせてきます
• 音声から文字起こしする用途がマルチモーダルの例かどうかを問う形もあります。入力と出力のモダリティが異なるので該当します
• 埋め込みを「文章を圧縮して短くする技術」と説明する誤りの選択肢が置かれます。埋め込みは長さを縮めるのではなく、意味を座標に移す変換です