G検定 ディープラーニングの応用と社会実装 問題

正解はパノプティックセグメンテーションです。全画素へのクラス付けと、数えられる物体の個体ごとの区別を一つの出力にまとめるタスクで、空や道路のような背景も人や車のような物体も漏れなく扱います。セマンティックセグメンテーションは全画素にクラスを付けますが、同じクラスの別々の個体は区別しません。インスタンスセグメンテーションは物体を個体ごとに切り出しますが、背景の領域までは扱いません。物体検出は物体の位置を矩形で囲んで示すタスクで、画素単位の塗り分けはしません。出典はPanoptic Segmentationの原論文です。

• Kirillov et al., Panoptic Segmentation (arXiv 1801.00868)

正解は物体の候補領域を出す処理をネットワーク内の領域提案ネットワークに置き換えたことです。Fast R-⁠CNNでは外部の領域提案の計算が速さの壁になっていたため、畳み込みの特徴を共有する領域提案ネットワーク(RPN)を組み込みました。畳み込み層をなくすとする説明は、畳み込みの特徴を共有するという設計と逆です。画素ごとの塗り分けはセグメンテーションの考え方で、Faster R-⁠CNNは候補領域を使います。位置の推定をやめるのは画像分類で、物体検出ではありません。出典はFaster R-⁠CNNの原論文です。

• Ren et al., Faster R-CNN (arXiv 1506.01497)

正解は中心の単語から、その周りに現れる単語を予測する考え方です。スキップグラムは今の単語を入力にして、同じ文の前後の単語を当てるように学習し、その過程で単語の分散表現を得ます。周りの単語から中心の単語を予測するのは、同じword2vecのもう一つの形であるCBOWです。文の感情が肯定か否定かを予測するのは感情分析というタスクで、単語の表現を学ぶ仕組みではありません。次に続く文を予測するのは文と文の関係を学ぶ別の課題で、スキップグラムの学習とは異なります。出典はword2vecの原論文です。

• Mikolov et al., Efficient Estimation of Word Representations in Vector Space (arXiv 1301.3781)

正解は重みが小さくなり、文書を見分ける手がかりとして弱く扱われることです。TF-⁠IDFは、文書の中でよく出る度合い(TF)に、どれだけ少ない文書にしか出ないかの度合い(IDF)を掛けた値で、どの文書にも出る語はIDFが小さくなります。重みが大きくなるとする説明は、多くの文書に出る語ほど文書を見分ける手がかりにならないという考えと逆です。出現回数だけで決まるとする説明は、IDFの掛け算を無視しています。文書の長さだけで決まるとする説明は、単語ごとの出現の違いを表すというTF-⁠IDFの目的に合いません。

正解は人が感じる音の高さに合わせ、低い周波数を細かく高い周波数を粗く扱う尺度です。人の耳は低い音の違いには敏感で高い音の違いには鈍いため、メル尺度で周波数を並べ直してからMFCCを求めます。音の圧力の値そのままで表すとする説明は、人の聞こえ方に合わせるというメル尺度の狙いと合いません。一定の時間ごとに区切って数値に置き換えるのはA-⁠D変換での標本化と量子化の説明です。話し手の性別や年齢を推定するのは話者の分析のタスクで、尺度そのものの説明ではありません。

正解は音声のどの区間がどの文字に当たるかの対応がなくても学習できることです。CTCは空白(blank)という記号を加え、ありうる対応の付け方をすべて足し合わせて確率を求めるので、区間ごとに区切った正解を用意せずにRNNを学習できます。雑音をマイクの段階で取り除くとする説明は、録音機器の処理でありCTCの役割ではありません。文字の列から波形を作るのは音声合成で、WaveNetなどが扱う課題です。声から話し手を見分けるのは話者識別というタスクです。出典はCTCの原論文です。

• Graves et al., Connectionist Temporal Classification (ICML 2006)

正解はドメインランダマイゼーションです。シミュレータの見た目や条件を大きくばらつかせて学習させると、実世界の映像もばらつきの一つとして扱えるようになり、シミュレーションから実機への移行(sim2real)の差が縮まります。報酬成形は、学習を進めやすくするために報酬の与え方を工夫する手法で、見た目の差を埋めるものではありません。オフライン強化学習は、新たに環境とやり取りせず集めておいたデータだけで方策を学ぶ手法です。マルチエージェント強化学習は、複数のエージェントが同じ環境で学ぶ枠組みです。出典はドメインランダマイゼーションの原論文です。

• Tobin et al., Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World (arXiv 1703.06907)

正解は変換して元に戻すと元の画像に近づくよう学習するCycleGANです。CycleGANは夏から冬への変換と冬から夏への変換を同時に学び、往復した結果が元の画像に戻るという制約(サイクル一貫性)を加えるので、組になった写真がなくても学習できます。Pix2Pixは入力と正解の画像の組を前提とするため、組がないこの場面には合いません。DCGANは一つの画像の集まりに似た画像をノイズから作るモデルで、ある画像を別の画像に変換する仕組みではありません。NeRFは同じ場面を多くの視点から撮った写真を使う手法です。出典はCycleGANの原論文です。

• Zhu et al., Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (arXiv 1703.10593)

正解は空間の位置と見る方向から、その点の色と密度を出す関数をネットワークで表す手法です。カメラの位置が分かっている複数の写真から場面を表す関数を学び、ボリュームレンダリングで投影して、撮っていない視点の画像を合成します。文章からノイズを少しずつ取り除いて画像を作るのは、拡散モデルを使った画像生成の説明です。生成器と識別器を競わせるのはGANの仕組みで、NeRFは識別器を使いません。音声の波形を順に予測して話し声を作るのはWaveNetの説明です。出典はNeRFの原論文です。

• Mildenhall et al., NeRF (arXiv 2003.08934)

正解は破滅的忘却です。ニューラルネットワークは新しいタスクに合わせて重みを書き換えるため、以前のタスクで身につけた知識が上書きされ、もとのタスクの性能が急に落ちることがあります。勾配消失は、層が深いときに誤差の勾配が入力側へ伝わる途中で小さくなり学習が進まなくなる現象です。過学習は、学習データに合わせすぎて未知のデータで性能が出なくなる現象で、別のタスクを覚えたことが原因ではありません。データリーケージは、本来使えない情報が学習や評価に混ざってしまう問題です。

正解は入力に近い層の重みを固定し、出力に近い層だけを新しいデータで学習する進め方です。入力に近い層は輪郭や模様のような汎用的な特徴をとらえているので、そのまま使えば少ないデータでも学習する重みが減り、過学習を抑えられます。重みを捨ててランダムな値から学習し直すと、数百枚では足りず過学習しやすくなります。もとの出力層のまま判定するとする説明は、良品と不良品という新しいクラスを出せません。大きな学習率で全層を動かすと、事前学習で得た特徴が壊れて転移の利点が失われます。

正解はクラスの名前を文章として埋め込み、画像の埋め込みと最も似たものを選ぶ方法です。CLIPは画像と文章がもとの組かどうかを当てるように学習しているので、各クラスの名前を文章側に入れ、画像との類似度が最も高い組を答えにします。クラスごとに画像を集めて出力層を学習し直すのは通常のファインチューニングで、追加の学習なしという条件に合いません。色の平均で選ぶ方法は、文章の情報を使わず、CLIPの仕組みとは関係がありません。生成した説明文の長さを比べる方法も、意味の近さを測っていません。出典はCLIPの原論文です。

• Radford et al., Learning Transferable Visual Models From Natural Language Supervision (arXiv 2103.00020)

正解は画像とその画像についての質問文を受け取り、答えを文章で返すタスクです。画像と言葉の両方を理解する必要があるマルチモーダルの代表的なタスクで、質問によって画像の見るべき場所が変わります。画像だけから説明文を作るのはImage Captioningで、質問は受け取りません。文章から画像を作るのはText-⁠To-⁠Imageと呼ばれる生成のタスクです。質問文だけから文書を探して答えるのは、画像を使わない自然言語処理の質問応答です。出典はVQAの原論文です。

• Agrawal et al., VQA: Visual Question Answering (arXiv 1505.00468)

正解は対象クラスの出力から最後の畳み込み層へ流れる勾配を使い、注目した領域を示す仕組みです。勾配から特徴マップごとの重みを求めて足し合わせ、そのクラスの判断に効いた画像の場所をヒートマップで示します。入力の近くで単純なモデルを当てはめるのはLIMEの考え方です。特徴量を並べ替えて精度の落ち方を測るのはPermutation Importanceです。協力ゲーム理論で貢献度を分け与えるのはSHAPで、いずれも、対象クラスの勾配で最後の畳み込み層の特徴マップに重みを付ける仕組みではありません。出典はGrad-⁠CAMの原論文です。

• Selvaraju et al., Grad-CAM (arXiv 1610.02391)

正解は大きなモデルが出すクラスの確率を目標にして、小さなモデルを学習させる手法です。大きな教師モデルの出す確率の分布(ソフトターゲット)には、正解以外のクラスとの似かたの情報も含まれるので、小さな生徒モデルが少ない計算でも高い精度に近づけます。重みを少ないビット数で表すのは量子化です。寄与の小さい重みや結合を取り除くのはプルーニング(枝刈り)です。単独でも同じ精度に届く小さな部分があるとする考えは宝くじ仮説で、軽量化の手法そのものではありません。出典は知識蒸留の原論文です。

• Hinton et al., Distilling the Knowledge in a Neural Network (arXiv 1503.02531)

正解はビジネスの理解から始まる6つのフェーズを、必要に応じて行き来しながら進めることです。CRISP-⁠DMはビジネスの理解、データの理解、データの準備、モデリング、評価、展開の6つで構成され、順序は厳密ではなく、前の結果しだいで前のフェーズに戻ります。モデリングから始まり順に一度ずつ進めるとする説明は、目的の整理を先に行う点と行き来する点の両方に反します。展開のあと見直さないとする説明は、展開で得た学びが次の問いにつながるという循環の考え方に合いません。評価のフェーズがないとする説明も誤りです。出典はCRISP-⁠DMの紹介論文です。

• Wirth and Hipp, CRISP-DM: Towards a Standard Process Model for Data Mining (PADD 2000 の論文集)

正解は本格的な開発の前に、小さな範囲で実現できるかと効果があるかを確かめることです。AIは手元のデータでどこまでの精度が出るかを事前に見通しにくいため、限られたデータと期間で試し、本格的に投資するかを判断する材料にします。完成したシステムを本番に置いて公開するのは、PoCより後の導入や展開の段階です。運用中の精度を測って学習し直すのは、運用の段階のモニタリングと再学習です。担当者と期日を表で管理するのはプロジェクト管理の作業で、技術の実現性を確かめるPoCの目的とは異なります。

正解は運用中に入ってくるデータの傾向が、学習したときのデータから変わったことです。季節や消費者の行動、取扱商品の変化などで入力の分布や入力と答えの関係がずれると、同じモデルでも精度が落ちます。このため運用では精度や入力の分布を見守るヘルスモニタリングを続け、必要に応じて再学習します。重みが使うたびに壊れるとする説明は誤りで、学習済みの重みは推論では変わりません。サーバーが古くなって同じ入力の計算結果が変わることは通常ありません。見る人の数はモデルの出力に影響しません。

正解は解約の手続きの後に記録される項目を、特徴量に含めて学習していたことです。予測の時点では得られない、答えを事実上含んだ情報が学習に混ざるデータリーケージで、検証では当たりやすいのに本番ではその情報がなく精度が落ちます。学習と検証で別の顧客に分けるのは、リーケージを防ぐための正しい手順です。正規化は特徴量の尺度をそろえる一般的な前処理で、このような精度の落ち方の原因にはなりにくいです。解約した顧客と継続した顧客の両方を含めるのは、分類のモデルとして当然必要な準備です。

正解は判断の基準を文書にまとめ、作業者ごとの付け方のばらつきを確かめることです。モデルはラベルを正しいものとして学ぶので、人によって同じ画像に違うラベルが付くと、学習データに矛盾が入り込みます。基準を共有し、同じ画像を複数人で付けて一致の度合いを見ることで、ばらつきを早く見つけられます。迷った画像を各自の感覚で決めるとする説明は、ばらつきを増やします。量が増えれば違いを気にしないとする考えは、矛盾したラベルを大量に学習させることになります。見直しをしない進め方では、付け間違いが残ったままになります。