研究史と人物

年号だけを覚えると、順序を問われて外す

G検定では、出来事の並び順や、人物と業績の組み合わせが直接問われます。年号を単独で暗記しても、こうした問題には効きません。効くのは、前の壁を誰がどう破ったかという因果でつなぐ覚え方です。

出発点は1956年のダートマス会議で、これを提唱した中心人物がジョン・マッカーシーです。ここで artificial intelligence という語が使われ、研究分野としての人工知能が始まりました。ほぼ同じころ、フランク・ローゼンブラットがパーセプトロンを発表します。入力に重みを掛けて足し、しきい値で出力を決める仕組みで、データから重みを学習できる点が画期的でした。

その期待に冷や水を浴びせたのがマービン・ミンスキーらの指摘です。単層のパーセプトロンは直線でしか分けられないため、排他的論理和(XOR)のような線形分離できない問題を解けない、という限界が示され、この方向への投資は大きく減退します。押さえるべきは、学習できる仕組みが見つかったが、表現できる範囲が狭かったという因果です。

層を増やしたら、内側の重みをどう直せばよいか分からない

壁は、層を増やせば越えられるものでした。しかし層を増やすと、内側の層の重みをどう調整すればよいか分からないという新しい問題が出ます。それを解いたのが誤差逆伝播法(バックプロパゲーション)です。出力側で測った誤差を入力側へ配り直して各層の重みを調整する方法で、1980年代にデビッド・ラメルハートらの研究によって広く知られるようになりました。

しかしここでも壁が現れます。層を深くするほど、誤差を遡る途中で配分がやせ細り、入力に近い層まで届かなくなる勾配消失です。計算資源とデータの不足も重なり、ニューラルネットワークは再び主流から外れます。

2000年代、ジェフリー・ヒントンが深い層を学習させる道筋を示します。層を一段ずつオートエンコーダとして学習させて良い初期値を作り、その上で全体を調整するという事前学習の考え方です。そして決定的だったのが 2012年の ILSVRC(大規模画像認識コンペティション)で、ヒントンのチームが出した AlexNet が、それまでの手法に大差をつけて優勝しました。前年までは手作業で設計した特徴量を使う手法が主流でしたが、特徴量そのものをデータから学習するアプローチが圧勝したことで、画像認識の方法論が入れ替わります。背景には GPU による計算力の向上と大規模な画像データセットの整備があり、アイデア自体は以前からあったが条件が揃ったのが2010年代だった、という理解が正確です。

壁と突破の交代として覚える

この3人は、ディープラーニングへの貢献によりチューリング賞を受賞しています。計算機科学における最高峰の賞にあたり、3人まとめて問われる定番です。

その後の展開は次のとおりです。2014年、イアン・グッドフェローが GAN を発表し、生成器と識別器を競わせるという発想で高品質なデータ生成の道を開きました。2016年には DeepMind の AlphaGo が囲碁のトップ棋士を破ります。そして2017年、Transformer が発表され、RNN の逐次処理という制約を外して大規模化の道が開かれました。

流れを一続きにすると、学習する仕組みが生まれ(パーセプトロン)、表現力の限界を指摘され(ミンスキー)、層を増やす方法が見つかり(誤差逆伝播法)、深くすると勾配が消える壁にぶつかり、事前学習と計算資源がそれを越え(ヒントン)、2012年に画像認識で証明され(AlexNet)、生成(GAN)と意思決定(AlphaGo)へ広がり、系列処理の制約を外して大規模化した(Transformer)、という順序になります。

試験ではこう問われる

• 人物と業績の対応が直接問われます。ルカンと CNN、グッドフェローと GAN、ヒントンと AlexNet の組を入れ替えた選択肢が定番です
• 「ダートマス会議で提唱した人物」はマッカーシー、「パーセプトロンの限界を指摘した人物」はミンスキーです
• 出来事の順序を問う問題では、パーセプトロン、誤差逆伝播法、AlexNet、AlphaGo、Transformer の並びを言えるようにしておきます
• 「2012年の ILSVRC で何が起きたか」は、深層学習を用いた AlexNet が大差で優勝したことです。分野を画像認識以外に差し替えた誤りの選択肢が出ます