評価と過学習

正解率99.9パーセントでも、役に立たないモデルが作れる

ある病気の検査モデルを作ったとします。実際に病気の人は1000人に1人しかいません。ここで全員を陰性と答えるだけのモデルを作ると、正解率は99.9パーセントになります。しかし病気の人を1人も見つけられていないので、まったく役に立ちません。

これが不均衡データの問題です。正例と負例の数が大きく偏っていると、正解率 (accuracy) は多数派に合わせるだけで高く出てしまい、モデルの実力を表しません。だから複数の指標を使い分ける必要があります。

2値分類の結果は、予測と実際の組み合わせで4通りに分かれます。この表を混同行列と呼びます。

偽陽性 (FP) は間違って警報を鳴らしたケース、偽陰性 (FN) は見逃したケースです。この2つのどちらが業務上まずいかで、見るべき指標が変わります。

見逃しを減らすのか、誤警報を減らすのか

正解率は全体のうち当たった割合で、分母が全件なので多数派に引きずられます。適合率 (precision) は、陽性と予測したもののうち本当に陽性だった割合です。高いということは、警報を鳴らしたら本物である可能性が高いという意味になり、偽陽性を減らしたいときに見ます。再現率 (recall) は、実際に陽性であるもののうち陽性と予測できた割合です。高いということは取りこぼしが少ないという意味で、見逃しを減らしたいときに見ます。F値 (F1スコア) は適合率と再現率の調和平均で、片方だけが極端に高くても値が上がらないため、両方の釣り合いを1つの数値で見たいときに使います。

適合率と再現率は互いに引っ張り合う関係にあります。陽性と判定する基準を緩めれば取りこぼしは減りますが誤警報が増え、厳しくすれば逆になります。どちらを重視するかは業務の判断です。がん検診の一次スクリーニングは見逃しの代償が大きいので再現率を、迷惑メールの自動削除は大事なメールを消す被害が大きいので適合率を重く見ます。

学習に使ったデータで測っても意味がない

モデルの実力は、学習に使っていないデータで測らなければ意味がありません。学習に使ったデータで測れば、丸暗記したモデルでも満点が出てしまいます。そこで手持ちのデータを訓練データとテストデータに分け、訓練データだけで学習し、テストデータで評価します。ハイパーパラメータの調整用に検証データをさらに分けることもあります。

データが少ないと、分け方の運によって評価が大きくぶれます。そこで使うのが交差検証です。k分割交差検証では、データを k 個の塊に分け、1つをテスト、残りを訓練として学習と評価を行い、テストに使う塊を入れ替えながら k 回繰り返して平均します。データを無駄なく使えて、評価が安定します。

2本の線の差を見る

過学習 (オーバーフィッティング) は、訓練データに合わせ込みすぎて未知のデータに対応できなくなった状態です。訓練データの精度は非常に高いのにテストデータの精度が低い、という形で現れます。データに含まれるたまたまの偶然やノイズまで覚えてしまうのが原因です。未学習 (アンダーフィッティング) はその逆で、モデルが単純すぎたり学習が足りなかったりして訓練データにすら合っていない状態で、訓練もテストもどちらも精度が低くなります。

対策には、学習データを増やす、モデルを単純にする、正則化で重みが極端な値を取るのを抑える、ニューラルネットワークなら学習のたびに一部のノードを無効にするドロップアウト、精度が悪化に転じた時点で止める早期終了などがあります。

見分けるときは学習曲線の2本の線の差を見ます。差が開いていれば過学習、両方低ければ未学習です。訓練の精度は上がり続けるのにテストの精度が途中から下がり始めたら、その転じた点が学習を止める目安になります。

試験ではこう出る

• 「見逃しを絶対に避けたい場面で重視すべき指標」で再現率を選ばせます。適合率と入れ替えた選択肢が必ず並びます
• 陽性が全体の1パーセントしかないデータで正解率99パーセント、という形で不均衡データを問われます
• 訓練データの精度が高くテストデータの精度が低い、という記述から過学習を当てさせる問題が定番です
• ドロップアウト、正則化、早期終了はいずれも過学習への対策として一括で問われます
• 交差検証は、データが少ないときに評価を安定させる目的だという点が問われます