回帰と分類

同じ題材でも、問い方が変わると別の手法になる

「解約を予測したい」という一文だけでは、どの手法を使うかは決まりません。解約するかどうかを当てるのか、解約までの日数を当てるのかで、選ぶ道具が変わるからです。教師あり学習の中でこの分かれ目を作っているのが、出力の種類です。

出力が連続値なら回帰、出力がカテゴリなら分類です。明日の気温、来月の売上、中古住宅の価格を当てるのは回帰です。届いたメールが迷惑メールかどうか、画像に写っているのが犬か猫か、申込者が返済できるかどうかを当てるのは分類です。答えが数直線の上のどこかなら回帰、用意された箱のどれかなら分類だと考えます。同じ売上でも「前年より増えるか減るか」の2択に変えれば分類になる、という点が試験でよく突かれます。

代表手法を課題に結びつける

線形回帰の係数を決める代表的な方法が最小二乗法です。予測値と実測値の差である残差を二乗して合計し、その合計が最も小さくなる係数を選びます。二乗するのは、プラスの誤差とマイナスの誤差が打ち消し合わないようにするためです。

ロジスティック回帰は、名前に回帰と付いていますが分類の手法です。ここが最大の引っかけどころになります。シグモイド関数は入力をなめらかに0から1の範囲に押し込む働きをし、その出力を陽性である確率と読み替えて、0.5などのしきい値で二値に切り分けます。確率が出るので、どれくらい確信しているかを添えられる点が実務で重宝されます。

サポートベクターマシンの要点はマージン最大化です。境界のすぐそばにある少数のデータ、すなわちサポートベクターだけが境界の位置を決め、それらから最も離れた場所に境界を引くことで、未知のデータにも強くなります。直線では分けられないデータにはカーネルトリックを使います。データを高次元の空間へ写したことにして計算だけを済ませる工夫で、複雑な形の境界を現実的な計算量で引けるようにします。

k近傍法は学習らしい学習をせず、予測のときに近傍を探すので怠惰学習とも呼ばれます。ナイーブベイズは強い仮定を置く代わりに計算が軽く、迷惑メール判定のような文書分類で古くから使われてきました。

評価指標を、回帰と分類で取り違えない

回帰の評価には、平均二乗誤差(MSE)、その平方根である二乗平均平方根誤差(RMSE)、誤差の絶対値の平均である平均絶対誤差(MAE)、当てはまりの良さを表す決定係数を使います。RMSE と MAE の違いは外れ値への反応で、二乗する RMSE のほうが大きな誤差を強く罰します。分類の評価には、正解率、適合率、再現率、F値、混同行列、ROC 曲線と AUC を使います。回帰の指標を分類に、分類の指標を回帰に当てはめた選択肢が典型的な誤答として並びます。

試験ではこう問われる

• 「顧客が解約するかどうか」は分類、「解約するまでの日数」は回帰です。出題者は同じ題材で問い方だけを変えてきます
• 「ロジスティック回帰は回帰の手法である」は誤りです。確率を出す分類手法だと押さえます
• 「マージンを最大化する」「サポートベクター」と出たらサポートベクターマシンです。カーネルトリックは線形分離できないデータへの対処として問われます
• 設問が分類なのに選択肢に決定係数や RMSE があれば、その時点でそれらは誤答です