外れ値を見つける

このレッスンでできるようになること。記述統計と条件式で突出した売上日を見つけ、その理由を推測できるようになります。

平均から大きく離れた値を外れ値と呼びます。外れ値には2つの顔があります。1つは間違いです。単位を取り違えた入力、桁の打ち間違い、テストデータの混入。もう1つは事実です。セールの日、テレビで紹介された日、法人からのまとめ買い。どちらなのかを判断するのが分析者の仕事で、機械が決めることではありません。

見つけ方はいくつかありますが、まずは平均と標準偏差を使う方法を覚えます。標準偏差は、値が平均からどれくらいばらついているかを表す数字です。describe を呼べばまとめて出ます。

平均から標準偏差2つ分より外側を外れ値とみなす、というのがよく使われる線引きです。この2という数字に絶対的な根拠はありません。分布の形によっては厳しすぎたり緩すぎたりします。だからこそ、なぜその線を引いたのかを説明できるようにしておきます。

注意すべき点があります。平均も標準偏差も、外れ値そのものに引っ張られます。極端な1日があると平均が上がり標準偏差も大きくなるので、その日自身が外れ値と判定されにくくなります。これを避けたいときは、中央値と四分位範囲を使う方法に切り替えます。中央値は極端な値に動かされないので、より頑丈な線引きになります。

見つけたあとが本番です。外れ値を機械的に消してはいけません。まず日付を見ます。年末やセールの日なら事実である可能性が高いです。金額の桁を見ます。他の日の10倍を超えているなら入力ミスを疑います。同じ日に同じ商品の行が大量にあるなら、まとめ買いか二重計上かを確かめます。二重計上は3章の drop_duplicates で落としたはずですが、日付だけが1日ずれている重複は残ります。

判断したら、レポートには対処と理由を書きます。「12月24日の売上は平均の3倍だったが、年末商戦によるもので実在の売上と判断し、集計に含めた」。この一文があるかどうかで、レポートの信頼度は大きく変わります。数字を出すことより、数字をどう扱ったかを説明することのほうが、実務では重く見られます。

1. 売上日ごとに 金額 を集計してから統計量を求める
2. 平均は mean、標準偏差は std を使う
3. 閾値は 平均 + k × 標準偏差 とする
4. 閾値より大きい日だけを外れ値とする(閾値と等しい日は含めない)
5. float はすべて round(..., 1) で丸めて返す