つくる:データクレンジング｜コードで実践

このレッスンでできるようになること。5種類の乱れが入った売上CSVを、集計できる状態まで一気に掃除できるようになります。

新しい知識は出てきません。3章で覚えた道具を、正しい順番でつなぎます。

現場から届いた CSV には、次の5つが同時に入っていました。金額が 3,600円 の文字列、カテゴリの前後の空白、「しょっき」という読み替えの必要な表記、同じ行の二重登録、数量と金額の空欄です。これを1本の処理に通します。

順番が結果を変えます。掃除には正しい順序があります。

重複を消す。これを最初にやります。後回しにすると、他の処理を重複した行にも無駄に走らせます
文字列を揃える。空白を取り、表記を読み替えます。これを型変換より先にやるのは、空白が残っていると変換が落ちるからです
型を直す。金額からカンマと円を取り、数値にします。売上日は日付型にします
欠損を扱う。金額が無い行は落とし、数量の欠損は0で埋めます。最後にやるのは、型を直したあとでないと欠損の判定がずれることがあるからです

逆にすると具体的にどう困るかというと、たとえば重複を最後にすると、" 食器 " と "食器 " は掃除前には別の値なので、掃除で同じ値になった行が重複として残ってしまいます。掃除してから重複を見るほうが正しいという考え方もあり、完全に同じ行だけを重複とみなす今回は先に消して問題ありません。どちらにせよ、順番を決めて書き留めておくことが大切です。

Python

import pandas as pd

df = pd.read_csv("sales.csv")
df = df.drop_duplicates().reset_index(drop=True)
df["カテゴリ"] = df["カテゴリ"].str.strip()

掃除の最後には必ず検算をします。行数、残った欠損の数、カテゴリの種類、金額の型と合計。この4つを見て想定どおりなら、集計に進んでよいという合図です。この演習では、5種類の乱れをすべて落として検算結果を返します。