パイプ活用：実践的なコマンド連携

数えたのに、同じ語が何度も出てくる

重複を畳んで数えるのは uniq の仕事です。ところが、そのまま渡すと数が合いません。

$ cat /tmp/hits.txt
red
blue
red
$ uniq -c /tmp/hits.txt
      1 red
      1 blue
      1 red

red が 2 と出てほしいところに、1 が 2 行出ました。uniq は隣り合った行しか比べないためです。間に blue が挟まっているので、2 つの red は別のものとして数えられます。

数を合わせるには、比べる前に同じ語を隣どうしに並べておく必要があります。sort はそのための前処理です。

$ sort /tmp/hits.txt
blue
red
red

uniq が隣どうししか見ないのは、手抜きではなく設計です。出てきた語を全部覚えてから比べようとすると、行数の分だけメモリが要ります。隣とだけ比べる決まりにしておけば、何億行流れてきても記憶しておくのは 1 行で足ります。並べ替えを別の道具に任せているのは、そのためです。

9 より 100 が先に来る

sort の既定は文字としての並べ替えです。数字を並べると、思っていた順になりません。

$ cat /tmp/nums.txt
10
9
100
$ sort /tmp/nums.txt
10
100
9

1 文字目から順に比べているので、100 は 9 より前に来ます。数として比べるには -n を付けます。大きいほうを上にしたいときは -r を足します。

$ sort -n /tmp/nums.txt
9
10
100

同じ sort でも、隣どうしに並べる前処理と、数の大小で順位を付ける仕上げでは役割がまったく違います。集計では、この 2 つの使われ方が別の場所に出てきます。

長いパイプが一発で書けない

4 つも 5 つもつないだ 1 行を頭から一気に書こうとすると、結果が違ったときにどこで狂ったのか分からなくなります。左から 1 段ずつ足して、そのつど出力を見てください。

$ awk '{ print $1 }' /tmp/access.log
192.168.1.10
10.0.0.5
192.168.1.10

ここまでで狙いどおりなら、末尾に次の 1 つを足す。違っていればここで直す。この進め方なら、間違いは常に「いま足した 1 つ」の中にあります。

確かめている途中は、末尾に head を足しておくと画面が流れません。相手にしているファイルの行数が多いときほど、1 段ごとに目で見る手間が効いてきます。

解説

uniq -c が付ける件数は桁をそろえるため、先頭に空白が入ります。そのまま次へ渡すと、列の位置がずれて見えることがあります。

1. echo で単語リストを作る
2. sort | uniq -c | sort -nr の順で集計
3. awk '{ print $1, $2 }' で整形