パイプ活用：実践的なコマンド連携

数えたのに、同じ語が何度も出てくる

重複を畳んで数えるのは uniq の仕事です。ところが、そのまま渡すと数が合いません。

$ cat /tmp/hits.txt
red
blue
red
$ uniq -c /tmp/hits.txt
      1 red
      1 blue
      1 red

red が 2 と出てほしいところに、1 が 2 行出ました。uniq は隣り合った行しか比べないためです。間に blue が挟まっているので、2 つの red は別のものとして数えられます。

数を合わせるには、比べる前に同じ語を隣どうしに並べておく必要があります。sort はそのための前処理です。

$ sort /tmp/hits.txt
blue
red
red

uniq が隣どうししか見ないのは、手抜きではなく設計です。出てきた語を全部覚えてから比べようとすると、行数の分だけメモリが要ります。隣とだけ比べる決まりにしておけば、何億行流れてきても記憶しておくのは 1 行で足ります。並べ替えを別の道具に任せているのは、そのためです。

9 より 100 が先に来る

sort の既定は文字としての並べ替えです。数字を並べると、思っていた順になりません。

$ cat /tmp/nums.txt
10
9
100
$ sort /tmp/nums.txt
10
100
9

1 文字目から順に比べているので、100 は 9 より前に来ます。数として比べるには -n を付けます。大きいほうを上にしたいときは -r を足します。

$ sort -n /tmp/nums.txt
9
10
100

同じ sort でも、隣どうしに並べる前処理と、数の大小で順位を付ける仕上げでは役割がまったく違います。集計では、この 2 つの使われ方が別の場所に出てきます。

長いパイプが一発で書けない

4 つも 5 つもつないだ 1 行を頭から一気に書こうとすると、結果が違ったときにどこで狂ったのか分からなくなります。左から 1 段ずつ足して、そのつど出力を見てください。

$ awk '{ print $1 }' /tmp/access.log
192.168.1.10
10.0.0.5
192.168.1.10

ここまでで狙いどおりなら、末尾に次の 1 つを足す。違っていればここで直す。この進め方なら、間違いは常に「いま足した 1 つ」の中にあります。

確かめている途中は、末尾に head を足しておくと画面が流れません。相手にしているファイルの行数が多いときほど、1 段ごとに目で見る手間が効いてきます。

解説

uniq -c が付ける件数は桁をそろえるため、先頭に空白が入ります。そのまま次へ渡すと、列の位置がずれて見えることがあります。

途中の結果をファイルで確かめる

長いパイプは、途中でファイルに保存して分けることもできます。気温の記録なら、並べ替えた結果を保存し、次のコマンドで先頭だけ読みます。

$ sort -n /tmp/temperatures.txt > /tmp/temperatures-sorted.txt
$ head -3 /tmp/temperatures-sorted.txt
12
15
18

> の行は画面に表示せず、次の行が保存済みの結果を読みます。演習でも、件数付けと件数の並べ替えを別々に書きます。

uniq -c は、隣り合う同じ行をまとめて件数を付けます。先ほどの色の一覧を並べたファイルなら、こうなります。

$ uniq -c /tmp/sorted-colors.txt
      1 blue
      2 red

件数のファイルでは、1列目が件数、2列目が元の語です。最後の表示整形はひな形に用意してあります。

1. 入力ファイルを sort で並べ、パイプで uniq -c に渡して件数を付ける。結果を /tmp/text-tools-fit3-counts.txt に保存する
2. 件数のファイルを sort で数値の降順に並べ、/tmp/text-tools-fit3-ranked.txt に保存する
3. 用意済みの awk で 3 apple、2 banana、1 cherry をこの順に表示する。準備と表示整形のコードは変更しない