列処理 awk

3 列目だけ欲しいのに、行ごと出てくる

サービスとポートの一覧から、ポート番号だけを取り出したいとします。

$ cat /tmp/services.txt
web01 nginx 80
db01 mysql 3306
cache01 redis 6379
$ awk '{ print $3 }' /tmp/services.txt
80
3306
6379

awk は 1 行を読むたびに、空白で区切って $1 $2 $3 と名前を付けます。波括弧の中に書いた print $3 が、行の数だけ繰り返されます。行全体は $0、いちばん右の列は $NF です。列数が行によって変わるログでも、$NF なら末尾を確実に取れます。

複数の列を並べて出すときは、print $1, $3 のようにカンマで区切ります。カンマを入れると間に空白が 1 つ入り、カンマを書かずに print $1 $3 とすると、区切り無しでつながって出ます。

区切りが空白ではない

ユーザー一覧のような、記号で区切られたファイルもあります。

$ head -3 /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin

このままでは空白が無いので、行全体が $1 になってしまいます。-F で区切り文字を教えます。

$ awk -F: '{ print $1 }' /etc/passwd | head -3
root
daemon
bin

CSV なら -F,、タブ区切りなら -F'\t' を渡します。

全部の行は要らない

波括弧の前に条件を書くと、条件に合った行だけが処理の対象になります。

$ awk '$3 > 1000 { print $1 }' /tmp/services.txt
db01
cache01

3 列目が 1000 より大きい行だけを選び、その 1 列目を出しています。行を絞るだけなら grep でもできますが、grep が見るのは行の文字並びです。awk は列を数値として比べられるので、「何番目の列がいくつ以上」という絞り方ができます。

条件には文字の一致も書けます。awk '/redis/ { print $3 }' のようにスラッシュで囲むと、その語を含む行だけが対象になります。数の大小と文字の一致を、同じ場所に書き分けられます。

解説

条件だけ書いて波括弧を省くと、一致した行がそのまま出ます。awk '$3 > 1000' /tmp/services.txt は、絞るだけで加工しない書き方です。

1. echo でデータを作る
2. awk を使う
3. 2 列目だけ出力