awk - 4 常见处理案例

前3篇回顾
awk - 简介 Linux 制表好工具
 awk-2 Regex搭配浅谈
 awk-3 运算符与函数

awk 常见处理案例

计算目前文件夹下档案所占用的大小

透过ls -l看到当前目录下所有档案跟大小, 档案大小在第5个栏位
想办法将这行数字给累加後输出

# BEGIN区块宣告size变数
# COMMAND区括做累加
# END区块做输出
ls -l | awk 'BEGIN{size=0}{size+=$5} END{print "size:" size}'
> size:219312120

# 计算成MB
ls -l | awk 'BEGIN{size=0}{size+=$5} END{print "size:" size/1024/1024 "M"}'
> size:209.152M

计算/etc/passwd的帐户总数, 以及除存UID>100的帐户名称, 并做显示

# for in loop
awk -F ':' 'BEGIN{count=0}{if ($3 > 100) name[count++]=$1} END{for (idx in name) print idx, name[idx] }' /etc/passwd
> 3 messagebus
> 10 usbmux
> 27 systemd-coredump
> 8 tcpdump
> 6 tss

# for condition loop
awk -F ':' 'BEGIN{count=0}{if ($3 > 100) name[count++]=$1} END{for (idx=0; idx<count;idx++) print idx, name[idx] }' /etc/passwd
> 0 nobody
> 1 systemd-resolve
> 2 systemd-timesync
> 3 messagebus
> 4 syslog

统计netstat下状态为LISTEN和CONNECTED的数量

netstat -anp下的输出, 榨看下LISTEN和CONNECTED是在$5,
但其实中间的[ ]也有个空格, 所以其实在$6
搭配awk-2提到的REGEX做match即可

netstat -anp | awk '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (idx in sum) print idx, sum[idx]}'
> LISTEN 12
> CONNECTED 1121

找出ifconfig中, 是ipv4格式的ip
我的思路是用space做分隔符号, 找出每行的$2, 搭配之前的grep+Regex做查找显示

ifconfig | awk '{print $2}' | grep -Eo "([0-9]{1,3}[\.]){3}[0-9]{1,3}"
> 172.29.0.1
> 172.31.0.1
> 127.0.0.1

会发现这里有127.0.0.1, 但这ip, 每台电脑必有, 没参考价值, 因此找个方法忽略它
把```lo```开头的行给忽略就好
```RS```是awk的内建变数, 用来指定行的分隔符号, 预设是```\n```换行符号, 遇到\n为一行
这里把RS设置为空字串, 表示要遇到一行空字串才做换行输出; 可以看上图, 2个网卡中间会个空行
这样子就能把多行资料, 一直当成同一行读取, 直到RS指定的行分隔符号
ifconfig | awk 'BEGIN{RS=""}!/lo/{print $6}' | grep -Eo "([0-9]{1,3}[\.]){3}[0-9]{1,3}"
> 172.29.0.1
> 172.31.0.1

去除重复资料後输出

# 准备假资料
cat > bb.txt <<EOF
heredoc> UID=1
heredoc> UID=2
heredoc> UID=4
heredoc> UID=3
heredoc> UID=2
heredoc> UID=3
heredoc> EOF

awk -F "=" '!arr[$2]++ {print}' bb.txt
> UID=1
> UID=2
> UID=4
> UID=3