首页 > 其他分享> > 文本三剑客----awk

文本三剑客----awk

2021-10-27 16:03:34 作者：互联网

一，awk工作原理

二，awk中常见的内建变量（可以直接使用）

一，awk工作原理

逐行读取文本，默认以空格为分隔符进行分隔，将分隔所得的各个字段保存在内建变量中，并按照模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”，然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过 print 的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符"&&“表示"与”、"||“表示"或”、"!“表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
二，命令格式

awk 选项  '模式条件{操作}' 文件1  文件2
awk -f|-v 脚本文件 文件1 文件2

二，awk中常见的内建变量（可以直接使用）

FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF：当前处理的行的字段个数。
NR：当前处理的行的行号(序数)
$0：当前处理的行的整行内容。
$n：当前处理行的第n个字段(第n列)
FILENAME：被处理的文件名。
RS：行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’

三，举例说明

3.1按行输出文本内容

[root@localhost ~]# df |awk '{print $5}'
已用%
10%
0%
0%
1%
0%
18%
1%
0%
1%

有个特殊的情况，如果使用字符串，无论输出的什么打印都是字符。后面加位置就是行数。

[root@localhost ~]# awk '{print "hellow"}'
1
hellow
2
hellow
3
hellow
4
hellow
^C
[root@localhost ~]# awk '{print "hellow"}' /etc/passwd
hellow
hellow
hellow
hellow
hellow
hellow
hellow
hellow
hellow
hellow

3.2输出指定行内容

awk 'NR==1, NR==3{print}'  /etc/passwd       #输出第1-3行内容
awk  '(NR>=1) &&  (NR<=3)  {print}'  /etc/passwd       #输出第1-3行内容
awk  'NR==1 || NR==3 {print}'    /etc/passwd       #输出第1行、第3行内容

举例说明：

[root@localhost ~]# cat /etc/passwd|awk 'NR==1,NR==3{print}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@localhost ~]# cat /etc/passwd|awk '(NR>=1)&&(NR<=3){print}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@localhost ~]# cat /etc/passwd|awk 'NR==1||NR==3{print}'
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin

3.3输出奇数行，偶数行内容

awk '(NR%2)==1{print}'  /etc/passwd       #输出奇数行
awk '(NR%2)==0{print}'  /etc/passwd       #输出偶数行

[root@localhost ~]# cat /etc/passwd|awk '(NR%2)==1{print}'
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin

3.4特别用法

BEGIN模式表示：在处理指定的文本之前，需要先执行BEGIN模式中指定的动作； awk再处理指定的文本，之后再执行END模式中指定的动作，END{} 语句块中，往往会放入打印结果等语句。

awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd
#统计以/bin/bash结尾的行数,等同于
grep  -c "/bin/bash$"  /etc/passwd

3.5如何提取再放回来

[root@localhost lgy]# cat 23.txt |awk -F "[.]" '{print $1}' >>23.txt
[root@localhost lgy]# cat 23.txt 
1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com
www
mail
ftp
linux
blog

3.6提取IP地址

[root@localhost ~]# ifconfig ens33|sed -n '2p'|awk '{print $2}'
192.168.189.100
[root@localhost ~]# hostname -I |awk '{print $1}'
192.168.189.100

练习题：

1.统计/etc/fstab文件中每个文件系统类型出现的次数

[root@localhost ~]# cat /etc/fstab |sed -n '9,$p'|awk '{print $3}'|sort|uniq -c
      1 swap
      3 xfs

2.统计/etc/fstab文件中每个单词出现的次数

[root@localhost ~]# egrep -o "\<[[:alpha:]]+\>" /etc/fstab |sort |uniq -c |sort -n
      1 aada
      1 Accessible
      1 anaconda
      1 and
      1 are
      1 blkid
      1 boot
      1 Created
      1 disk
      1 etc
      1 filesystems

3.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字

[root@localhost ~]# echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw"|grep -Eo "[0-9]+"
05
9
7
3

4.提取主机名并放入原文件

[root@localhost ~]# awk -F"[/.]" '{print $3}' 1.txt >>1.txt
[root@localhost ~]# cat 1.txt
http://mail.kgc.com/index.html
http://www.kgc.com/test.html
http://study.kgc.com/index.html
http://blog.kgc.com/index.html
http://www.kgc.com/images/logo.jpg
http://blog.kgc.com/20080102.html
http://www.kgc.com/images/kgc.jpg
mail
www
study
blog
www
blog
www

四，总结

学习了awk，最主要学会如何进行过滤等。

标签：----,etc,awk,print,hellow,root,localhost,三剑客
来源： https://blog.csdn.net/m0_60353617/article/details/120991389