轻松掌握 Linux 文本处理三剑客：grep、awk 和 sed 实战演练
作者：互联网
为什么要学习 Shell 脚本语言？
现代的互联网架构底层系统几乎都是基于 Linux 操作系统构建的，Linux 的核心价值在于提供了强大的系统内核功能进行文件管理和信息交互管理。
而 Shell 则是软件研发人员高效控制和使用 Linux 的工具和桥梁。Shell 本身是 C
语言编写的系统软件，通常也叫命令行工具。它具有一个基础的界面，用户在这个界面通过 Shell 脚本语言（Shell Script）来访问 Linux
操作系统内核服务。
在科幻电影里，我们经常看到在暗色调的屏幕上 Shell 脚本代码在快速滚动，这简直成为了 Geek／Hacker 的一个形象标签。实际工作中，Shell
也备受开发、运维、测试人员甚至运营人员的青睐，几乎是 IT 技术人员的必备技能。
而在软件测试领域，Shell 脚本编程作为自动化测试技术的基石，是测试开发工程师必须熟练掌握的技能。
Tips：尽管通常我们把「Shell」和「Shell 脚本语言」都叫做 “Shell”，但其实这两者是有本质区别的。
Shell 脚本语言编程有哪些优势？
Shell 脚本语言的优势在于能够以轻量级、最快捷的速度处理 Linux
操作系统偏底层的业务。比如软件的自动化安装、更新版本、监控报警、日志分析等。虽然其他高级编程语言如 PHP、Python、Ruby
等语言也能做到，但是效率和开发成本上会大打折扣，所谓“杀鸡用牛刀”，有点得不偿失。
成熟的技术人会摒弃华而不实的方法，根据不同的场景选择最合适的工具去解决问题，朴实但高效。比如本文着重介绍的 Linux 三剑客：grep、awk 和 sed
就是 Linux 文本处理问题的最高效工具。
下面，我们将依次介绍 Linux 文本处理三剑客的基础语法，使用场景和特性，以及给出对应的实战演练题目。
Shell 编程环境
1. Windows 用户，建议安装 Git Bash 软件。
2. Mac 用户，建议安装 iterm2 软件。
3. ssh 工具
-
霍格沃兹测试学院学员用自己的帐号登录
-
ssh 手机号后8位@shell.testing-studio.com -
没有 ssh 账号的可以临时用
-
ssh hogwarts2019@shell.testing-studio.com
4. 演练文档：
testerhome.com/tmp/nginx.log 保存了一份一天的 Nginx 访问 log。
Linux 三剑客介绍
grep
grep 示例 Shell 脚本代码
1. ps -ef | grep bash
2. echo "ABC" | grep -i abc
3. ps -ef | grep bash | grep -v grep
4. echo "1234 7654" | grep -o "[0-9]4"
5. echo "1234 7654" | grep -oE "[0-9]4|76"
grep 实战演练题目
-
找出 nginx.log 中所有 404 和 503 报错的 log 数据，取出前 3 条数据，把命令贴到回复里。
-
找出 testerhome 首页的所有 http 和 https 的链接。
awk
awk 示例 Shell 脚本代码
1. ps | awk 'BEGIN{print "start"}{print $0}END{print "end"}'
2. awk '/ 404 | 500 /' /tmp/nginx.log
3. echo '1
4. 2
5. 3
6. 4
7. 5' | awk '/2/,/4/'
8. echo '1
9. 2
10. 3
11. 4
12. 5' | awk '$0>3'
13. ps | awk 'NR>1'
14. ps | awk '{print $NF}'
15. echo $PATH | awk 'BEGIN{RS=":"}{print $0}' | grep -v "^$" | awk 'BEGIN{FS="\n";ORS=":"}{print $0}END{printf "\n" }'
16. echo '1,10
17. 2,20
18. 3,30' | awk 'BEGIN{a=0;FS=","}{a+=$2}END{print a,a/NR}'
19. awk 'BEGIN{print 33*20*76/200/3}'
20. echo "123|456_789" | awk 'BEGIN{FS="\\||_"}{print $2}'
21. echo "123|456_789" | awk "BEGIN{FS=\"\\\\||_\"}{print \$2}" #尽量使用单引号
awk 实战演练题目
-
找出 404 和 500 的数据，只打印状态码这一列，然后排序去重。把命令贴到回复里
-
去 testerhome 首页找到所有的 http 的连接，然后打印不带 http 的纯域名部分
sed
pattern表达式
-
20 30,35 行数与行数范围
-
/pattern/ 正则匹配
-
//,// 正则匹配的区间
action
-
d 删除
-
p 打印，通畅结合-n参数
-
s/REGEXP/REPLACEMENT/[FLAGS]
-
替换时引用 \1 \2 匹配的字段
sed 示例 Shell 脚本代码
1. ps | sed -n 1,3p
2. ps | sed 's/CMD/command/'
3. ps | sed -n '/ps/p'
4. echo '1
5. 2
6. 3
7. 4
8. 5' | sed -n '/3/,/4/p'
9. echo '1
10. 2
11. 3
12. 4
13. 5' | sed '/3/,/4/d'
14. ps | sed -e 's/CMD/command/' -e 's#00#20#g'
sed 实战演练题目
- 对所有404 500 的数据，统计出现这种状态码的url，需要对url汇总（汇总相似的url，把相同的资源但是变化的id去掉）去重，打印前5个出问题的路径，把命令贴到回复里。
_Tips：可以在本帖回复参与讨论，或者登录 TesterHome 社区帖子
https://testerhome.com/topics/17945
_
免费领取 《Shell 高级实战》 课程
2019 年 1 月 20 日，霍格沃兹测试学院在北京组织了一次小型（限额 20 人） WorkShop 实战训练营线下活动，主题是
《测试开发工程师必备 Shell 高级实战技能》 ，旨在帮助测试开发同学熟练掌握 Shell 高阶技能，更高效的定位 Bug。
WorkShop 结束之后，考虑到学院大部分同学未能参加该活动，而 Shell
高阶技能确实有点烧脑，是学员的普遍痛点。学院决定优化课程设计，增加基础部分内容，打通从入门到高级路径，并以 「学伴分享」
形式免费发布这个课程，作为给测试开发同学的年度福利。关于免费领取的规则，请点击上图或者“ 阅读原文 ”了解更多详情。
推荐阅读
在霍格沃兹学院
与最优秀的测试开发工程师并肩
点一下好看，工资就翻一番
来霍格沃兹测试开发学社，学习更多软件测试与测试开发的进阶技术，知识点涵盖web自动化测试 app自动化测试、接口自动化测试、测试框架、性能测试、安全测试、持续集成/持续交付/DevOps，测试左移、测试右移、精准测试、测试平台开发、测试管理等内容，课程技术涵盖bash、pytest、junit、selenium、appium、postman、requests、httprunner、jmeter、jenkins、docker、k8s、elk、sonarqube、jacoco、jvm-sandbox等相关技术，全面提升测试开发工程师的技术实力
QQ交流群：484590337
公众号 TestingStudio
点击获取更多信息
标签：Shell,grep,文本处理,sed,awk,测试,echo,三剑客 来源： https://www.cnblogs.com/hogwarts/p/15822665.html