黑马程序员技术交流社区

标题: Shell中的sed和awk的用法 [打印本页]

作者: 庭院深深深几许 时间: 2019-4-17 13:02
标题: Shell中的sed和awk的用法
　　一.sed简介：
　　1.SED(stream editor)是一项Linux指令，功能同awk类似，差别在于，sed简单，对列处理的功能要差一些，awk的功能复杂，对列处理的功能比较强大。
　　2.sed 编辑器逐行处理文件(或输入)，并将输出结果发送到屏幕。 sed 的命令就是在 vi和 ed/ex 编辑器中见到的那些。 sed 把当前正在处理的行保存在一个临时缓存区中，这个缓存区称为模式空间或临时缓冲。sed 处理完模式空间中的行后(即在该行上执行 sed 命令后)，就把改行发送到屏幕上(除非之前有命令删除这一行或取消打印操作)。 sed 每处理完输入文件的最后一行后， sed 便结束运行。 sed 把每一行都存在临时缓存区中，对这个副本进行编辑，所以不会修改或破坏源文件。
　　二.sed的相关参数：
　　格式：sed + [参数] + ‘命令’ + file
　　p ##打印显示模板块的行
　　d ##删除指定行
　　a ##在指定行的下一行添加文本
　　c ##替换指定行文本
　　i ##在指定行的上一行插入文本
　　三.sed的简单命令：
　　1. 参数p：
　　(1).sed -n ‘/:/p’ /etc/fstab ##显示含有：号的行*(此处需要用来进行转转义)**

　　(2).sed -n ‘/^#/p’ /etc/fstab ##显示#号开头的行

　　(3).sed -n ‘/^#/!p’ /etc/fstab ##显示非#号开头的行

　　(4).sed -n ‘2,6p’ /etc/fstab ##显示2到6行

　　(5).sed -n ‘2,6!p’ /etc/fstab ##显示其他行除过2到6行

　　2.参数d：
　　(1).sed ‘/^UUID/d’ /etc/fstab ##删除以UUID开头的行

　　(2).sed ‘/^#/d’ /etc/fstab ##删除以#号开头的行

　　(3).sed ‘/^$/d’ /etc/fstab ##删除空行

　　(4).sed ‘1,4d’ /etc/fstab ##删除1到4行

　　3.参数a与s：
　　(1).sed ‘/hello/aworld’ westos ##在原文本hello下一行添加world文本

　　(2).sed ‘s/hello/hello world/g’ westos ##替换hello为hello world

　　(3).sed ‘s/hello/helloworld/g’ westos ##添加world在hello下一行

　　4.参数c：
　　(1).sed ‘/hello/chello world’ westos ##将hello替换成hello yangyang

　　5.参数i：
　　(1).sed ‘/hello/iworldwestos’ westos

　　6. -i：
　　(1).sed -i ‘s/world/yang/’ redhat ##将world替换成yang
　　(2).sed -i ‘s/world/yang/g’ redhat ##全局替换

　　######awk######
　　一.awk简介：
　　1.AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言(其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母)的最大功能取决于一个人所拥有的知识。awk经过改进生成的新的版本nawk,gawk，现在默认linux系统下日常使用的是gawk，用命令可以查看正在应用的awk的来源(ls -l /bin/awk )
　　2.AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。实际上 AWK 的确拥有自己的语言：AWK 程序设计语言，三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。
　　3.最简单地说， AWK 是一种用于处理文本的编程语言工具。AWK 在很多方面类似于 shell 编程语言，尽管 AWK 具有完全属于其本身的语法。它的设计思想来源于 SNOBOL4 、sed 、Marc Rochkind设计的有效性语言、语言工具 yacc 和 lex ，当然还从 C 语言中获取了一些优秀的思想。在最初创造 AWK 时，其目的是用于文本处理，并且这种语言的基础是，只要在输入数据中有模式匹配，就执行一系列指令。该实用工具扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行。
　　二.awk报告生成器：
　　1.awk处理机制：根据模式一次从文件中抽取一行文本，对这行文本进行切片(默认使用空白字符作为分隔符)
　　2.awk ‘{print $0}’ test ##表示输出一整行
　　awk ‘{print $2}’ test ##表示输出第二个字段
　　awk ‘{print $4}’ test ##显示第四个字段
　　awk ‘{print $1,$2}’ test ##显示第一和第三个字段

　　3.awk -F “:” ‘{print $1,$3}’ /etc/passwd ##指定：为分隔符，显示一三字段

　　三.常用变量：
　　1.NR(行)与NF(列)：
　　(1).awk ‘{print FILENAME,NR}’ /etc/passwd ##输出文件名，和当前操作的行号

　　(2).awk -F: ‘{print NR,NF}’ /etc/passwd ##输出每次处理的行号，以及当前以":"为分隔符的字段个数

　　(3). 输出以bash结尾的行

　　(4).awk -F: ‘NR==2 {print}’ /etc/passwd ##输出指定文件第二行

　　(5).awk -F: ‘NR % 2 == 0 {print}’ /etc/passwd ##输出偶数行

　　(6).awk -F: ‘NR % 2 == 1 {print}’ /etc/passwd ##输出奇数行

　　(7).awk -F: ‘NR >=3 && NR <=5 {print }’ /etc/passwd ##输出3到5行，包括第3和第5行

　　总结：awk ‘{print “第NR行”，“有NF列”}’ /etc/passwd ##输出第几行第几列
　　2.BEGIN与END：
　　BEGIN{}:读入第一行文本之前执行的语句，一般用来初始化操作
　　{}:逐行处理
　　END{}:处理完最后以行文本后执行，一般用来处理输出结果
　　(1).awk -F: ‘BEGIN{print “REDHAT”} {print NR;print } END {print “WESTOS”}’ passwd ##文件开头加REDHAT，末尾加WESTOS，打印行号和内容

　　(2).awk ‘BEGIN{i=0}{i+=NF}END{print i}’ linux.txt ##统计文本总字段个数

　　三.awk命令的高级应用(与if,for语句的结合)：
　　1. if单分支语句：统计登录shell为bash的用户

　　2.if双分支语句：统计uid小于等于500和大于500的用户个数

　　3.for循环

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2