黑马程序员技术交流社区

标题: awk命令大全 [打印本页]
作者: 庭院深深深几许    时间: 2019-4-17 11:51
标题: awk命令大全
　　awk命令的工作原理
　　gawk (gnu awk)
　　Unix中awk的GNU版本，完成grep和sed的工作
　　支持数学运算，流程该控制内置大量的变量和函数
　　awk命令工作原理
　　与sed一样, 均是一行一行的读取、处理
　　sed作用于一整行的处理, 而awk将一行分成数个字段来处理
　　awk命令的简要处理流程

  　　awk的用-F来指定分隔符
　　默认的字段分隔符是任意空白字符(空格或者TAB)
　　举例对比cut和awk的区别
　　awk的数据字段变量
　　$0表示整行文本
　　$1表示文本中第一个数据字段
　　$2表示文本中第二个数据字段
　　$n表示文本中第n个数据字段
　　awk命令的语法
　　awk命令的完整语法


　　awk的命令的执行过程
　　执行BEGIN{commands}语句块中的语句
　　从文件或stdin中读取第1行,
　　有无模式匹配, 若无则执行{}中的语句,
　　若有则检查该整行与pattern是否匹配, 若匹配, 则执行{}中的语句,
　　若不匹配则不执行{}中的语句,接着读取下一行
　　重复这个过程, 直到所有行被读取完毕
　　执行END{commands}语句块中的语句
　　awk命令的基本语法
　　awk -F 分隔符 ‘/模式/{动作}’ 输入文件
　　指令由模式和动作结合
　　awk的指令一定要用单引号括起
　　awk的动作一定要用花括号括起
　　模式可以是正则表达式、条件表达式或两种组合
　　如果模式是正则表达式要用/定界符
　　多个动作之间用;号分开
　　awk基本命令示例
　　awk '/bash/' /etc/passwd
　　只有模式没有动作结果和grep一样，显示$0
　　who | awk '{print $2}‘
　　只有动作没有模式就直接执行动作
　　awk -F: '/^h/{print $1,$7}' /etc/passwd
　　print执行显示功能将文本输出到STDOUT
　　以冒号为分隔符，显示以h开头的行的第一列和第七列
　　awk -F: '/^[^h]/{print $1,$7}' /etc/passwd
　　不显示以h开头的行的第一列和第七列
　　awk -F '[:/]' '{print $1,$10}' /etc/passwd
　　以：或者/作为分隔符显示第1列和第10列
　　awk命令的操作符
　　正则表达式和bash一致
　　数学运算：+，-，*，/， %，++，- -
　　逻辑关系符：&&， ||， !
　　比较操作符：>，<，>=，!=，<=，== ~ !~
　　文本数据表达式：== (精确匹配)
　　~波浪号表示匹配后面的模式
　　who | awk '$2 ~ /pts/{print $1}‘
　　awk -F: '$3 ~ /<...>/ {print $1,$3}' /etc/passwd
　　seq 100 | awk '$1 % 5 == 0 || $1 ~ /^1/{print $1}'
　　awk -F: '$1 == "root"{print $1,$3}' /etc/passwd
　　awk基本命令示例
　　awk -F: '$3>=500{print $1}' /etc/passwd
　　显示UID大于等于500行的用户名
　　awk -F: '$3>=500 && $3<=60000{print $1}' /etc/passwd
　　显示普通用户名
　　awk -F: '$3 != $4 {print $1}' /etc/passwd
　　显示UID不等于GID的用户名
　　awk -F: '/^h/ && /bash/{print $1}' /etc/passwd
　　显示用户名以h开头的普通用户
　　ps aux | awk '$2 <=10 {print $11}'
　　awk 'BEGIN{print "line oneline twoline three"}'
　　显示后面三行
　　awk 'END{print "line oneline twoline three"}'
　　按ctrl+D开始显示后面三行
　　awk 'BEGIN{print "start..."}{print $1}END{print "end..."}' test
　　显示文件的内容并在前面加上start和后面加上end
　　awk 'BEGIN{i=0}{i++}END{print i}' /etc/passwd
　　显示文件的行数
　　awk命令的变量
　　awk命令的内部变量
名称
用途
NF
每行$0的字段数
NR
当前处理的行号
FS
当前的分隔符，默认是空白字符
OFS
当前的输出分隔符，默认是空白字符
　　awk基本命令示例
　　awk '{print NF}' /etc/grub.conf
　　显示每行的字段数目
　　awk '{print $1,$NF}' /etc/grub.conf
　　显示每行的第一字段 和最后一个字段
　　awk '{print NR,$0}' /etc/grub.conf
　　显示每行的内容和行号
　　awk -F: 'BEGIN{OFS="---"}{print $1,$7}' /etc/passwd
　　显示第一列和第七列，中间用---隔开
　　awk 'BEGIN{FS=":"}/bash$/{print NR,$1}END{print NR}' /etc/passwd
　　显示符合模式的用户名和所在的行号最后显示总行号
　　awk ‘NR==3,NR==5’ /etc/grub.conf
　　显示文件的3到5行
　　awk 'NR<=10' /etc/fstab
　　显示文件的前10行
　　awk基本实验案例1
　　分析下面三条命令的区别，为什么
　　awk 'BEGIN{print NR}' /etc/passwd
　　awk '{print NR}' /etc/passwd
　　awk 'END{print NR}' /etc/passwd
　　分析下面命令的执行结果
　　awk -F: '{print $NR}' /etc/passwd
　　awk -F: '{print NR, NF, $1, $NF, $(NF-1)}' /etc/passwd
　　只显示df -h结果的第一列文件系统
　　显示passwd文件的第5行和第10行的行号和用户名
　　awk基本实验案例2
　　使用NF变量显示passwd文件倒数第二列的内容
　　显示passwd文件中第5到第10行的用户名
　　显示passwd文件中第7列不是bash的用户名
　　显示passwd文件中行号是5结尾的行号和行
　　用ifconfig只显示ip(不能使用tr或者cut命令)
　　使用awk显示eth0的入站流量和出站流量(字节)
　　使用awk命令统计以r开头的用户数目，显示如下效果
  


　　awk命令的引用shell变量
　　-v 引入shell变量
  


　　分析下面脚本的意思


　　awk命令的函数
　　awk编程语言内置了很多函数
　　例如利用length计算字符数目的函数来检查有无空口令用户


　　显示文件中超过60个字符的行
  


　　awk命令的结构化语句
　　if语句
　　单分支


　　awk -F: '{if($1 ~ /<...>/)print $0}' /etc/passwd
　　awk -F: '{if($3 >= 500)print $1,$7}' /etc/passwd
　　双分支


　　awk -F: '{if($3 != 0) print $1 ; else print $3}' /etc/passwd
　　多分支
　　awk -F: '{if($1=="root") print $1; else if($1=="ftp") print $2; else if($1=="mail") print $3; else print NR}' /etc/passwd
　　awk命令if语句案例
　　监控多台主机的磁盘分区一旦某台被监控主机的任一分区使用率大于80%, 就给root发邮件报警
  


　　实验案例3
　　检查/var/log/secure日志文件，如果有主机用root用户连接服务器的ssh服务失败次数超过10次(10次必须使用变量)，就将这个IP地址加入/etc/hosts.deny文件拒绝其访问，如果这个IP已经存在就无需重复添加到/etc/hosts.deny文件
  






欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2