awk简述
在 Linux/UNIX 系统中,awk 是一个功能强大的编辑工具,逐行读取输入文本,默认以空格或tab键作为分隔符作为分隔,并按模式或者条件执行编辑命令。
AWK信息的读入也是逐行指定的匹配模式进行查找,对符合条件的内容进行格式化输出或者过滤处理,可以在无交互 的情况下实现相当复杂的文本操作,被广泛应用于 Shell 脚本,完成各种自动化配置任务。
awk的工作过程
第一步:执行BEGIN{action;… }语句块中的语句。
第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ action;… }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
第三步:当读至输入流末尾时,执行END{action;…}语句块。
BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块。
pattern语句块中的通用命令是最重要的部分,也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块。
awk的工作原理
sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理,且默认情况下字段的分隔符为空格或 tab 键。
awk 执行结果可以通过 print 的功能将字段数据打印显示
awk的基本格式及其内置变量
awk 选项 ‘模式或条件 {操作}’ 文件1 文件2…
-F “分隔符” 指明输入时用到的字段分隔符,默认的分隔符是若干个连续空白符
-v(小v) var=value 变量赋值
注意一定是单引号:‘模式或条件 {操作}’
{ }外指定条件,{ }内指定操作。
用逗号指定连续的行,用 || 指定不连续的行。&&表示”且“。
内建变量,不能用双引号括起来,不然系统会把它当成字符串。
内置变量
$0: 当前处理的行的整行内容
$n: 当前处理行的第n个字段(第n列)
NR: 当前处理的行的行号(序数)
NF: 当前处理的行的字段个数。$NF代表最后一个字段
FS: 列分割符。指定每行文本的字段分隔符,输入内容的分隔符,
默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:,用FS必须用=""
OFS:输出内容的列分隔符
FILENAME:被处理的文件名
RS: 行分隔符。awk从文件中读取资料时,
将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录进行处理。预设值是"\n"
0和1放置{ }前,能够起到限制打印内容的作用(默认为"1"),如果为0,就不打印内容
getline
getline的工作过程
1、当getline左右无重定向符号(“<”)或者管道符号(“|”)时,awk首先读取的是第一行,而getline获取的是光标跳转至下一行的内容(也就是第二行)。
2、当getline左右有管道符号或重定向符时,getline则作用定向输入文件,由于文件是刚打开,并没有被awk读入一行,而只是getline读入,所以getline返回的是文件的第一行,而不是跳转至一行输入。
原因:getline运行之后awk会改变NF,NR,$0,FNR等内部变量,所以此时读取$0的行号不再为1,而是2。
把ls的输出传递给getline函数,line是变量 把ls的内容输出给变量,然后打印出结果,如果无内容,不做任何操作
文本内容匹配过滤打印
BEGIN打印模式:
格式:awk ‘BEGIN{…};{…};END{…}’ 文件
处理过程:
1、在awk处理指定的文本之前,需要先执行BEGIN{…}模式里的命令操作
2、中间的{…} 是真正用于处理文件的命令操作
3、在awk处理完文件后才会执行END{…}模式里的命令操作。END{ }语句块中,往往会放入打印结果等语句。
对字段进行处理打印
-v的用法:变量赋值
fs的是:然后使用-v给FS赋值=:,输入的时候FS是:,-v给OFS赋值输出的时候变量为+,然后打印第一列和第三列
条件判断打印
awk的三元表达式与精准筛选用法
awk的三元表达式继承了java的用法,格式与Java相似
格式:awk ‘(条件表达式)?(A表达式或者值):(B表达式或者值)’
awk的精准筛选:
$n(> < ==): 用于对比数值
$n~"字符串": 代表第n个字段包含某个字符串
$n!~"字符串": 代表第n个字段不包含某个字符串
$n=="字符串": 代表第n个字段为某个字符串
$n!="字符串": 代表第n个字段不为某个字符串
$NF: 代表最后一个字段
- 1
- 2
- 3
- 4
- 5
- 6
awk的分隔符用法
RS 指定行分隔符:
awk从文件中读取资料时,将根据RS的定义把资料切割成许多条记录,
而awk一次仅读入一条记录进行处理。内置变量RS的预设值是"\n" 也就是换行。
也可以使用BEGIN模式在操作前进行行分隔符的改变
指定输出的分隔符
OFS:输出内容的列分隔符。
($n=$n用于激活,否则不生效,n必须存在)
- 1
awk结合数组运用
awk中定义数组打印:
awk中的数组形成遍历
面试题
监控内存脚本(当内存使用率>90%就报警)
Mem_total=$(free -m | grep -w Mem | awk '{print $2}')
Mem_used=$(free -m | grep -w Mem | awk '{print $3}')
a=\((</span><span class="token builtin class-name">echo</span> <span class="token string">"scale=2;(<span class="token variable">\)Mem_used/$Mem_total)*100"|bc)
Mem=</span><span class="token builtin class-name">echo</span> $a<span class="token operator">|</span><span class="token function">awk</span> -F. <span class="token string">'{print $1}'</span><span class="token variable">
if [ \(Mem</span> -gt <span class="token number">90</span> <span class="token punctuation">]</span>
<span class="token keyword">then</span>
<span class="token builtin class-name">echo</span> <span class="token string">"内存使用超过90%,请清理内存"</span>
<span class="token keyword">else</span>
<span class="token builtin class-name">echo</span> <span class="token string">"系统安全,请放心使用,内存使用情况:<span class="token variable">\)Mem%"
fi
监控CPU使用情况脚本
top -b -n 1 | awk 'NR==3{print}'| awk '{print "目前CPU的使用情况:"$2+$4}'
- 1
监控磁盘使用情况脚本(当磁盘使用率>90%就报警)
a=$(df -T | awk 'NR==2{print}' | awk '{print $4}')
b=$(df -T | awk 'NR==2{print}' | awk '{print \(5}'</span><span class="token variable">)</span></span>
<span class="token assign-left variable">c</span><span class="token operator">=</span><span class="token variable"><span class="token variable">\)(echo "scale=2;(\(a</span>/<span class="token variable">\)b)*100"|bc)
sum=</span><span class="token builtin class-name">echo</span> $c <span class="token operator">|</span><span class="token function">awk</span> -F. <span class="token string">'{print $1}'</span><span class="token variable">
if [ \(sum</span> -gt <span class="token number">90</span> <span class="token punctuation">]</span>
<span class="token keyword">then</span>
<span class="token builtin class-name">echo</span> <span class="token string">"磁盘使用超过90%,请清理磁盘"</span>
<span class="token keyword">else</span>
<span class="token builtin class-name">echo</span> <span class="token string">"系统安全,请放心使用,磁盘使用情况:<span class="token variable">\)sum%"
fi