[转帖]Linux系统awk命令详解

linux,系统,awk,命令,详解 · 浏览次数 : 0

小编点评

**AWK 语法解析** AWK 语法使用 `-F` 选项指定输入文件中的分隔符,默认是空格。可以使用 `-v` 和 `-f` 选项设置变量值,支持用户定义的变量。 **参数** * `-F` 选项:指定输入文件中的分隔符。 * `-v` 和 `-f` 选项:设置用户定义的变量值。 * `-m` 和 `-n` 参数:设置内部限制。 * `-w` 和 `-W` 参数:设置输出格式。 * `-r` 参数:设置递归模式。 * `-l` 参数:设置输出记录的长度。 * `-i` 参数:设置输入文件。 * `-n` 参数:设置输出记录的数字格式。 * `-o` 参数:指定输出文件名。 * `-d` 参数:设置输入和输出字段的分隔符。 * `-n` 参数:设置输出记录的行号格式。 **示例** ```awk -F' ' '{print $1,$2}' test.txt -F '[ :]' '{print $1,$2}' test.txt -w OFMT -r -l 10 -i test.txt -n 3 -o output.txt -d FS -n 10 -W copyleft ``` **解释** 该示例使用 `-F` 选项指定输入文件中的分隔符为空格。使用 `-v` 选项设置变量 `$1` 为输入文件的第一个字段。使用 `-w` 选项设置输出格式为 `OFMT`,指定输出字段的格式为 `%6g`。使用 `-r` 参数设置递归模式。使用 `-l` 选项设置输出记录的长度为 10 行。使用 `-n` 选项设置输出记录的数字格式为 `%.6g`。使用 `-o` 选项指定输出文件名为 `output.txt`。使用 `-d` 选项指定输入和输出字段的分隔符为空格。使用 `-n` 选项设置输出记录的行号格式为 `1`。使用 `-W copyleft` 参数设置输出格式为复制左括号。

正文

AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
实际上 AWK 的确拥有自己的语言: AWK程序设计语言,三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。

语法

awk [选项参数] -f scriptfile var=value file(s)

参数详解

参数解析
-F fs or --field-separator fs指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。
-v var=value or --asign var=value赋值一个用户定义变量。
-f scripfile or --file scriptfile从脚本文件中读取awk命令。
-mf nnn and -mr nnn对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright打印简短的版权信息。
-W help or --help, -W usage or --usage打印全部awk选项和每个选项的简短说明。
-W lint or --lint打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old打印关于不能向传统unix平台移植的结构的警告。
-W posix打开兼容模式。但有以下限制,不识别:/x、函数关键字、func、换码序列以及当fs是一个空格时,将新行作为一个域分隔符;操作符=不能代替=;fflush无效。
-W re-interval or --re-inerval允许间隔正则表达式的使用,参考(grep中的Posix字符类),如括号表达式[[:alpha:]]。
-W source program-text or --source program-text使用program-text作为源代码,可与-f命令混用。
-W version or --version打印bug报告信息的版本。

实例详解

[root@localhost /]# cat test.txt 
This is a test
hello world 
以空格为分隔符输出第一列和第二列
[root@localhost /]# awk -F' '  '{print $1,$2}'   test.txt
This is
hello world
以空格分隔后输出的结果在以:分隔
[root@localhost /]# awk -F '[ :]' '{print $1,$2}'   test.txt
输出最后一行内容
[root@localhost /]# awk 'END{printf $0}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

内建变量

参数详解
$n当前记录的第n个字段,字段间由FS分隔
$0完整的输入记录
ARGC命令行参数的数目
ARGIND命令行中当前文件的位置(从0开始算)
ARGV包含命令行参数的数组
CONVFMT数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
ERRNO最后一个系统错误的描述
FIELDWIDTHS字段宽度列表(用空格键分隔)
FILENAME当前文件名
FNR各文件分别计数的行号
FS字段分隔符(默认是任何空格)
IGNORECASE如果为真,则进行忽略大小写的匹配
NF一条记录的字段的数目
NR已经读出的记录数,就是行号,从1开始
OFMT数字的输出格式(默认值是%.6g)
OFS输出字段分隔符,默认值与输入字段分隔符一致。
ORS输出记录分隔符(默认值是一个换行符)
RLENGTH由match函数所匹配的字符串的长度
RS记录分隔符(默认是一个换行符)
RSTART由match函数所匹配的字符串的第一个位置
SUBSEP数组下标分隔符(默认值是/034)
#输出顺序号 NR, 匹配文本行号
[root@localhost /]# awk '{print NR,FNR,$1,$2,$3}' test.txt 
1 1 This is a
2 2 hello world

    与[转帖]Linux系统awk命令详解相似的内容:

    [转帖]Linux系统awk命令详解

    AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 实际上 AWK 的确拥有自己的语言: AWK程序设计语言,三位

    [转帖] Linux命令拾遗-文本处理篇

    https://www.cnblogs.com/codelogs/p/16060413.html 简介# 这是Linux命令拾遗系列的第二篇,本篇主要介绍Linux中与文本处理相关的命令,如xargs、grep、sed、awk等。 本系列文章索引Linux命令拾遗-入门篇 常用文本相关命令# cat

    [转帖]Shell三剑客之awk

    目录 awk简述awk的工作过程awk的工作原理awk的基本格式及其内置变量getline文本内容匹配过滤打印对字段进行处理打印条件判断打印awk的三元表达式与精准筛选用法awk的精准筛选:awk的分隔符用法指定输出的分隔符awk结合数组运用面试题 awk简述 在 Linux/UNIX 系统中,aw

    [转帖]精通awk系列(19):awk流程控制之break、continue、next、nextfile、exit语句

    https://www.cnblogs.com/f-ck-need-u/ 回到: Linux系列文章 Shell系列文章 Awk系列文章 break和continue break可退出for、while、do...while、switch语句。 continue可让for、while、do...wh

    [转帖]Linux系统多网卡环境下的路由配置

    https://www.cnblogs.com/connect/p/linux-static-route.html Linux下路由配置命令 1. 添加主机路由 route add -host 192.168.1.11 dev eth0 route add -host 192.168.1.12 gw

    [转帖]linux 系统 UDP 丢包问题分析思路

    https://cizixs.com/2018/01/13/linux-udp-packet-drop-debug/ 最近工作中遇到某个服务器应用程序 UDP 丢包,在排查过程中查阅了很多资料,总结出来这篇文章,供更多人参考。 在开始之前,我们先用一张图解释 linux 系统接收网络报文的过程。 首

    [转帖]Linux系统IO基准测试方法

    https://www.cnblogs.com/wangzhen3798/p/13631848.html 顺序读写测试 主要关注磁盘的吞吐量,即每秒能够读入或者写出多少数据。普通单块机械磁盘顺序写在100MB/s左右,普通单块SSD的顺序写在500MB/s左右。该指标对MQ、ES等以append方式

    [转帖]Linux系统指令 top 之 %si 占用高,分析实例

    https://www.coonote.com/linux-note/linux-top-si-high-instance.html 续“top %wa 高的问题”之后,又遇到top之%si过高(高峰时段超过95%)的问题。 %wa高,说明磁盘忙。譬如磁盘读写次数非常高。 %si高,是否说明软中断忙

    [转帖]Linux系统中的tar命令

    https://www.cnblogs.com/PatrickLiu/p/9761988.html 时间一长什么东西都容易忘记,尤其是一些不常用的东西忘记的更快,所以避免忘记,就记录下来,可以方面使用的时候查询。Tar命令在linux系统中算是一个比较重要的命令,今天就针对该命令进行总结一下。 1.

    [转帖]Linux 系统TCP连接内存大小限制 调优

    https://www.cnblogs.com/liujunjun/p/12496677.html 系统TCP连接内存大小限制 TCP的每一个连接请求,读写都需要占用系统内存资源,可根据系统配置,对TCP连接数,内存大小,限制调优。 查看系统内存资源 记录内存 详情:cat /proc/meminf