Shell三剑客
shell三剑客是grep、sed和awk三个工具的简称,因功能强大，使用方便且使用频率高，因此被戏称为三剑客，熟练使用这三个工具可以极大地提升运维效率。
sed工具
sed 即 Stream EDitor，和 vi 不同，sed是行编辑器
sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕
接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
sed 流编辑器的工作过程
sed的工作流程主要包括读取、执行和显示三个过程：
读取： sed从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。
执行： 默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。
显示： 发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行， 直至所有内容被处理完。
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。
注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。
经典技术题
怎么解决sed命令处理容量过大，或则内容过多的而导致执行效率慢的问题？
解决方案一（推荐用法）：
使用split命令进行文件分割（例如文件如果是百万行，就创建一个单独的目录将文件分割为一百个为一万行的文本）再使用sed命令进行处理，除了split分割，也可以使用一个遍历分割shell脚本进行执行
split -l -30 test1.txt se --按行分割
split -b 400M test1.txt se --按大小分割
解决方案二：
使用 cat 文件名 | sed 处理
（但是该方案只能针对中大型的文件文本，如果文本量过大，处理效果不好）
sed命令格式与选项操作符
基本操作格式：
sed -e ‘操作’ 文件1 文件2
sed -e ‘操作’ 文件1 文件2
sed -f 脚本文件 文件1 文件2
sed -i -e ‘操作’ 文件1 文件2
执行多条命令的格式：
方式一：
sed -e ‘操作1’ -e ‘操作2’ 文件
sed -n -e ‘/^r/p’ -e ‘/^b/p’ /etc/passwd
方式二：
sed -e ‘操作1;操作2’ 文件
sed命令的常用选项
-e 或–expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用。
-f 或–file=：表示用指定的脚本文件来处理输入的文本文件。
-h 或–help：显示帮助。
-i 直接修改目标文本文件。
-n 仅显示script处理后的结果。
sed命令的操作符
s：替换，替换指定字符。
d：删除，删除选定的行。
a：增加，在当前行下面增加一行指定内容。
i：插入，在选定行上面插入一行指定内容。
c：替换，将选定行替换为指定内容。
y：字符转换，转换前后的字符长度必须相同。
p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
=：打印行号。
l(小写L)：打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）
r：高级正则表达式
sed最为核心的功能是增删改查
sed命令的打印功能
默认打印方式
sed命令的寻址打印
方式一：按照行号寻求内容
方式二：进行行号范围区间的打印
方式三：指定间隔打印
方式四：对奇数行和偶数行的打印
n在p前面，跳过一行，打印下一行，就是偶数行；在后面，就是打印第一行，然后跳过一行，形成奇数行。
文本模式过滤行内容
方式一：对包含的字符串进行过滤打印
方式二：应用基础正则表达式进行打印
方式三：使用扩展正则表达式进行打印
注意：
sed -r 支持扩展正则表达式。同时在 使用{n}、{n,}、{n,m}时，括号{}前不需要加反斜杠\ 。
sed的删除操作
sed -i 时会对文本进行实际操作（建议对目标文件先进行备份，再进行操作）
如果要生效：sed -i -n
通过行号进行删除
匹配字符串内容删除
字符串搭配正则进行删除
删除空行的三种方法
grep -v "^$" test1.txt ----过滤出非空行
cat test1.txt |tr -s "\n" ----压缩换行符
sed '/^$/d' test1.txt ----删除空行
- 1
- 2
- 3
sed命令替换
格式：
行范围 s/旧字符串/新字符串/替换标记
替换标记：
数字：表明新字符串将替换第几处匹配的地方
g：表面新字符串将会替换所有匹配的地方
p：打印与替换命令匹配的行，与-n一起使用
w文件：将替换的结果写入文件中
sed命令的替换中：
s：替换字符串
c：整行替换
y：字符替换，替换前后的字符串长度必须相同
符进行大小写的替换
l&是转换小写的一种特殊的符号，前面要加转义符“\”
u&是转换首字母大写的一种特殊的符号，前面要加转义符“\”
整行替换
单字符的替换
使用y，是对单个字符进行替换，每个字符需要一一对应，不是整体替换。前后字符串长度需要一致，不然会报错
只要有匹配的单字符会全部替换
sed命令的增加
a：在下一行添加内容
i：在上一行插入内容
r：在行后读入文件内容
sed命令中字符串和字符的位置交换
面试题
提取版本号
ant-1.9.7.jar
ant-launcher-1.9.7.jar
antlr-2.7.7.jar
antlr-runtime-3.4.jar
aopalliance-1.0.jar
archaius-core-0.7.6.jar
asm-5.0.4.jar
aspectjweaver-1.9.5.jar
bcpkix-jdk15on-1.64.jar
bcprov-jdk15-1.46.jar
bcprov-jdk15on-1.64.jar
checker-compat-qual-2.5.5.jar
查看指定时间内的日志
修改网卡的IP地址
总结
1.sed命令是一种流编辑器读取文件会进行逐行读取加上指令操作，所以过大的文件一定要拆分后再交给sed处理
2.sed -r 搭配扩展正则表达式使用，使用{n} {n,} {n,m} 不需要加“\”
3.用 -i 时一定要先备份（尤其对重要文件的操作），或者时先实验好确定无误时，再使用 -i
4.sed 命令 的重点在于增删改查四个功能，可以运用在脚本中对重要文件配置的修改，添加等作用尤其有效