简介#
网上有很多辅助开发的小工具，如base64,md5之类的，但这些小工具其实基本都可以用Linux命令实现，即方便又高效。
查看特殊字符#
把这个放在首位，是因为这个实在太重要了，程序经常会因为特殊的看不见的字符而出现bug，因此一些本应该执行正确而实际出乎意料的字符串处理，你都应该看看是否含有特殊字符。
$ echo 'hello'|sed -n 'l'
hello$
$ echo 'hello'|cat -A
hello$
$ echo 'hello'|od -c
0000000 h e l l o \n
0000006
执行上面的命令会发现，echo会给输出加一个换行符。
查看字节数#
当出现数据库字段超长错误时，这个命令会很有用，如oracle的varchar2(64)类型，表示最多存64字节，而业务插入的字符串是中英混合的，估计它有多少字节还挺麻烦。
$ echo -n 'hello,张三'|iconv -t utf-8|wc -c
12
时间戳转换#
#日期串转时间戳
$ date -d '2020-06-08 00:13:28' +%s
1591546408
#时间戳转日期串
$ date -d '@1591546408' +"%F %T %z"
2020-06-08 00:13:28 +0800
#带时区版本，时区很重要，要时时刻刻注意
TZ='GMT-8' date -d '2020-06-08 00:13:28' +%s
TZ='GMT-8' date -d '@1591546408' +"%F %T %z"
csv变json#
#使用csvkit中的csvjson
csvjson -y0 -I data.csv
#使用python
python -c "import csv,json;print(json.dumps(list(csv.reader(open('data.csv')))))"
文件服务器#
python3 -m http.server 8000
urlencode,base64,md5,sha256#
做开发经常会用到这些。
# urlencode，建议添加为别名
$ alias urlencode='python3 -c "import sys;from urllib import request as rq;print(rq.quote(sys.argv[1],safe=\"\"))"'
$ urlencode 你好
%E4%BD%A0%E5%A5%BD
# urldecode，建议添加为别名
$ alias urldecode='python3 -c "import sys;from urllib import request as rq;print(rq.unquote(sys.argv[1]))"'
$ urldecode '%E4%BD%A0%E5%A5%BD'
你好
# base64编解码
$ echo hello |base64 -w0
aGVsbG8K
$ echo aGVsbG8K|base64 -d
hello
# md5摘要
$ echo hello |md5sum
b1946ac92492d2347c6235b4d2611184 -
# sha256摘要
$ echo hello | sha256sum
5891b5b522d5df086d0ff0b110fbd9d21bb4fc7163af34d08286a2e846f6be03 -
# hmacWithSha256摘要
$ echo hello | hmac256 'secret'
171b5670f7b4037fb90bef773b022130e48100fdd40ea023730097da9a68f4ff
json格式化#
$ echo '{"id":1,"name":"lisi"}' | jq .
{
"id": 1,
"name": "lisi"
}
字符串escape与unescape#
#将"转成\"
$ echo 'hi,"lisi"' | jq -R 'tojson' -r
"hi,\"lisi\""
#将\"转成"
$ echo '"hi,\"lisi\""' | jq -R 'fromjson' -r
hi,"lisi"
#json属性值里是json内容，不知你有没有遇到过这种蹩脚设计
$ echo '{"code":200,"data":"{\"id\":1,\"name\":\"lisi\"}"}' | jq '.data=(.data|fromjson)'
{
"code": 200,
"data": {
"id": 1,
"name": "lisi"
}
}
unicode编码#
开发时，也经常需要在汉字与\u4f60形式之间转换，下面这些命令就很有用了。
#unicode解码
$ echo -e '\u4f60\u597d'
你好
$ echo $'\u4f60\u597d'
你好
$ echo '\u4f60\u597d'|sed 's/\\u//g'|xxd -r -ps|iconv -f ucs-2be
你好
#unicode编码
$ echo -n '你好'|iconv -t ucs-2be|xxd -ps|sed -E 's/.{4}/\\u&/g'
\u4f60\u597d
#转换文件编码为utf8，也很有用
enconv -L zh_CN -c -x UTF-8 file.txt
生成随机密码#
#生成随机密码
$ openssl rand -hex 16
fb9f47a7ebad6bd77be332d6b3a0bc0b
$ cat /dev/urandom |head -c 16|xxd -ps
eb297181cad546210a00118d543b78bf
$ cat /dev/urandom |tr -dc A-Za-z0-9 |head -c 32
V1NB2Oc1mCJ3mNfofDZCQB68dRde30Xz
#生成10以内随机数
awk -v b=$(cat /dev/urandom|tr -dc 0-9|head -c 9) 'BEGIN{srand(b);print int(rand()*10)}'
cat /dev/urandom|head -c 4|od -An -t u4 --endian=big|awk '{print int($1/2^32*10)}'
#生成uuid
$ uuidgen
7b45c1c2-0533-45e5-9903-802ee58b6638
ip地址转数字#
众所周知，ip地址实际是一个4字节的数字，如果把ip以数字的形式保存在数据库中，可以节省空间。
#ip转数字
$ echo 192.168.0.1|tr . '\n'|xargs printf "%02X"|xxd -r -ps|od -An -t u4 --endian=big
3232235521
#数字转ip
$ printf "%08X" 3232235521|xxd -r -ps |od -An -t u1
192 168 0 1
进制转换#
#printf可以实现十进制到十六进制的转换
$ printf "%08X" 3232235521
C0A80001
#bc可以实现任意进制之间互转
$ echo C0A80001|sed 's/^/obase=10;ibase=16;/g'|bc
3232235521
$ echo C0A80001|sed 's/^/obase=2;ibase=16;/g'|bc
11000000101010000000000000000001
查看ascii#
#直接查看man文档
man ascii
#用od查看
printf "%0.2X" {0..127}| xxd -r -ps | od -t x1d1ca
搜索内容#
在搜索日志时，tac通常比cat更有用，比如我们搜索最近产生的10次异常。
tac app.log|grep -iw -B 20 -m 10 'exception'|tac
另外，当不知道要找的内容在当前目录下的那个文件中时，应该优先使用grep -rn搜索一把，比如忘记了tomcat的端口在哪配置。
grep -rn -w 8080 .
查看进程日志#
当你进入一个陌生的服务器环境，不知道java进程产生的日志文件在哪，与其问别人，不如直接自己找。
#使用lsof
pid=`pidof java`
lsof -p $pid|grep .log$
#lsof不可用时，试试这个
ls -l /proc/$pid/fd |grep .log$
反向shell#
有时，需要别人帮忙排查问题，但又不想把服务器密码告诉别人，这时可以给别人一个反向shell。
#获取shell端
socat file:`tty`,rawer TCP-LISTEN:9999,bind=0.0.0.0,reuseaddr,keepalive,keepcnt=3,keepidle=600,keepintvl=600,pf=ip4
#给出shell端
nohup socat system:'stty rows 63 columns 207;bash -li',pty,stderr,setsid,sigint,sane,ctty TCP:192.168.0.1:9999 &
统计行数#
# 统计行数
wc -l
sed -n '$='
# 分组统计行数
uniq -c
生成连续时间片#
生成连续时间片，一般用在脚本中，比如查询一年的数据量，当数据量很大时，直接查询是出不来结果的，这时可以把1年拆成1天天的，让查询1天天的跑。
如下，1年拆成1天天时间范围的sql，丢到mysql命令里慢慢查。
generate_day_range(){
seq $(date -d '2022-01-01' +%s) $((24*3600)) $(date -d '2022-02-01' +%s) | sed '1!{$!p}' | paste - -
}
query_one_day(){
begin_time=$(date -d "@$1" +'%F %T')
end_time=$(date -d "@$2" +'%F %T')
sql="select count(*) from order where create_time >= '${begin_time}' and create_time < '${end_time}'; ";
echo "$sql"
mysql -N -e "$sql"
}
export -f query_one_day
generate_day_range | xargs -l -P2 bash -c 'query_one_day "$@"' -
pv显示进度与速度控制#
长时间运行的脚本，看不到进度让人很着急，于是就有了pv命令。
如cp命令，本身没有显示进度功能，复制大文件干瞪眼，这时可以使用pv命令代替。
pv file1 > file2
如上节查询1年数据量的脚本，要查看执行进度，只需要在mysql命令前放入pv命令即可。
generate_day_query_sql(){
fmt='select count(*) from order where create_time >= "%s" and create_time < "%s"; \n';
seq 0 $1 \
|xargs -i date -d "2021-01-01 00:00:00 {} days" +'%F %T' \
|sed '1!{$!p}' \
|paste - - \
|awk -F'\t' -v fmt="$fmt" '{printf fmt,$1,$2}'
}
# -l表示计算流过pv的行数，pv默认计算流过的字节
# -s指定总行数，这样每一行文本流过pv，pv就能计算出当前进度了
generate_day_query_sql 365 | pv -l -s 365 | mysql -vvv
pv还能用来控制速度，这样就能避免脚本把数据库查挂了。
# -L 2表示文本流过速度不超过每秒2行
generate_day_query_sql 365 | pv -l -s 365 -L 2 | mysql -vvv
对比表结构#
相同系统，不同环境的数据库，保持一致表结构其实是比较困难的，当需要找出他们的不同点时，尽量不要一个个字段去对比，效率太低了。
#导出db1中所有表名
echo 'show tables' | mysql --skip-column-names -D db1 > table_names.txt
#导出db1与db2的表结构
cat table_names.txt | sed 's/.*/show create table &;/' | tee >(mysql -D db1 > db1_tables.txt) >(mysql -D db2 > db2_tables.txt)
#恢复换行符
sed -i 's/\\n/\n/g' db1_tables.txt db2_tables.txt
#对比表结构
icdiff db1_tables.txt db2_tables.txt
总结#
可以将这些工具命令添加为Linux别名，用熟练后，你会发现你根本离不开它。
往期内容#
Linux文本命令技巧(下)
Linux文本命令技巧(上)
原来awk真是神器啊
不容易自己琢磨出来的正则表达式用法
好用的parallel命令
常用网络命令总结