正文
使用shell进行简单分析增量更新时间的方法
思路
产品里面更新增量时耗时较久,
想着能够简单分析下哪些补丁更新时间久
哪些相同前缀的补丁更新的时间累积较久.
本来想通过全shell的方式进行处理
但是有一部不太会用 就用上了excel的数据列处理
为了防止自己忘记, 这里简单总结一下.
获取所有的补丁更新记录
第一步获取更新日志- 注意本方法建议仅进行一次完整更新的时间分析.
我们的日志一般是会进行拆分和打包.
分析的方法为
第一步解压缩
第二步按照时间进行文件排序
cat test1 > all.txt
cat test2 >> all.txt
就可以归集到一个文件中来
然后可以查看文件内容,如果前面大部分都是应用升级, 没必要分析时间
可以使用 vim 打开all.txt 然后的命令模式下输入 /databaseschemas 的方式
过滤到具体哪一行开始更新数据库.
然后输入 :set nu 查看具体的函数
tail -n +行数 all.txt >all2.txt
清理不需要分析的部分日志.
保留必须要分析的日志文件.
原始文件第一次分析
log=/log/oscartime2
ip=10.110.139.181
code=xxxx
# 初始化记录文件
echo "">/deploy/Patchinstalltime.txt
# 获取每个补丁的更新时间 单位为秒数, 精确到秒, 不包括毫秒数
grep -E "开始安装补丁|补丁安装完成" $log |grep -Ev "$ip|$code|请自行启动服务" | awk '{print $6 " " $2}' |cut -c 8- |awk '{print $2}' |cut -c -8 |awk -F ":" '{print $1*3600+$2*60+$3}' >/deploy/timesource.txt
cat /deploy/timesource.txt | awk 'NR%2{p=$1;next}{print ($1-p)}' >/deploy/time.txt
# 按照更新顺序获取更新过的补丁列表
grep "开始安装补丁" $log |awk '{print $6}' |cut -c 8- >/deploy/code.txt
# 备份文件
checkstat=`grep -E "开始安装补丁|补丁安装完成" $log |grep -Ev "$ip|$code" | head -n 1 |grep 补丁安装完成 |wc -l`
if [ $checkstat -eq 1 ]; then
echo "文件的开始不是补丁开始安装而是已经安装完成,所以需要删除第一行数据"
sed "1d" -i /deploy/timesource.txt
fi
cat /deploy/timesource.txt | awk 'NR%2{p=$1;next}{print ($1-p)}' >/deploy/time.txt
scp /deploy/time.txt /deploy/time_back.txt
scp /deploy/code.txt /deploy/code_back.txt
# 获取补丁数量,这数字为补丁数量乘以2 应用一次 数据库一次
j=`cat /deploy/time.txt |wc -l`
echo "本次待分析的补丁共计: "$j "个"
i=1
# 获取每个补丁的更新时间.
while [ $i -le $j ]
do
#echo $i
t1=$(sed -n "1p" /deploy/code_back.txt)
t2=$(sed -n "1p" /deploy/time_back.txt)
t="$t1的更新时间为: $t2"
echo $t >>/deploy/Patchinstalltime.txt
sed "1d" -i /deploy/time_back.txt
sed "1d" -i /deploy/code_back.txt
i=$[$i+1]
done
cat /deploy/Patchinstalltime.txt |sort -k2hr >/deploy/PatchinstalltimeOrder.txt
echo "分析补丁更新时间的原始文件为:" "/deploy/Patchinstalltime.txt"
echo "分析补丁更新时间的原始文件为经过排序为:" "/deploy/PatchinstalltimeOrder.txt"
使用excel进行分析
可以将第一步处理好的文件使用excel打开
注意分隔符需要使用 :
然后建议多复制几行 时间, 然后拆分补丁名称
选中补丁名称列, 然后打开数据 工具栏
进行分栏 处理
可以使用 2 进行分栏 指代 2022年中第一个2字
然后前面的就是补丁模块信息
再将HB 置换成 null 就是补丁模块名称了.
然后再将结果转储到一个文件就可以进行下一步的处理.
使用awk第三次分析
awk '{sum[$1]+=$2}END{for(c in sum){print c,sum[c]}}' raw2 >raw3.txt
cat raw3.txt |sort -k1h >finaltime.txt
直接使用shell脚本进行模块更新时间统计
j=`cat /deploy/PatchinstalltimeOrder.txt |wc -l`
echo "本次待分析的补丁共计: "$j "个"
i=1
scp /deploy/PatchinstalltimeOrder.txt /deploy/Patchmoduletest.txt
echo " " > /deploy/patchmoduletime.txt
sed -i "s/HB202/#/" /deploy/Patchmoduletest.txt
sed -i "s/202/#/" /deploy/Patchmoduletest.txt
while [ $i -le $j ]
do
#echo $i
patchmodule=$(cat Patchmoduletest.txt |awk 'BEGIN{FS="#"}NR==1{print $1}')
patchtime=$(cat Patchmoduletest.txt |awk 'BEGIN{FS=":"}NR==1{print $2}')
echo $patchmodule $patchtime >> /deploy/patchmoduletime.txt
sed "1d" -i /deploy/Patchmoduletest.txt
i=$[$i+1]
done
awk '{sum[$1]+=$2}END{for(c in sum){print c,sum[c]}}' /deploy/patchmoduletime.txt |sort -k2hr >/deploy/patchmodulefinal.txt
echo "按照模块统计分析的时间为: /deploy/patchmodulefinal.txt"
