小编点评

**1. 创建killscirpt和startscript脚本** ```bash # killscirpt.sh kill -9 service_name &> /dev/null # startscript.sh nohup -m -n service_name &> /dev/null ``` **2. 修改脚本启动脚本和参数** * 在 `killscript` 中添加以下命令： ```bash trap 'kill -9 $! && sleep 5; exit;' exit ``` * 修改 `startscript` 中的命令： ```bash trap 'trap -e exit; nohup ./checkgctime &> /dev/null &' exit ``` **3. 编写主脚本** ```bash #!/bin/bash # 监控 GC 的次数 while true; do gclog=/myapp/gclog.log gclogbackup=/myapp/gclog_${now}.log" count=0 # 读取 GC log 的内容 while IFS= read -r line; do if [[ "$line" =~ ^# ]] ; then continue fi if [[ "$line" =~ ^timeinfo ]] ; then timeinfo="$line" fi if [[ "$line" =~ ^ERGONOMICS ]] ; then count=$((count+1)) fi done # 检查最近 3 分钟内的 ERGONOMICS FULL GC 数额超过 2 次 if [[ $count -gt 2 ]]; then scp -rp "$gclog" "$gclogbackup" echo "关闭服务, 等待五秒钟重启,请自行维护脚本" /deploy/killscript sleep 5 echo "重启服务, 请自行维护脚本" /deploy/startscript fi # 循环检查 sleep 10 done ``` **4. 测试验证** * 在 `startgctime` 中添加以下命令： ```bash nohup ./checkgctime &> /dev/null & ``` * 运行脚本并确保它正常运行。 **注意** * 这是一种基本的示例，需要根据实际情况进行调整。 * 请确保脚本具有足够的权限，并进行严格的测试验证。

正文

遇到疯狂GC时进行判断然后重启服务的方法-GPT学习使用之三

---

背景

最近怀疑产品遇到了第三方组建的bug
Groupdocs转换渲染某些文件时出现了严重的FullGC的情况
而且出现的奇怪的功效学GC
ergonomics 的提示
因为不好发现, 所以同事想通过遇到异常时自动进行重启来暂时规避这个问题. 

因为这个服务仅是一个文档转换和预览, 可以不用考虑太多的数据一致性等问题
所以周末时间想着帮忙写一写

---

思路

利用jvm的 +XX:printgc 的配置将gc日志打印出来.
然后分析GClog, 判断最近三分钟,如果有两次ergonomics的fullGC处理就重启服务. 
如果没有就继续循坏. 
每十秒钟执行一次判断与循环.

---

脚本编写过程-1

第一步. 增加killscirpt和startscript
便于关闭和启动服务. 可以在killscript 之前增加抓取dump或者是jstack的脚本. 
启动脚本里面可以增加日志的备份脚本. 

第二步. 编写主脚本.分析gclog日志.循环判断full GC产生的日期. 
如果是在最近几分钟内则 数据 +1 然后判断大于两次, 执行第一步的脚本. 

第三步. 设置脚本启动,循环判断.

---

脚本编写过程-2

神通数据库的李诺帆老师推荐了edge的webtag的GPT插件
可以通过这个插件获取一些编写脚本的简单处理

效果如图示: 

---

---

脚本内容

#! /bin/bash
#备注: 本脚本的用途是每20秒判断gclog内GC的次数, 如果ergonomics的gc次数在3分钟内超过2次,那么执行重启操作. 
#需要严格注意本脚本的使用, 必须修改好脚本的启动脚本, 配置参数, 时间间隔等. 
#必须严格进行测试, 不要随意上生产. 
while true
do
interval=20
now=`date +%Y%m%d%H%M`
timeinfo=`date -d '-3 min' +%s`
#timeinfo=`date -d '-10 days' +%s`
gclogfile="/myapp/gclog.log"
gclogbackup="/myapp/gclog_${now}.log"
count=0
for num in $(for i in `cat /myapp/gclog.log |grep -i ergonomics  |awk '{print $1}' |awk -F + '{print $1}'`; do echo  ` date -d ${i} +%s` ; done)
do
  if [ $num -gt $timeinfo ]
  then
      ((count++))
  fi
done
echo "最近周期内的ergonomics的GC次数为:  $count"
if [ $count -gt 2 ]
then
  scp -rp $gclogfile $gclogbackup
  echo "" > $gclogfile
  echo "关闭服务, 等待五秒钟重启,请自行维护脚本"
  /deploy/killscript 
  sleep 5
  echo "重启服务,请自行维护脚本"
  /deploy/startscript 
fi
sleep $interval
done

---

进行监控与处理

编写脚本为 checkgctime
然后chmod +x checkgctime
然后 nohup ./checkgctime & 

进行测试验证. 
注意务必要进行严格测试, 避免出现安全隐患

GPT能够帮自己使用语法, 但是很多思路还是需要自己串联
他给出的脚本,大部分都很初级, 可能无法彻底实现自己的业务场景.