[转帖]Shell 脚本实现应用服务日志入库 Mysql

shell,脚本,实现,应用服务,日志,入库,mysql · 浏览次数 : 0

小编点评

**Shell 脚本工具用于将错误日志信息入库到 mysql 表中** ```shell # Set MySQL configuration parameters hostName="l-beta.io" dbPort=3306 dbUser="beta" dbPassword="123456" dbName="test_log" tableName="beta_error_log_record" # Enter a infinite loop to process files in the base directory while true; do # Loop through files in the base directory for name in `ls -v "$base"`; do # Determine if it's a directory if -d "$base/$name"; then # Define the previous minute's time before=`date -d "-\d{1,2} minute" "$base/$name/logs/catalina.out"` # Extract exception and error logs from the file result=`grep -C5 "^\d{1,2} Exception:\s*$result$" "$base/$name/logs/catalina.out" | grep -vE "DEBUG|skywalking|10.8.0.37:8800"` # Remove leading and trailing whitespace from the result result="$(sed -E 's/\\'/\\\"/g' "$result")" # Skip this loop if there is no result if -z "$result"; then continue fi # Insert the log entry into the database insert_sql = "insert into $tableName ($env, project_name, content) values('$env', '$name', '$result')" echo "$insert_sql" > tmp.sql echo "****************start*************" echo "$insert_sql" echo "****************end************" fi done # Sleep for 60 seconds before continuing sleep 60s done ``` **公众号信息** * **无量测试之道**公众号：关注大数据测试、功能测试，测试开发，API接口自动化、测试运维、UI自动化测试等领域。 * **Python编程学习资源**：免费送 Python 编程学习资源，包括 Python、Appium、Selenium、Unittest 等框架的学习资源。

正文

今天给大家分享一个 shell 脚本工具，通过 shell 脚本与 mysql 的结合，将某个具体服务的错误输出日志入库到指定的 mysql 表中，以便于进行错误问题的定位与分析。

日常工作中，经常需要和 linux 系统打交道，例如：服务部署、日志和服务状态查看等，而 shell 脚本是和 linux 交互的一种常见方法。以下代码实例为在 shell 脚本中嵌入 mysql 配置信息将错误日志信息落入到数据库中。

shell脚本如下：

#!/usr/bin/env bash hostName="l-beta.io"dbPort=3306dbUser="beta"dbPassword="123456"dbName="test_log"tableName="beta_error_log_record"env="test1" base="/home/q/www" #进入死循环while [[ 1 ]]; do    #循环去遍历base目录下的文件夹，-vE 后面两个是要排除掉的项    for name in `ls $base | grep -vE "default|genesis"`;    do        #echo $base/$name        #判断是否是目录        if [[ -d $base/$name ]]; then           #定义当前时间的前一分钟，用于对日志内容进行过滤匹配使用           before=`date -d "-1 minute" "+%Y-%m-%d %H:%M:"`           # echo "Watching log $name in $before"           #过滤获取对应目录下的catalina.out文件中的上一分钟的Exception and Error日志           result=`grep -C5 "$before" $base/$name/logs/catalina.out | grep -vE "DEBUG|skywalking|10.8.0.37:8800" | grep -C5 -E "Exception|ERROR" | sed $'s/\'/\"/g' `           #如果result为零就跳过本次循环           if [[ -z "$result" ]]; then                continue;           fi           echo "-------------------------->"           #拼接insert sql 语句           insert_sql="insert into $tableName (environment,project_name,content) values('$env','$name','\n\nException:\n\n$result')"           echo $insert_sql > tmp.sql           echo "***********start*************"           echo $insert_sql           #开始执行sql语句           mysql -h$hostName  -P$dbPort  -u$dbUser -p$dbPassword $dbName -e "source tmp.sql"           echo "************end************"        fi    done    #输入休眠60s    echo -e "sleep 60 seconds\n"    sleep 60sdone
复制

以上 shell 脚本中关键信息都标有对应的注释，如需实操，可将 mysql 对应的配置信息及监控的日志服务路径进行更改和替换为目标信息即可。

欢迎关注【无量测试之道】公众号，回复【领取资源】
Python编程学习资源干货、
Python+Appium框架APP的UI自动化、
Python+Selenium框架Web的UI自动化、
Python+Unittest框架API自动化、
资源和代码免费送啦~
文章下方有公众号二维码，可直接微信扫一扫关注即可。

备注：我的个人公众号已正式开通，致力于测试技术的分享，包含：大数据测试、功能测试，测试开发，API接口自动化、测试运维、UI自动化测试等，微信搜索公众号：“无量测试之道”，或扫描下方二维码：

在这里插入图片描述
添加关注，让我们一起共同成长！

文章知识点与官方知识档案匹配，可进一步学习相关知识

CS入门技能树Linux入门初识Linux32800 人正在系统学习中