MySQL运维1-日志

mysql,日志 · 浏览次数 : 67

小编点评

**错误日志** * 错误日志是 MySQL 中最重要的日志之一,记录了当 MySQL 启动和停止时,以及服务器在运行过程中发生的任何严重错误时的相关信息。 * 当数据库出现任何故障导致无法正常使用时,建议首先查看此日志。 **二进制日志** * 2.1 二进制日志记录了所有 DDL (数据定义语言) 和 DML (数据操作语言) 语句,但不包括数据查询 (select, show) 等语句。 * 2.2 作用灾难时的数据恢复 MySQL 主从赋值,在 MySQL 8 版本中,默认的二进制日志是开启的,可以通过 `show variables like \"%log_bin%\"` 查看具体的日志位置。 * 2.3 日志格式 * STATEMENT:基于 SQL 语句的日志记录,记录的是 SQL 语句,对数据进行修改的 SQL 会记录在日志文件中。 * ROW:基于行的日志记录,记录的是每一行的数据变更。 * MIXED:混合了 STATEMENT 和 ROW 两种格式,默认采用 STATEMENT,在某些特殊情况下会自动切换为 ROW 进行记录。 * 2.4 修改日志格式 要修改日志格式,需要在 MySQL 的配置文件设置 `binlog_format = \"XXXX\"`,然后重启 MySQL即可。 * 2.5 日志查看 由于日志是以二进制方式存储的,不能直接读取,需要通过二进制日志查询工具 `mysqlbinlog` 来查看,具体语法:`mysqlbinlog [options] logfilename` * 2.6 基于 ROW 的 binlog 示例 说明 1:默认 `binlog_fromat` 为 ROW 模式的情况下,我们查看 `binlog`日志的时候要加上 `-v` 参数即:`mysqlbinlog -v binlog.000033` 说明 2:基于 ROW 的 binlog日志是,记录的每一行的变化。 * 2.7 基于 STATEMENT 的 binlog 示例 说明 1:同样再次修改 `age` 数据 说明 2:基于 STATEMENT 的 binlog日志,记录的 SQL 语句的变化而不是,每一行的变化 **慢查询日志** * 慢查询日志记录了所有执行时间超过 `long_query_time` 设置值,以及扫描记录数不小于 `min_examined_row_limit` 的所有 SQL 语句的日志。 * `long_query_time` 默认是 10 秒,最小为 0,精度可以到微秒。 * 通过 MySQL 配置是否开启慢查询日志,配置后重启 MySQL即可生效。

正文

一、错误日志

  错误日志是MySQL中最重要的日志之一,它记录了当MySQL启动和停止时,以及服务器在运行过程中发生的任何严重错误时的相关信息,当数据库出现任何故障导致无法正常使用时,建议首先查看此日志

  错误日志默认是开启的,默认存在目录/var/log/,默认的日志文件名为mysqld.log, 但是这些都是可以配置的,可以通过指令查看日志位置:show variables like ''%log_error%

  

  说明1:我的这里错误日志就不是默认路径也不是默认名称,但是没关系,根据这个变量查询的结果查询就可以了。

  

  

二、二进制日志 

  2.1 二进制日志(binlog)

    记录了所有的DDL(数据定义语言)语句和DML(数据操作语言)语句,但不包括数据查询(select,show)等语句

  2.2 作用

    • 灾难时的数据恢复
    • MySQL的主从赋值,在MySQL8版本中,默认的二进制日志是开启的
    • 通过 show variables like "%log_bin%" 可以查看具体的日志位置

         

    

  2.3 日志格式

    MySQL服务器中提供了多种格式来记录二进制日志,具体格式及特点如下:

    STATEMENT:基于SQL语句的日志记录,记录的是SQL语句,对数据进行修改的SQL都会记录在日志文件中

    ROW:基于行的日志记录,记录的是每一行的数据变更。  (默认)

    MIXED:混合了STATEMENT 和 ROW 两种格式,默认采用STATEMENT, 在某些特殊情况下会自动切换为ROW进行记录

    通过 show variables like "%binlog_format%"; 可以查看

    

  2.4 修改日志格式

    要修改日志格式,需要在MySQL的配置文件设置 binlog_format = "XXXX",然后重启MySQL即可

    

    重启MySQL

    

     修改成功

  2.5 日志查看

    由于日志是以二进制方式存储的,不能直接读取,需要通过二进制日志查询工具 mysqlbinlog 来查看,

    具体语法:mysqlbinlog [options] logfilename

    options选项

      -d:指定数据名称,只列出指定的数据相关操作

      -0:忽略掉日志中的前n行命令

      -v:将行事件(数据变更)重构为SQL语句

      -vv:将行事件(数据变更)重构为SQL语句,并输出注释信息

  2.6 基于ROW的binlog示例 

    

    说明1:默认 binlog_fromat为 ROW 模式的情况下 我们查看binlog日志的时候要加上 -v参数即:mysqlbinlog -v binlog.000033

    

    说明2:基于ROW类型的binlog日志是,记录的每一行的变化。

  2.7 基于STATEMENT的binlog示例

    

    说明1:同样再次修改age数据

    

    说明2:基于STATEMENT类型的binlog日志,记录的SQL语句的变化而不是,每一行的变化   

  2.8 日志删除

    对于比较繁忙的业务系统,每天生成的binlog数据巨大,如果长时间不清楚,将会占用大量磁盘空间,可以通过一下几种方式清理日志

    • reset master :删除全部binlog日志,删除之后,日志编号,将重新从binlog.000001开始
    • purge master logs to 'binlog.xxxxxx':删除xxxxxx编号之前的所有日志
    • purge master logs before 'yyyy-mm-dd HH:MM:SS':删除日志 'yyyy-mm-dd HH:MM:SS'之前产生的所有日志
    • 也可以在MySQL的配置文件中配置二进制日志的过期时间,设置了之后,二进制日期过期会自动删除:show variables like "%binlog_expire_logs_seconds%"; 可以查看

    示例:

    

    说明1:删除binlog.000030编号以前的日志

      

    

    说明2:按照时间点删除

    

    

    说明3:binlog的过期时间单位是秒,默认是30天

三、查询日志

  查询日志中记录了客户端的所有操作语句,而二进制日志不包含查询数据的SQL语句,默认情况下,查询日志是未开启的,如果需要开启查询日志,可以设置一下配置

  

  说明1:general_log 默认是关闭的,可以通过修改MySQL配置文件配置。

  

  说明2:修改好了配置文件要重启MySQL才会生效

  

  

  说明3:对数据库进行数据库查询,表查询,数据更改等操作

  

  说明4:刚才的操作都在查询日志中可以找到。

  说明5:因为该日志记录的内容比较多,在比较繁忙的系统中可以不用启动该日志。

四、慢查询日志

  慢查询日志记录了所有执行时间查过参数long_query_time设置值并且扫描记录数不小于min_examined_row_limit的所有的SQL语句的日志。long_query_time默认为10秒,最小为0,精度可以到微秒

  通过MySQL配置文件可以配置是否开启,配置后重启MySQL即可生效

  

  说明1:默认是关闭的

  

  说明2:修改配置文件 ,然后重启MySQL

  

  说明3:慢查询启动成功 

  

  说明4:这次查询耗时4.02秒

  

  说明5:然后打开慢查询日志就可以查看到这里查询的情况,通过慢查询日志,我们主要是可以定位到那条语句执行比较慢,方便我们做精准的SQL优化 

与MySQL运维1-日志相似的内容:

MySQL运维1-日志

一、错误日志 错误日志是MySQL中最重要的日志之一,它记录了当MySQL启动和停止时,以及服务器在运行过程中发生的任何严重错误时的相关信息,当数据库出现任何故障导致无法正常使用时,建议首先查看此日志 错误日志默认是开启的,默认存在目录/var/log/,默认的日志文件名为mysqld.log, 但

MySQL运维2-主从复制

一、主从复制概念 主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从服务器中,然后在从服务器上对这些日志重新执行也叫重做,从而使得从数据库和主库的数据保持同步。 MySQL支持一台主库同时向多台从库进行赋值,从库同时也可以作为其他从服务器的主库,实现链式复制。 一般主服务器我们叫Mast

[转帖]第六章 日志管理

第六章 日志管理 https://www.jianshu.com/p/e0d95da89fee 本课程,适合具备一定Linux运维或者开发基础的朋友,课程定级中、高级DBA。只要掌握80%,轻松助力薪资15k-25K。课程内容均来自与MySQL官网+MySQL源码。配套精品视频(2021 5月全新录

[转帖]Mysql DBA运维命令大全

Mysql DBA运维命令大全 https://www.modb.pro/db/97499 中国DBA联盟(ACDU)成员,目前从事DBA及程序编程(Web\java\Python)工作,主要服务于生产制造 现拥有 Oracle 11g OCP/OCM、Mysql、Oceanbase(OBCA)认证

[转帖]Redis 运维实战 第01期:Redis 复制

https://cloud.tencent.com/developer/article/1986816 作者简介 马听,多年 DBA 实战经验,对 MySQL、 Redis、ClickHouse 等数据库有一定了解,专栏《一线数据库工程师带你深入理解 MySQL》作者。 从这篇文章开始,将出几期 R

[转帖]MySQL 内存泄露怎样检查

MySQ使用内存上升90%!在运维过程中50%的几率,会碰到这样的问题。算是比较普遍的现象。 MySQL内存使用率过高,有诸多原因。普遍的情况是因为使用不当导致的,还有mysql本身的缺陷的导致的。到底是那方面的问题,那就需要一个一个进行排查。 下面介绍排查思路: 1.参数配置需要确认。是否内存设置

[转帖]第一章 MySQL 8.0 介绍及安装配置

第一章 MySQL 8.0 介绍及安装配置 https://www.jianshu.com/p/d190c6b3520d 本课程,适合具备一定Linux运维或者开发基础的朋友,课程定级中、高级DBA。只要掌握80%,轻松助力薪资15k-25K。课程内容均来自与MySQL官网+MySQL源码。配套精品

[转帖]第二章 MySQL的体系结构与基础管理

第二章 MySQL的体系结构与基础管理 https://www.jianshu.com/p/6d017ac5e685 本课程,适合具备一定Linux运维或者开发基础的朋友,课程定级中、高级DBA。只要掌握80%,轻松助力薪资15k-25K。课程内容均来自与MySQL官网+MySQL源码。配套精品视频

[转帖]第五章 MySQL 存储引擎

第五章 MySQL 存储引擎 https://www.jianshu.com/p/d12191803f17 本课程,适合具备一定Linux运维或者开发基础的朋友,课程定级中、高级DBA。只要掌握80%,轻松助力薪资15k-25K。课程内容均来自与MySQL官网+MySQL源码。配套精品视频(2021

Exception: HOUR_OF_DAY: 0 -> 1

解决方案 将mysql链接中配置的 serverTimezone=Asia/Shanghai 改为 serverTimezone=GMT%2B8 Asia/Shanghai与GMT-8的区别 开发和运维经常见到的Asia/Shanghai与GMT-8的是什么意思呢? GMT-8是东八区,北京时间和东