MySQL高级10-InnoDB引擎存储架构

InnoDB,架构,MySQL,存储 · 浏览次数 : 59

小编点评

## MySQL 数据结构与技术总结 **1. 数据结构** * Doublewrite Buffer Files:用于提高数据保护和恢复机制。 * Redo Log:用于实现事务的持久性和恢复能力。 * InnoDB存储引擎:用于存储数据库数据。 **2. 技术** * MySQL配置:用于设置各种参数。 * 数据库操作:用于读写数据。 *事务:用于实现数据库中的数据一致性。 * Redo Log:用于记录数据修改操作。 * InnoDB存储引擎:用于存储数据库数据。 **3. 性能** * 使用双写缓冲区文件可以减少数据损坏和IO不一致性。 * 使用Redo Log可以减少数据修改操作的IO操作。 * 合理调整Redo Log的大小和I/O性能可以提升数据库性能。 **4. 常见问题** * 数据结构中的Doublewrite Buffer Files可能导致频繁的刷新和IO延迟。 * Redo Log记录的逻辑操作可能导致性能问题。 * 在使用Redo Log时,需注意I/O性能和内存空间。 **5. 建议** * 在设置MySQL参数时,应考虑性能影响。 * 使用事务和Redo Log来实现数据一致性。 * 优化数据结构和数据库操作,以提升性能。

正文

一、逻辑存储结构

  

  表空间(Tablespace):一个mysql实例,及一个数据库实例,可以对应多个表空间(ibd文件),用于存储记录,索引等数据。

  

  段(Segment):分为数据段(Leaf node segment)、索引段(Non-leaf node segment)、回滚段(Rollback segment),InnoDB是索引组织表,数据段就是B+树的叶子节点(Leaf node segment),索引段即为B+树的非叶子节点(Non-leaf node segment)。段用来管理多个Extent(区)。

  

 

  区(Extent):表空间的单元结构,每个区的大小为1M, 默认情况下,InnoDB存储引擎页大小为16k,即一个区中一共有64个连续的页

  页(Page):页是InnoDB存储引擎磁盘管理的最小单元,每个页大小默认为16K,为了保证页的连续,InnoDB存储引擎每次从磁盘申请4-5个区

  行(Row):InnoDB存储引擎数据是按行进行存放的,Trx_id:每次对某条记录进行改动时,都会把对应的事务id赋值给这个trx_id隐藏列。Roll_pointer:每次对某条记录进行改动时,都会把旧的版本写入到undo日志中,然后这个隐藏列就相当于一个指针,通过它可以找到该记录修改前的信息

 

二、整体架构

  MySQL5.5 版本开始,默认使用 InnoDB 存储引擎,它擅长事务处理,具有崩溃恢复特性,在日常开发中使用非常广泛,下面是 InnoDB 架构图,左侧为内存架构,右侧为磁盘架构。 

  

 

 

三、内存结构

   

  内存架构中主要分为:Buffer Poll(内存缓冲池)、Change Buffer()、LogBuffer()、Adaptive Hash Index()四个区。

  3.1 Buffer Pool

    缓冲池是主内存中的一个区域,里面可以缓存磁盘上经常操作的真实数据,在执行增删改查操作时,先操作缓冲池中的数据,若缓冲池没有数据,则从磁盘加载并缓存,然后再以一定频率刷新到磁盘,从而减少磁盘IO,加快出来速度。缓冲池以Page页为单位,底层采用链表数据结构管理Page,根据状态可以将Page分为三种类型。

    • free page:空闲Page,未被使用。
    • clean page:被使用page,数据没有被修改过。
    • dirty page:脏页,被使用page,数据被修改过,其中数据与磁盘上的数据产生了不一致。

  3.2 Change Buffer

    更改缓冲区,针对与非唯一二级索引页,在执行DML语句时,如果这些数据Page没有在Buffer Pool中,不会直接操作磁盘,而是将数据变更存在更改缓冲区Change Buffer中,在未来数据被读取时,再将数据合并恢复到Buffer Pool中,再讲合并后的数据刷新到磁盘中。

    Change Buffer的意义:与集聚索引不同,二级索引通常是非唯一的,并且以相对随机的顺序插入二级索引,同样,删除和更新都可能会影响索引树中不相邻的二级索引页,如果每一次都操作磁盘,会造成大量的磁盘IO,有了Change Buffer之后,我们可以在缓冲池中进行合并处理,减少磁盘IO

  

  3.3 Adaptive Hash index

    自适应hash索引,InnoDB默认是不支持hash索引的,默认支持的是B+树的索引。因为hash索引不支持范围查找,仅可以用来做值匹配查找。但是自适应hash索引,用于优化对Buffer Pool数据的查询。InnoDB存储引擎会监控对表上各项索引页的查询,如果观察到hash索引可以提升速度,则建立hash索引,称之为自适应hash索引。

    自适应哈希索引,无需人工干预,是系统根据情况自动完成。通过 innodb_adaptive_hash_index 参数可以配置自适应hash索引的开启和关闭。 

mysql> show variables like "%innodb_adaptive_hash_index%";
+----------------------------------+-------+
| Variable_name                    | Value |
+----------------------------------+-------+
| innodb_adaptive_hash_index       | ON    |
| innodb_adaptive_hash_index_parts | 8     |
+----------------------------------+-------+
2 rows in set (0.00 sec)

  3.4 Log Buffer

    日志缓冲区,用来保存要写入到磁盘中的log日志(redolog,undolog),默认大小为16M, 日志缓冲区的日志会定期刷新到磁盘中,如果需要更新、插入或者删除许多行的事务,增加日志缓冲区的大小可以节省磁盘i/o

    通过 innodb_log_buffer_size 参数可以查看缓冲区大小

    通过 innodb_flush_log_at_trx_commit 参数可以查看刷新到磁盘时机。这里有0,1,2三个值:

      • 0:每秒将日志写入并刷新到磁盘一次。
      • 1:日志在每次事务提交时写入并刷新到磁盘。
      • 2:日志在每次事务提交后写入,并每秒刷新到磁盘一次。
mysql> show variables like "innodb_log_buffer_size";
+------------------------+----------+
| Variable_name          | Value    |
+------------------------+----------+
| innodb_log_buffer_size | 16777216 |
+------------------------+----------+
1 row in set (0.00 sec)

mysql>   show variables like "%flush_log%";
+--------------------------------+-------+
| Variable_name                  | Value |
+--------------------------------+-------+
| innodb_flush_log_at_timeout    | 1     |
| innodb_flush_log_at_trx_commit | 1     |
+--------------------------------+-------+
2 rows in set (0.00 sec)

 

四、磁盘架构  

   

  4.1 System Tablespace  

    在MySQL中,System Tablespace(系统表空间)是一个用于存储系统表和一些特殊表的默认表空间。系统表空间包含了以下几个重要的系统表:

    • mysql.user:存储了MySQL中的用户和权限信息。
    • mysql.db:存储了所有数据库的信息。
    • mysql.host:存储了允许连接到MySQL服务器的主机信息。
    • mysql.tables_priv:存储了表级别的权限信息。
    • mysql.columns_priv:存储了列级别的权限信息。

    系统表空间还包含其他系统表,用于存储MySQL服务器的配置和元数据信息。
    系统表空间默认存储在名为`ibdata1`的共享文件中。这个文件通常位于MySQL的数据目录下。

    

    要注意的是,在InnoDB存储引擎中,除了系统表空间(System Tablespace),还存在一个叫做表空间文件(Tablespaces)的概念。表空间文件用于存储用户创建的表和索引。每个InnoDB表都会有一个对应的表空间文件。
    需要注意的是,有时候系统表空间的大小会超过预期,导致空间不足或性能问题。在这种情况下,可以考虑调整系统表空间的大小或进行其他优化措施以解决问题。
    总结:系统表空间是MySQL中用于存储系统表和特殊表的默认表空间,包含了一些重要的系统表,通常存储在名为`ibdata1`的共享文件中。

  4.2 File-Per-Table Tablespace

    

    File-Per-Table Tablespace(每个表一个表空间)是MySQL中的一个存储配置选项,它允许每个InnoDB表使用单独的表空间文件来存储数据和索引。这与默认情况下的系统表空间不同。

    在默认情况下,所有的InnoDB表共享一个系统表空间,即存储在ibdata1文件中。而使用File-Per-Table Tablespace选项,每个InnoDB表都会有一个独立的表空间文件,位于数据目录下。

    File-Per-Table Tablespace的优点包括:

    • 管理:每个表有自己的表空间文件,方便管理和维护。可以更方便地备份、恢复或迁移单个表。
    • 性能:每个表具有独立的表空间文件,可以在磁盘上更好地分布和组织数据,提高性能和并发访问的能力。
    • 存储空间:使用File-Per-Table Tablespace可以更有效地使用存储空间。当有大量小表或经常进行删除和重建表时,每个表的表空间文件可以更好地管理空间,避免系统表空间的不断增长。

    File-Per-Table Tablespace的缺点和注意事项包括:

    • 管理复杂性:每个表都会有一个独立的表空间文件,这可能增加了管理的复杂性,包括备份和维护的管理操作。
    • 存储和文件系统:使用File-Per-Table Tablespace可能涉及更多的磁盘IO操作,并可能增加文件系统的碎片化问题。

    使用File-Per-Table Tablespace可以在创建表时进行配置或在现有表上进行更改。要在创建新表时启用File-Per-Table Tablespace,可以在创建表的DDL语句中加上ENGINE=InnoDB选项。要在已有表上启用File-Per-Table Tablespace,可以使用MySQL的ALTER TABLE语句并设置innodb_file_per_table参数为ON。

    总结:File-Per-Table Tablespace是MySQL InnoDB存储引擎的一个选项,允许每个表使用单独的表空间文件存储数据和索引。它提供了更灵活的管理、更好的性能和更高效的存储空间利用率

  4.3 General Tablespaces

    General Tablespaces(通用表空间)是MySQL 5.7版本引入的一个功能,在InnoDB存储引擎中提供了更灵活和更高级的表空间管理选项。 

    通用表空间允许将多个InnoDB表存储在一个或多个共享表空间文件中,而不是每个表都有自己的独立表空间文件(如File-Per-Table Tablespace中)。这些共享表空间文件可以在运行时动态添加或删除新的表。

    通用表空间的优点包括:

    • 简化管理:使用通用表空间可以更方便地管理和维护多个表。可以将相关的表组织在同一个共享表空间中,便于备份、恢复和迁移。
    • 空间效率:通用表空间可以更有效地使用存储空间。多个表可以共享一个表空间文件,避免了为每个表都创建单独的表空间文件的开销。
    • 高性能:由于多个表共享表空间文件,可以提高磁盘IO操作的效率。此外,共享表空间可以利用预读机制(预读相邻页)来提高查询性能。

     使用通用表空间时,可以在创建表时指定TABLESPACE子句来为表分配到指定的共享表空间,也可以使用ALTER TABLE语句将现有表移动到共享表空间中。

     创建通用表空间示例:

mysql> create tablespace my_test add datafile "my_test.ibd" engine=InnoDB;
Query OK, 0 rows affected (0.01 sec)

    

     创建使用通用表空间的表示例:

mysql> create table tablespace_test(id int) tablespace my_test;
Query OK, 0 rows affected (0.03 sec)

    说明1:此时MySQL就不会再给tablespace_test表创建单独的表空间了,而是使用通用表空间my_test.ibd空间

    将现有表移动到通用表空间语法示例:

ALTER TABLE table_name TABLESPACE tablespace_name;

    说明2:`table_name`是要移动的表的名称,`tablespace_name`是要移动到的表空间的名称。    

    删除通用表空间语法示例

ALTER TABLESPACE tablespace_name DROP DATAFILE '<path>/tablespace_file.ibd';

    说明3:`tablespace_name`是要删除的表空间的名称,`<path>/tablespace_file.ibd`是要删除的表空间文件的路径和文件名。

  4.4 undo Tablespace

    在MySQL中,"undo tablespace"(撤销表空间)是用于存储撤销日志数据的一种特殊类型的表空间。

    撤销日志是 MySQL 中的一项重要功能,用于回滚或撤销事务中所做的更改。当事务执行 UPDATE、DELETE 或 INSERT 操作时,撤销日志记录了被修改或删除的非聚集索引的旧值,以及 INSERT 操作插入的新记录。这些撤销日志记录存储在名为 "undo log" 的数据结构中。

    为了高效地管理和存储撤销日志数据,MySQL引入了 "undo tablespace" 的概念。撤销表空间是一个独立于数据表空间的区域,用于存储撤销日志数据。它可以包含一个或多个文件,这些文件具有固定大小(通常是小于等于1GB)和特定的命名约定,默认的是undo_001和undo_002

    

    撤销表空间的主要作用有以下几个方面:

    • 提供事务的回滚能力:如果一个事务需要回滚,MySQL可以使用撤销表空间中的撤销日志来还原事务执行前的数据状态。
    • 支持并发事务:撤销表空间使得多个事务可以同时进行,并提供了事务隔离级别的支持。
    • 回收空间:当事务完成时,撤销表空间中的撤销日志可以被清除,空间可以被重复使用。

     撤销表空间在MySQL的配置文件(my.cnf或my.ini)中通过innodb_undo_directoryinnodb_undo_tablespaces配置项进行设置。innodb_undo_directory定义了撤销表空间文件的存储目录,而innodb_undo_tablespaces指定了要使用的撤销表空间文件的数量。

    总结:撤销表空间是MySQL中用于存储撤销日志数据的表空间,支持事务的回滚、并发事务和空间回收。

  4.5 Temporary Tablespace

    在MySQL中,临时表空间(Temporary Tablespace)是用于存储临时表数据和临时结果集的一种特殊类型的表空间。临时表空间的作用是存储临时表的数据,这些临时表通常是在查询过程中创建的。这些临时表可能包括临时表名、中间结果集或者用于排序和聚合的临时数据。

    默认情况下,MySQL使用系统表空间(system tablespace)来存储临时表数据。但是,在高并发环境下,使用单个系统表空间可能会导致性能瓶颈。为了提高性能并优化系统资源的使用,MySQL引入了临时表空间的概念。通过为临时表数据分配独立的临时表空间,MySQL可以更好地管理和优化临时表的创建和使用。临时表空间可以在独立的表空间文件中存储临时表数据,这些文件可以位于不同的存储设备上,从而分散了IO负载。

    可以通过以下配置项来设置临时表空间:既可以写在MySQL配置文件中也可以在MySQL交互界面上使用set 指令设置

    -`tmp_table_size`:用于设置每个临时表的内存大小。如果临时表大小超过此值,则会将其存储到临时表空间中。

    -`max_heap_table_size`:用于设置只在内存中存储的临时表的最大大小。

    -`tmpdir`:用于设置临时表空间的目录。

    使用临时表空间可以提升查询性能,减少对系统表空间的负载,并提供更好的系统扩展性和可维护性。

    总结:临时表空间是MySQL中用于存储临时表数据和临时结果集的表空间。它可以提高查询性能,并分散IO负载,提供更好的系统资源利用和扩展性。

  4.6 Doublewrite Buffer Files

    在MySQL中,Doublewrite Buffer Files(双写缓冲区文件)是一种用于提高数据保护和恢复机制的技术。Doublewrite Buffer Files使用了一种双写技术,先将数据写入到双写缓冲区文件,然后再写入到实际的数据文件。这可以减少数据损坏和页级别的IO不一致性的风险。双写缓冲区文件的主要作用是用于在MySQL崩溃或意外断电的情况下,保护InnoDB存储引擎使用的数据页的完整性。
    当InnoDB存储引擎进行写操作时,会先将数据写入到双写缓冲区文件,然后通过后台线程将数据写入到磁盘上的实际数据文件。这样,在发生崩溃或断电时,双写缓冲区中的数据可以用来恢复数据文件的一致性。双写缓冲区文件在重启MySQL时会自动应用并删除。
    双写缓冲区文件的大小由配置参数`innodb_doublewrite_buffer_size` 控制,默认值为`1MB`。可以通过在MySQL配置文件中设置该参数来修改双写缓冲区文件的大小。
    使用双写缓冲区文件的一个潜在问题是会增加写操作的IO负载,因为每个写操作都需要写入两次。为了减少双写带来的性能影响,可以考虑将双写缓冲区文件放置在快速的存储介质上,如SSD。
    总结:Doublewrite Buffer Files是一种用于提高数据保护和恢复机制的技术,通过在写入实际数据文件之前将数据先写入到双写缓冲区文件,来减少数据损坏和页级别的IO不一致性的风险。双写缓冲区文件的大小由配置参数控制,需要在MySQL配置文件中进行配置。

    

  4.7 Redo Log

    在MySQL中,Redo Log(重做日志)是用于实现事务的持久性和恢复能力的关键组件之一。它记录了发生在数据库中的数据更改操作,以确保在系统崩溃或断电时,能够将未完成的事务重新应用到数据库中,以保持数据的一致性。

    Redo Log是循环写入的,意味着当日志文件写满后,会重新从开头开始覆盖之前的日志。所有的修改操作都会先写入到Redo Log,然后异步地刷新到磁盘上的数据文件。这样即使在写操作还未刷新到磁盘上的数据文件时发生崩溃,通过Redo Log的回放可以重新执行未完成的事务,确保数据的持久性。

    Redo Log是以逻辑方式记录的,而不是物理方式。它记录了事务引起的数据修改,而不是实际的数据变化。通过记录这些逻辑操作,MySQL可以在恢复时重新执行所需的操作。

    在MySQL中,Redo Log由两个文件组成,通常为`ib_logfile0`和`ib_logfile1`。这些文件的大小由配置参数`innodb_log_file_size`控制,默认情况下为`48MB`。可以在MySQL配置文件中进行修改。

    使用Redo Log的一个重要注意事项是,写入Redo Log会引起磁盘IO操作,因此对于事务密集型负载,合理调整Redo Log的大小和I/O性能是很重要的。过小的Redo Log可能导致频繁的刷新和IO延迟,而过大的Redo Log可能对内存和磁盘空间带来负担。

    总结:Redo Log是MySQL中用于实现事务的持久性和恢复的关键组件,它记录了数据的修改操作,保证在系统崩溃或断电后,能够重新应用未完成的事务。Redo Log由两个文件组成,通过循环写入的方式记录数据修改。合理调整Redo Log的大小和I/O性能对于数据库性能和持久性是重要的。

    

 

 

与MySQL高级10-InnoDB引擎存储架构相似的内容:

MySQL高级10-InnoDB引擎存储架构

一、逻辑存储结构 表空间(Tablespace):一个mysql实例,及一个数据库实例,可以对应多个表空间(ibd文件),用于存储记录,索引等数据。 段(Segment):分为数据段(Leaf node segment)、索引段(Non-leaf node segment)、回滚段(Rollback

分享10个高级sql写法

本文主要介绍博主在以往开发过程中,对于不同业务所对应的 sql 写法进行归纳总结而来。进而分享给大家。 本文所讲述 sql 语法都是基于 MySql 8.0+ 博主github地址:http://github.com/wayn111 欢迎大家关注,点个star 一、ORDER BY FIELD()

[转帖]Redis的高并发及高可用,到底该如何保证?

https://zhuanlan.zhihu.com/p/404481762 一、redis如何通过读写分享来承载读请求QPS超过10万+ 1、redis高并发跟整个系统的高并发之间的关系 redis,你要搞高并发的话,不可避免,要把底层的缓存搞得很好 mysql,高并发,做到了,那么也是通过一系列

深入MySQL索引,这篇千万不能错过

大家好,我是【码老思】,索引是一个数据库绕不开的话题,今天和大家一起聊聊。 1. 索引 索引是对数据库表中一列或多列的值进行排序的一种结构。 MySQL索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度。索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就

[转帖]Keepalived如何实现Nginx高可用

https://www.jb51.net/article/266305.htm Keepalived安装可参考Mysql+Keepalived实现双主热备 Master上的keepalived.conf 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

一键部署MySQL8+keepalived双主热备高可用

概述 本次的文章会格外的长,网上大多的配置流程已经不可使用,本篇文章可以称为保姆级教程,而且通过shell脚本大大减少了部署mysql主从,双主的工作量。 如上图,VIP地址为192.168.10.100,如果主机192.168.10.129挂了,会自动切换到备机192.168.10.130上,由于

MySQL高级

前言: 本篇文章是本人学习MySQL高级的笔记。 资料:《MySQL是怎样运行的》、《小林Coding-图解MySQL》、《MySQL45讲》、《尚硅谷康师傅MySQL视频》 一、基础篇 1. 什么是关系型数据库? 关系型数据库是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据,一系列的

MySQL高级1-存储引擎

一、Mysql体系结构 1.1、连接层 最上层是一个客户端和链接服务,主要完成一些类似于链接处理,授权认证,及相关的安全方案,服务器也会为安全接入的而每个客户端验证它所具有的操作权限 1.2、服务层 第二层架构主要完成大多数的核心服务功能,如SQL接口,并完成缓存的查询,SQL的分析和优化,部分内置

MySQL高级9-锁

一、简介 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中,除了传统的计算资源(CPU、RAM、i/O)的挣用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性,有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访问性能的一个重要因素,从这个角度来说,锁对

【转帖】《MySQL高级篇》四、索引的存储结构

1. 为什么使用索引 假如给数据使用 二叉树 这样的数据结构进行存储,如下图所示 2、索引及其优缺点 2.1 索引概述 2.2 优点 类似大学图书馆建书目索引,提高数据检索的效率,降低 数据库的 IO 成本 这也是创建索引的主要的原因。通过创建唯一索引,可以保证数据库表中每一行 数据的唯一性 (唯一