[转帖]金仓数据库KingbaseES数据目录结构

数据库,kingbasees,数据,目录,结构 · 浏览次数 : 0

小编点评

**文章知识点与官方知识档案匹配，可进一步学习相关知识MySQL入门技能树数据库组成表59638 人正在系统学习中** **数据库操作** * 事务提交日志（Commit Log）存储事务提交状态，用于回卷。 * 虚拟事务id用于处理事务，代替真实事务id。 **关系操作** * 关系代表非数据库本身的数据库对象，包括表、视图、索引和toast等。 **MVCC（Multi-Version-Concurrency-Control）** * 数据库引擎根据不同的事务隔离级别，通过查询事务快照和事务提交日志来完成元组的可见性检查。 **索引** * 为提高查询效率，创建索引。 **数据结构** * Page用于存储数据库文件，分为8K固定长度的page。 **数据库初始化** * 通过指定block_size参数，设置page大小。 **性能优化** * 降低page大小，提高索引分裂效率。 * 降低page设低，降低索引分裂次数。 * 降低page设高，降低索引检索效率。 * 使用8K和16K页面，减少IO次数和索引分裂次数。

正文

KingbaseES数据库结构

  1. [kingbase@postgresV8]$ tree -LP2data/
  2. .
  3. ├── data
  4. │   ├── base                    # 存储用户创建的数据库文件及隶属于用户数据库的所有关系.比如表、索引...
  5. │   ├── current_logfiles.       # 记录当前被日志收集器写入的日志文件的文件
  6. │   ├── global                  # 包含集簇范围的表的子目录，sys_control文件该文件记录着数据集簇标识符及版本、检查点信息、块大小等信息
  7. │   ├── initdb.conf             # 数据库初始化参数，安装并初始化
  8. │   ├── kingbase.auto.conf      # 存储由ALTER SYSTEM 设置的配置参数的文件
  9. │   ├── kingbase.conf           # 存储用户自设置的配置参数的文件
  10. │   ├── kingbase.opts           # 记录服务器最后一次启动时使用的命令行参数的文件
  11. │   ├── sys_aud                 # 存储kingbase审计相关信息
  12. │   ├── sys_bulkload            # KingbaseES提供的快速加载数据的默认路径
  13. │   ├── sys_commit_ts           # 事务提交时间戳数据目录
  14. │   ├── sys_csnlog              # 包含事务提交序列号和子事务状态数据的子目录
  15. │   ├── sys_dynshmem            # 动态共享内存子系统所使用的文件的子目录
  16. │   ├── sys_hba.conf            # 存储客户端认证方式的配置文件
  17. │   ├── sys_ident.conf		# 存储客户端认证所需的用户名映射的配置文件
  18. │   ├── sys_log                 # 日志文件
  19. │   ├── sys_logical             # 用于逻辑复制的状态数据的子目录
  20. │   ├── sys_multixact           # 多事务multi-t ransaction状态数据的子目录（用于共享的行锁）
  21. │   ├── sys_notify              # 包含LISTEN/NOTIFY状态数据的子目录
  22. │   ├── sys_replslot            # 复制槽数据的子目录
  23. │   ├── sys_serial              # 已提交的可序列化事务信息的子目录
  24. │   ├── sys_snapshots           # 导出的快照的子目录
  25. │   ├── sys_stat                # 用于统计子系统的永久文件的子目录
  26. │   ├── sys_stat_tmp            # 用于统计信息子系统的临时文件的子目录
  27. │   ├── sys_tblspc              # 指向表空间目录的符号链接的子目录，该符号链接所指向的表空间目录中存储了所属该表空间的数据文件。
  28. │   ├── sys_twophase            # 用于预备事务状态文件的子目录
  29. │   ├── SYS_VERSION.            # 包含KingbaseES主版本号的文件
  30. │   ├── sys_wal                 # WAL（预写日志）文件的子目录
  31. │   └── sys_xact                # 事务提交状态数据的子目录
  32. └── kingbase.pid                # 记录当前的kingbase进程ID（PID）集簇数据目录路径、kingbase启动时间戳、端口号、Unix域套接字目 录路径（Windows上为空）、第一个可用的listen_address （IP地址或者*，或者为空表示不在TCP上监听 ）以及共享内存段ID（服务器关闭后该文件不存在）
  33. 	                        # 通过ipcs命令查看共享内存的地址信息,可以看到shared memory segments中的key值0x033cdf69
  34. 	                        # 将十六进制Key值0x033cdf69转换为十进制，正好等于54321001，即为共享内存的key。
  35. 				# 第二个数字为shmid的值，即为共享内存的id
  36.  
  37. [kingbase@postgresdata]$cat kingbase.pid 
  38. 20903
  39. /home/kingbase/data166809669854321
  40. /tmp
  41. *
  42.  5432100116
  43. ready   
  44. [kingbase@postgresdata]$ ipcs
  45.  
  46. ------ Message Queues --------
  47. key        msqid      owner      perms      used-bytes   messages    
  48.  
  49. ------ Shared Memory Segments --------
  50. key        shmid      owner      perms      bytes      nattch     status      
  51. 0x00000000 2          gdm        777163841          dest         
  52. 0x00000000 5          gdm        77721299202          dest         
  53. 0x033cdf69 16         kingbase   600566------ Semaphore Arrays --------
  54. key        semid      owner      perms      nsems     
  55. 0x075b8ee0 3          dmdba      6661

BASE

在KingbaseES数据库中,数据文件被组织成一个个页面Page,页面大小为8k.对数据文件的I/O操作都是以页面为单位。

数据文件包含数据和对象,例如表、索引、存储过程和视图。

对于实例里的每个数据库,在data/base目录里都有一个子目录对应,子目录的名字为该数据库在sys_database里的OID.

这个子目录是该数据库所有数据文件的缺省位置；特别值得一提的是，该数据库的系统目录存储在此。

在该目录下,每个表和索引都存储在独立的文件里.这些文件以表或索引的filenode号命名.

它可以在sys_class.relfilenode中找到.

对于临时关系.文件名的形式为tBBB_FFF,其中BBB是创建该文件的后台会话的后台ID，FFF是文件节点号。

所有情况下,每个表和索引,在其主文件（或者说主分支）之外,都有一个空闲空间映射分支,存储可用空闲空间的信息。

空闲空间映射存储在一个文件中,该文件以节点号加上后缀_fsm命名.

此外每个表还有一个可见性映射分支,存储在一个后缀为_vm的文件中.

用于跟踪哪些页面已知含有非死亡元组。不被日志记录的表和索引还有第三个分支，即初始化分支，它存储在后缀为_init的分支中。

在表或者索引超过1GB后,它会被划分成1G大小的段。

第一个段的文件名和文件节点相同；之后的段被命名为filenode.1、filenode.2等等。

这样的处理避免了在有文件大小限制平台上的问题.(实际1GB只是默认的段尺寸。段尺寸可以在编译KingbaseES时使用配置选项--with-segsize进行调整).

原则上，空闲空间映射和可见性映射分支也可以要求多个段，但实际上很少发生。

纯数字的是主表数据文件或索引数据文件

以_fsm后缀的就是Free Space Mapping文件

以vm后缀的就是visibility map

├── base # SELECT OID, DATNAME FROM SYS_DATABASE;
│ ├── 1
│ ├── 16268
│ ├── 16269
│ └── 16270
├── sys_filenode.map
└── sys_internal.init
└── SYS_VERSION

sys_filenode.map 是sys_class里relfilenode为0的系统表,OID与文件的硬编码映射。

sys_internal.init 是系统表的cache文件,用于加快读取.默认不存在,查询系统表后自动产生。

SYS_VERSION 是当前数据库数据格式对应的版本号

其它文件是需要到sys_class里根据OID查到对应的relfilenode来与文件名匹配

注意:

虽然一个表的文件节点通常和它的OID相匹配,但实际上并不是必须如此.

比如 TRUNCATE、REINDEX、CLUSTER以及某些形式的ALTERTABLE,都可以改变文件节点而同时保留 OID。

我们不应该假设文件节点和表 OID 相同。

此外对于包含sys_class本身在内的特定系统目录，其sys_class.relfilenode包含0。

这些目录的实际文件节点号被存储在一个低层数据结构中，可以用sys_relation_filenode()函数获取。

GLOBAL

存储全局的系统表信息和全局控制信息

数字命名的文件用于存储系统表的内容。它们在sys_class里的relfilenode都为0,是靠sys_filenode.map将OID与文件硬编码映射注意：不是所有的系统表的relfilenode都为0以下语句可以查询OID对应的表名/物理文件名

  1. select oid, relname from sys_class where relfilenode=0 order by oid;
  2. select sys_relation_filenode(:oid);

纯数字的是主表数据文件或索引数据文件以_fsm后缀的就是FreeSpaceMapping文件以vm后缀的就是visibilitymap

注意：系统表分为全局系统表和库级系统表。

全局系统表位于global下，如：sys_database,sys_tablespace,sys_auth_members这种存储系统级对象的表。

库级系统表位于数据库目录下，如：sys_type,sys_proc,sys_attribute这种存储库级对象的表。

值得注意的是sys_class位于库级目录的里，但也包含全局系统表信息，因此在改动全局系统表信息时需要注意。

  1. [kingbase@postgres data]$ tree  global
  2. global
  3. ├── 1136              # sys_pltemplate
  4. ├── 1137              # sys_pltemplate_name_index
  5. ├── 1213              # sys_tablespace
  6. ├── 1214              # sys_shdepend
  7. ├── 1232              # sys_shdepend_depender_index
  8. ├── 1233              # sys_shdepend_reference_index
  9. ├── 1260              # sys_authid
  10. ├── 1261              # sys_auth_members
  11. ├── 1262              # sys_database
  12. ├── 2396              # sys_shdescription
  13. ├── 2397              # sys_shdescription_o_c_index
  14. ├── 2671              # sys_database_datname_index
  15. ├── 2672              # sys_database_oid_index
  16. ├── 2676              # sys_authid_rolname_index
  17. ├── 2677              # sys_authid_oid_index
  18. ├── 2694              # sys_auth_members_role_member_index
  19. ├── 2695              # sys_auth_members_member_role_index
  20. ├── 2697              # sys_tablespace_oid_index
  21. ├── 2698              # sys_tablespace_spcname_index
  22. ├── 2846              # sys_toast_2396
  23. ├── 2847              # sys_toast_2396_index
  24. ├── 2964              # sys_db_role_setting
  25. ├── 2965              # sys_db_role_setting_databaseid_rol_index
  26. ├── 2966              # sys_toast_2964
  27. ├── 2967              # sys_toast_2964_index
  28. ├── 3592              # sys_shseclabel
  29. ├── 3593              # sys_shseclabel_object_index
  30. ├── 4060              # sys_toast_3592x
  31. ├── 4061              # sys_toast_3592_index
  32. ├── 4175
  33. ├── 4176
  34. ├── 4177
  35. ├── 4178
  36. ├── 4179
  37. ├── 4180
  38. ├── 4181
  39. ├── 4182
  40. ├── 4183
  41. ├── 4184
  42. ├── 4185
  43. ├── 4186
  44. ├── 6000              # sys_replication_origin
  45. ├── 6001              # sys_replication_origin_roiident_index
  46. ├── 6002              # sys_replication_origin_roname_index    
  47. ├── 6100
  48. ├── 6114
  49. ├── 6115
  50. ├── 7968
  51. ├── 7969
  52. ├── 8042
  53. ├── 8046
  54. ├── 8048
  55. ├── 8059
  56. ├── 8074
  57. ├── 8076
  58. ├── sys_control        # 存储全局控制信息,对应的是ControlFileData结构体
  59. ├── sys_filenode.map   # 将当前目录下系统表的OID与具体文件名进行硬编码映射(每个用户创建的数据库目录下也有同名文件).
  60.                        # 对应RelMapFile结构体, 结构体大小为：62*8+4*4=496+16=512。
  61.                        # 也就是说这个文件最多存放62条系统catalog表的记录
  62. └── sys_internal.init  # 缓存系统表，加快系统表读取速度（每个用户创建的数据库目录下也有同名文件）

SYS_WAL

预写式日志（Write-Ahead Logging（WAL））是保证数据完整性、实现事务日志的一种标准方法。

WAL的中心思想是对数据文件的修改（它们是表和索引的载体）当修改已经被记录在日志中之后，即在描述这些变化的日志被刷到持久存储后。

如果遵循这种过程，将不需要在每个事务提交时写数据到磁盘。

当数据库系统崩溃后，会从上一次成功的checkpoint点开始依次重放wal记录，假如lsn>wal_lsn则重放wal记录，反之跳过，确保数据记录恢复到崩溃前的状态。

预写式日志记录在sys_wal中。

WAL日志的优点

使用WAL可以减少磁盘读写的频率次数。

保证事务被提交时才会将日志文件内容写入到磁盘。

在没有触发checkpoint检查点时不用将数据持久化，减少读写磁盘频率次数。

日志文件按照顺序写入，同步日志的代价要远小于刷写数据页面的代价。

在OLTP系统性能影响尤其明显。

使用WAL能够保证数据的完整性。

提供数据库在线备份和恢复。

通过归档的WAL文件，支持恢复到被任意时刻。

通过数据库的物理备份，WAL日志恢复数据到自己希望的时间。

另外物理备份不必是数据库状态的一个即时快照。

通过WAL日志的恢复可以修复内部的不一致。

WAL日志SEGMENT

wal segment文件存储着数据库每一条数据变化明细。

每一条记录数据变化明细都是服务于数据库恢复操作，确保前后数据一致。

针对数据的任意一次修改操作均被记录在wal segment文件中，包括insert、update和delete。

包括系统的一些管理行为也会被记录在wal segment文件中，例如事务提交和vacuum等行。

wal segment文件命名形如0000000100000001 0000001A，文件名共24位，前8位是timeline，中间8位是logid，后8位是logseg，logseg的前6位始终是0，后2位是lsn的前2位。根据wal segment文件名的最后2位，

wal segment根据对应的LSN分别记录在不同的wal segment文件中

  1. [kingbase@postgres data]$ tree sys_wal/
  2. sys_wal/
  3. ├── 000000010000000000000051
  4. └── archive_status

ARCHIVE_STATUS

archive_status是wal segment文件的备份目录。

.ready 是等待被归档的wal日志。

.done 是已经被归档完成的wal日志。

.backup 主备环境

超出wal_keep_segments数目限制的wal日志会在archive_status目录内被打标，归档操作完成后被进一步移除。

.HISTORY

.history文件内容包括原.history文件，当前时间线切换记录和切换原因，作用于数据库的时间点恢复行为。

当数据库从多个时间线的备份中恢复时，数据库从.history文件中找到从sys_control的start_timeline到指定的recovery_target_timeline间的所有wal段文件进行恢复。

每发生一次主备切换此文件ID+1.可以判断主备切换次数。

SYS_XACT

sys_xact是事务提交日志（Commit Log）的存储目录.

事务提交日志默认256KB，文件名形如XXXX,

系统初始化后从0000开始递增至FFFF。

PG 10及之后的高版本改目录名为pg_xact,10之前目录名称是pg_clog.

事务已被冻结的文件可以被vacuum清理。

在sys_class . relfrozenxid之前的所有事务 ID在表中已经被替换为一个永久的（“冻结的”) 事务ID 。

用于跟踪表是否需要被清理，以便阻止事务 ID回卷或者允许 sys_xact 被收缩。

如果该关系不是一个表则为0（ InvalidTransactionId ）

通过指定 VACUUM 操作强制执行来防止表中事务ID回卷之前，表的 sys_class . relfrozenxid 保持最大事务年龄。

注意即便自动清理被禁用，系统也将发起自动清理进程来阻止回卷。

清理允许从 sys_xact 子目录中移除旧文件，默认值为2亿事务。

COMMIT LOG

事务提交日志存储数据库的单个事务运行状态。

Commit Log由共享内存中一组8KB的page组成。

每个page包含一列数组，每个数组元素包含XID和该事物的实时状态。

当page不足时，创建新的page来存储新的事务

事物ID的分类

0-2都是保留的txid，它们比任何普通txid都要旧。

0：invalidtransactionid，表示无效的事务id1：bootstraptransactionid，表示系统表初始化时的事务id，比任何普通的事务id都旧。

2：frozentransactionid，冻结的事务id，比任何普通的事务id都旧。

大于2的事务id都是普通的事务id，即从3开始就是普通的事务id。

postgresql中事务号有两个概念，一个就是通常意义上的事务id，即transaction id，如tuple中的xmin,xmax等。

另外一个是虚拟事务id，即virtual transaction id。

像类似于select这些只读语句，并不会改变数据库；而dml语句会对数据库状态产生影响。transaction id属于永久id。

它的意义是指对数据库的更改序列，使得数据库从一种状态变成另外一种状态，而且状态的改变是持久、可恢复的，是一致性的。

而查询，实际上并不需要这种永久事务id，只需要处理好mvcc，锁的获取和释放即可因此virtual transaction id也就足够了。

不需要去获取xidgenlock锁而产生transaction id，从而提高数据库性能。

另外数据库也不会因为查询而导致transaction id快速wrap around(回卷)，关于transaction id和virtual transaction id可以从sys_locks系统表中查看到相关信息。

OID

数据库对象是数据库存储或引用的数据结构体，数据库本身也是数据库对象，同时包括表、索引、视图、序列和函数等。Object ID是数据库对象的唯一标识符，保存在无符号四字节的整形变量中，所有数据库对象各自对应一个OID。PostgreSQL有两个视图各司其职，分别保存着不同类别的OID，其中pg_database保存数据库本身对象的OID，pg_class保存表、索引和序列等对象的OID。

Relation

关系代表非数据库本身的数据库对象，包括表、视图、索引和toast等，不包括数据库本身。

MVCC

Multi-Version-Concurrency-Control是一种并发控制机制。

数据库引擎根据不同的事务隔离级别，通过查询事务快照和事务提交日志来完成元组的可见性检查。

Page

数据库文件在Linux平台被划分为默认8K固定长度的page进行管理。

通过数据库初始化指定block_size参数page的大小。

如果page设低了，相同数据量的文件需要分裂成更多的page，IO次数和索引分裂次数都会增加，性能会降低较多；

如果page设高了，page内部的数据检索效率会降低，性能一样会降低不少，一般来说8K和16K对于数据库系统来说是最优解。

文章知识点与官方知识档案匹配，可进一步学习相关知识
MySQL入门技能树数据库组成表59638 人正在系统学习中
数据库 kingbasees 数据 目录 结构

与[转帖]金仓数据库KingbaseES数据目录结构相似的内容：

[转帖]金仓数据库KingbaseES数据目录结构

KingbaseES数据库结构 [kingbase@postgresV8]$ tree -LP2data/.├── data│ ├── base # 存储用户创建的数据库文件及隶属于用户数据库的所有关系.比如表、索引...│ ├── current_logfiles. # 记录当前被日志收集器写入的

数据库 kingbasees 数据 目录
0
[转帖]金仓数据库KingbaseES 数据库参数优化

目录 一、数据库应用类型 二、主要参数 max_connections shared_buffers effective_cache_size maintenance_work_mem checkpoint_completion_target wal_buffers default_statisti

数据库 kingbasees 参数 优化
0
[转帖]金仓数据库KingbaseES表空间介绍

1、表空间的概念 KingbaseES中的表空间允许在文件系统中定义用来存放表示数据库对象的文件的位置。在KingbaseES中表空间实际上就是给表指定一个存储目录。 2、表空间的作用 通过使用表空间，管理员可以控制一个KingbaseES安装的磁盘布局。 如果初始化集簇所在的分区或者卷用光了空间，

数据库 kingbasees 空间 介绍
0
[转帖]国产数据库到底行不行？人大金仓KINGBASE数据库与主流开源数据库性能实测

近年来，人大金仓的数据库产品受到了外界诸多的关注。做产品，免不了要接受用户的对比和选择，数据库因其行业的自身特点，还有很多开源的技术产品同台比拼，用户因此也会产生诸多疑问，国产数据库相比开源数据库到底如何，今天我们选择数据库的一项核心能力——性能，将金仓KingbaseES和目前业界主流的两种开源数

国产 数据库 到底 行不行
0
[转帖]金仓数据库KingbaseES V8R6索引坏块故障处理

案例说明： 在执行表数据查询时，出现下图所示错误，索引故障导致表无法访问，后重建索引问题解决。本案例复现了此类故障解决过程。 适用版本： KingbaseES V8R3/R6 一、创建测试环境 # 表结构信息prod=# \d+ test1 Table "public.test1" Column|

数据库 kingbasees v8r6 索引
0
[转帖]金仓数据库KingbaseES V8R6 中unlogged表

KingbaseESV8R6有一种表称为unlogged，在该表新建的索引也属于unlogged。和普通表的区别是，对该表进行DML操作时候不将该表的变更记录变更写入到wal文件中。在数据库异常关机或者异常崩溃后该表的数据会被truncate掉，但是在写入性能上会比普通表快几倍。 这个特性类似于or

数据库 kingbasees v8r6 unlogged
0
[转帖]金仓数据库KingbaseES误删除系统超级用户（superuser）权限的恢复方式

`https://blog.csdn.net/arthemis_14/article/details/129879269` 在使用KingbaseES数据库的时候，系统默认存在一个跟系统初始化用户同名的Superuser（默认是system用户，可更改）。 这个Superuser的存在其实对于权限的

数据库 kingbasees 误删除 系统
0
[转帖]金仓数据库KingbaseES V8R6 索引膨胀

索引膨胀 对于索引，随着业务不断的增删改，会造成膨胀，尤其Btree索引，也会涉及索引分裂、合并等，导致索引访问效率降低、维护成本增加。另外，索引页的复用与HEAP PAGE不一样，因为索引的内容是有序结构，只有符合顺序的ITEM才能插入对应的PAGE中，不像HEAP TUPLE，只要有空间就可以插

数据库 kingbasees v8r6 索引
0
[转帖]金仓数据库KingbaseES表空间(tablespace)知多少

金仓数据库KingbaseES表空间定义 金仓数据库KingbaseES中的表空间允许在文件系统里定义那些代表数据库对象的文件存放位置，比如表和索引等。一旦表空间被创建，那么就可以在创建数据库对象时通过名称来引用他。 一个数据库可以有一个或多个表空间，创建数据库时自动创建系统表空间sys_defau

数据库 kingbasees 空间 tablespace
0
[转帖]金仓数据库KingbaseES分区表 -- 声明式创建分区表

https://www.modb.pro/db/638045 1. 创建分区表同时创建分区 1.1 准备环境 # 创建分区表同时创建分区 create table tb1(id bigint,stat date,no bigint,pdate date,info varchar2(50)) part

数据库 kingbasees 分区表 声明
0
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.