再聊一下那 SQLSERVER 行不能跨页的事

再聊,一下,sqlserver,不能 · 浏览次数 : 449

小编点评

2. 4 个数据页是如何组织的观察 464号 数据页是如何与 LOB 数据页 发生关系的?这个就考验基础知识了,在真正的行数据之前记录了一个 FID : PID : SID 的内存存储,即:文件ID : 数据页ID : 槽位ID,可以用 WinDbg 来观察。 0:125> ? 0x1c8Evaluate expression: 456 = 00000000`000001c8按照这个理论继续往前看内存地址,你会发现 00000001000001c9 和 00000001000001ca,对应着 457 号数据页 和 458 号数据页。 到这里脑子里就有了一张图,大概像下面这样。 三:总结经过本篇的分析,大家知道了 SQLSERVER 会用专门的 LOB数据页 来存储这些大字段,由于数据被拆分到多个数据页上,让 select 操作多了更多的逻辑,也会造成 C++ 代码多次在 LOB 数据页上游走,给查询性能增加了巨大的开销。比如下面的 SQL 查询。SET STATISTICS IO ONSELECT * FROM t7;SET STATISTICS IO OFF可以发现在 LOB 数据页上游走了 7 次,再加 2 条数据观察下。 INSERT INTO t7 VALUES(REPLICATE(CAST( 'y' AS NVARCHAR(max)),10000))INSERT INTO t7 VALUES(REPLICATE(CAST( 'z' AS NVARCHAR(max)),10000))SET STATISTICS IO ONSELECT * FROM t7;SET STATISTICS IO OFF这次由 7 次变成了 23 次,总的来说还是尽量不要将大字段存放在数据库吧。

正文

一:背景

1. 讲故事

上一篇写完了之后,马上就有朋友留言对记录行的 8060byte 限制的疑惑,因为他的表记录存储了大量的文章,存储文章的字段类型用的是 nvarchar(max),长度很显然是超过 8060byte 的,请问这个底层是怎么破掉 8060byte 的限制的?

说实话这是一个好问题,本质上来说 8060byte 的限制肯定是不能破掉的,如果让我处理的话肯定是将文章的数据分摊在多个数据页上, 那是不是如我所想呢? 我们观察一下就好。

二:观察大字段数据的布局

1. 对 nvarchar(max) 的理解

玩过 sqlserver 的朋友都知道,新一代的 sqlserver 版本已经用 varchar(max)nvarchar(max) 替代了早期的 textntext,理论上这种类型最大可存储 2 的 31 次方 - 1, 大概就是 2G,接下来我们像 nvarchar(max) 插入 1w 个字符,大概 20k 的数据,向上取整的话应该会用 3 个数据页来承载,测试代码如下:


USE MyTestDB
GO
CREATE TABLE t7 (a INT IDENTITY, b NVARCHAR(MAX))
GO

INSERT INTO t7 VALUES(REPLICATE(CAST( 'x' AS NVARCHAR(max)),10000))

SELECT LEN(b) FROM t7;

DBCC TRACEON(3604)
DBCC IND(MyTestDB,t7,-1)

从图中看居然有 4 个数据页,这就很奇怪了,等一会我们再解惑,先来简单看一下,一个是 In-row data,也叫做行内数据,是一个普通数据页,三个是 LOB data ,即大值数据( Large Object Data ),这是一种专门的LOB数据页,看样子这 1w 个 x 应该是分摊到这 3 个 LOB data 数据页上,是不是这样我们用 DBCC PAGE 把四个数据页的内容导出来看一看便知。


PAGE: (1:464)

Page @0x00000175CBB46000

m_pageId = (1:464)                  m_headerVersion = 1                 m_type = 1
m_typeFlagBits = 0x0                m_level = 0                         m_flagBits = 0x8000
m_objId (AllocUnitId.idObj) = 202   m_indexId (AllocUnitId.idInd) = 256 
Metadata: AllocUnitId = 72057594051166208                                
Metadata: PartitionId = 72057594044022784                                Metadata: IndexId = 0
Metadata: ObjectId = 1637580872     m_prevPage = (0:0)                  m_nextPage = (0:0)
pminlen = 8                         m_slotCnt = 1                       m_freeCnt = 8031
m_freeData = 159                    m_reservedCnt = 0                   m_lsn = (38:2936:61)
m_xactReserved = 0                  m_xdesId = (0:0)                    m_ghostRecCnt = 0
m_tornBits = 0                      DB Frag ID = 1        

DATA:

000000482E3F8000:   01010000 00800001 00000000 00000800 00000000  ....................
000000482E3F8014:   00000100 ca000000 5f1f9f00 d0010000 01000000  ........_...........
...
000000482E3F808C:   01000001 00000020 4e0000c8 01000001 00000000  ....... N...........
000000482E3F80A0:   00007800 78007800 78007800 78007800 78007800  ..x.x.x.x.x.x.x.x.x.
000000482E3F80B4:   78007800 78007800 78007800 78007800 78007800  x.x.x.x.x.x.x.x.x.x.
...
000000482E3F9FCC:   78007800 78007800 78000000 21212121 21212121  x.x.x.x.x...!!!!!!!!
000000482E3F9FE0:   21212121 21212121 21212121 21212121 21212121  !!!!!!!!!!!!!!!!!!!!
000000482E3F9FF4:   21212121 21212121 21216000                    !!!!!!!!!!`.

OFFSET TABLE:

Row - Offset                        
0 (0x0) - 96 (0x60)   


PAGE: (1:456)
DATA:
Memory Dump @0x00000048355F8000

000000483A478000:   01030000 00800001 00000000 00000000 00000000  ....................
000000483A478014:   00000100 cb000000 4010be0f c8010000 01000000  ........@...........
000000483A478028:   26000000 780b0000 24000000 00000000 00000000  &...x...$...........
000000483A47803C:   00000000 01000000 00000000 00000000 00000000  ....................
000000483A478050:   00000000 00000000 00000000 00000000 08005e0f  ..................^.
000000483A478064:   0000f306 00000000 03007800 78007800 78007800  ..........x.x.x.x.x.
...
000000483A479FA4:   00780078 00780078 00780000 00626262 62626262  .x.x.x.x.x...bbbbbbb
000000483A479FB8:   62626262 62626262 62626262 62626262 62626262  bbbbbbbbbbbbbbbbbbbb
000000483A479FCC:   62626262 62626262 62626262 62020000 00002121  bbbbbbbbbbbbb.....!!
000000483A479FE0:   21212121 21212121 21212121 21212121 21212121  !!!!!!!!!!!!!!!!!!!!
000000483A479FF4:   21212121 21212121 21216000                    !!!!!!!!!!`.

PAGE: (1:457)
DATA:
Memory Dump @0x000000483BA78000

000000483BA78000:   01030000 00800001 00000000 00000000 00000000  ....................
000000483BA78014:   00000100 cb000000 2800d61f c9010000 01000000  ........(...........
...
000000482EDF8050:   00000000 00000000 00000000 00000000 0800761f  ..................v.
000000482EDF8064:   0000f306 00000000 03007800 78007800 78007800  ..........x.x.x.x.x.
000000483BA79FE0:   21212121 21212121 21212121 21212121 21212121  !!!!!!!!!!!!!!!!!!!!
000000483BA79FF4:   21212121 21212121 21216000                    !!!!!!!!!!`.

PAGE: (1:458)
DATA:
Memory Dump @0x000000483BA78000
...
000000483BA78050:   00000000 00000000 00000000 00000000 0800761f  ..................v.
000000483BA78064:   0000f306 00000000 03007800 78007800 78007800  ..........x.x.x.x.x.
...
000000483BA79FCC:   78007800 78007800 78000000 21212121 21212121  x.x.x.x.x...!!!!!!!!
000000483BA79FE0:   21212121 21212121 21212121 21212121 21212121  !!!!!!!!!!!!!!!!!!!!
000000483BA79FF4:   21212121 21212121 21216000                    !!!!!!!!!!`.

我相信有很多朋友很奇怪,为什么 464 号 数据页也有大量的 x, 其实这些 x 算是垃圾数据,可以从 m_freeCnt = 8031 上便知,这个字段表示当前数据页的 Free 空间,所以那 1w 个 x 都被 LOB 数据页吃掉了,这和文章开头的推测是一致的。

到这里算是解决了朋友的这个疑问,但你如果想打破沙锅问到底的话,肯定想知道这 4 个数据页在 内存中是如何组织的,或者说如何串联的? 接下来我们好好聊一聊。

2. 4 个数据页是如何组织的

观察 464号 数据页是如何与 LOB 数据页 发生关系的?这个就考验基础知识了,在真正的行数据之前记录了一个 FID : PID : SID 的内存存储,即:文件ID : 数据页ID : 槽位ID,可以用 WinDbg 来观察。


0:125> dp 000000482E3F8000+0x60+0x7
00000048`2e3f8067  803f0001`78000200 00000001`35000004
00000048`2e3f8077  00001f68`000006f3 00000001`000001c9
00000048`2e3f8087  000001ca`00003ed0 00004e20`00000001
00000048`2e3f8097  00000001`000001c8 78007800`78000000
00000048`2e3f80a7  78007800`78007800 78007800`78007800
00000048`2e3f80b7  78007800`78007800 78007800`78007800
00000048`2e3f80c7  78007800`78007800 78007800`78007800
00000048`2e3f80d7  78007800`78007800 78007800`78007800

简单解释一下: 000000482E3F8000 是数据页在内存中的首地址, 000000482E3F8000+0x60 是数据页内第一个记录的地址,再加上 +0x7 是为了内存地址对齐。

仔细观察内存地址 000000482e3f8097 上的内容是 00000001 000001c8,它就对应着 SID (2byte), FID (2byte) ,PID (4byte) ,那 PID=0x000001c8 是多少呢?可以用 WinDbg 算一下是 456 号 数据页。


0:125> ? 0x1c8
Evaluate expression: 456 = 00000000`000001c8

按照这个理论继续往前看内存地址,你会发现 00000001000001c900000001000001ca,对应着 457 号数据页458 号数据页

到这里脑子里就有了一张图,大概像下面这样。

三:总结

经过本篇的分析,大家知道了 SQLSERVER 会用专门的 LOB数据页 来存储这些大字段,由于数据被拆分到多个数据页上,这让 select 操作多了更多的逻辑,也会造成 C++ 代码多次在 LOB 数据页上游走,给查询性能增加了巨大的开销。

比如下面的 SQL 查询。


SET STATISTICS IO ON
SELECT * FROM t7;
SET STATISTICS IO OFF

可以发现在 LOB 数据页上游走了 7 次,再加 2 条数据观察下。


INSERT INTO t7 VALUES(REPLICATE(CAST( 'y' AS NVARCHAR(max)),10000))
INSERT INTO t7 VALUES(REPLICATE(CAST( 'z' AS NVARCHAR(max)),10000))

SET STATISTICS IO ON
SELECT * FROM t7;
SET STATISTICS IO OFF

这次由 7 次变成了 23 次,总的来说还是尽量不要将大字段存放在数据库吧。

与再聊一下那 SQLSERVER 行不能跨页的事相似的内容:

再聊一下那 SQLSERVER 行不能跨页的事

一:背景 1. 讲故事 上一篇写完了之后,马上就有朋友留言对记录行的 8060byte 限制的疑惑,因为他的表记录存储了大量的文章,存储文章的字段类型用的是 nvarchar(max),长度很显然是超过 8060byte 的,请问这个底层是怎么破掉 8060byte 的限制的? 说实话这是一个好问题

这就是艺术,优雅的二维码生成器「GitHub 热点速览」

![](https://img2023.cnblogs.com/blog/759200/202306/759200-20230613224859934-1352488938.jpg) 平时如果没有需要一般那团黑乎乎的二维码,估计路过的人看见第一眼就不会再看

Python:灵活的开发环境

如果你接手了别人的代码工程,却发现对方使用的 python 版本或者依赖库都和你的环境不兼容时,怎么办?打算卸掉自己原来的那一套环境再重来吗?真麻烦!

《吐血整理》高级系列教程-吃透Fiddler抓包教程(33)-Fiddler如何抓取WebSocket数据包

1.简介 本来打算再写一篇这个系列的文章也要和小伙伴或者童鞋们说再见了,可是有人留言问WebSocket包和小程序的包不会抓,那就关于这两个知识点宏哥就再水两篇文章。 2.什么是Socket? 在计算机通信领域,socket 被翻译为“套接字”(套接字=主机+端口号),它是计算机之间进行通信的一种约

【23种设计模式】组合模式(八)

前言 组合模式,英文名称是:Composite Pattern。当我们谈到这个模式的时候,有一个物件和这个模式很像,也符合这个模式要表达的意思,那就是“俄罗斯套娃”。“俄罗斯套娃”就是大的瓷器娃娃里面装着一个小的瓷器娃娃,小的瓷器娃娃里面再装着更小的瓷器娃娃,直到最后一个不能再装更小的瓷器娃娃的那个

php+sql后台实现从主表迁出至副表(数据超万条)

上万条甚至上百万数据进行迁出做备份或者进行不妨碍原系统数据的操作,现在很多企业都会用到,目前就需要将上百万条数据进行迁出到副表保存并操作,直接再后台写一个按钮进行操作,既方便操作也不会很慢。毕竟是客户需要,不能每次迁出都要客户去数据库操作,操作的不好那数据危险度挺高的。 1、分页查询数据库主表数据

【前端动画】—— 再看tweenJS

16开始接触前端,一直对一个问题特别感兴趣,那就是js动画,也就是从那时起开始探究动画的各种表现形式,也是那个时候开始意识到编程这块东西最终考验的就是抽象和逻辑,而这一切完全是数学里边的东西。最早接触tweenJS是去年还是前年来着有点忘了,不过当时有点不大看得懂,勉勉强强算是过了一遍,不过有了这个

RabbitMQ 进阶使用之延迟队列 → 订单在30分钟之内未支付则自动取消

开心一刻 晚上,媳妇和儿子躺在沙发上 儿子疑惑的问道:妈妈,你为什么不去上班 媳妇:妈妈的人生目标是前20年靠父母养,后40年靠你爸爸养,再往后20年就靠你和妹妹养 儿子:我可养不起 媳妇:为什么 儿子:因为,呃...,我和你的想法一样 讲在前面 如果你们对 RabbitMQ 感到陌生,那可以停止往

[转帖]JVM参数:-XX:ReservedCodeCacheSize

通过笨神的分享整理笔记: 这个参数主要设置codecache的大小,比如我们jit编译的代码都是放在codecache里的,所以codecache如果满了的话,那带来的问题就是无法再jit编译了,而且还会去优化。因此大家可能碰到这样的问题:cpu一直高,然后发现是编译线程一直高(系统运行到一定时期)

数组模拟环形队列的思路及代码

JAVA实现数组模拟环形队列的思路及代码 前言 在对Java实现数组模拟队列零了解的情况下,建议先去阅读《JAVA实现数组模拟单向队列的思路及代码》一文,可以辅助理解本文核心思想。 一、环形数组队列 实现:让数组达到复用的效果,即:当我们从数组队列中取出了数据,那取出数据后后这个空间可以再次使用。