写在开头
本篇文章是在总结掘金小册MySQL 是怎样运行的:从根儿上理解 MySQL中的第六章。小册讲得十分详细和易懂,写总结主要是会忘记,通过这种方式来加深记忆。
数据页结构
innodb中有很多页的类型,undo log页、blob页、insert buff页等等。这里主要讲索引页,也就是数据页。MySQL中一级索引是聚簇索引,每张表都会建立一个聚簇索引,一个索引即一条数据。下表是一个数据页的结构
:
名称 | 中文名 | 占用空间大小 简单描述 |
---|---|---|
File Header | 文件头部 | 38字节 |
Page Header | 页面头部 | 数据页专有的一些信息 |
Infimum + Supremum | 最小记录和最大记录 | 26字节 |
User Records | 用户记录 | 不确定 |
Free Space | 空闲空间 | 不确定 |
Page Directory | 页面目录 | 不确定 |
File Trailer | 文件尾部 | 8字节 |
存储的真实数据是在User Records中的。每个页的大小是固定的16KB,没有数据时User Records没有占用空间,需要新增数据时Free Space会将空间分配给User Records中。数据将页填满了也就意味着Free Space的空间就被全部替换了。
User Records的数据实际上就是一条条完整的行记录,行记录包括:变长字段长度列表、null值标识、 记录头信息和真实数据。记录头信息在数据页的存储中十分重要。
下面是记录头信息的内容:
名称 | 大小(单位:bit) | 描述 |
---|---|---|
预留位1 | 1 | 没有使用 |
预留位2 | 1 | 没有使用 |
delete_mask | 1 | 标记该记录是否被删除 |
min_rec_mask | 1 | B+树的每层非叶子节点中的最小记录都会添加该标记 |
n_owned | 4 | 表示当前记录拥有的记录数 |
heap_no | 13 | 表示当前记录在记录堆的位置信息 |
record_type | 3 | 表示当前记录的类型,0表示普通记录,1表示B+树非叶子节点记录,2表示最小记录,3表示最大记录 |
next_record | 16 | 表示下一条记录的相对位置 |
- delete_mask
0
--没有被删除,1
-- 被删除掉。 实际上,MySQL会将删除的记录整理到删除链表中,这个链表所占用的空间被称为可重用空间
,新记录被写入时,可以暂时不去申请额外的空间,而是替换可重用空间
。 如果直接删除的话,需要调整数据在磁盘上的排列,因为每个页是固定的16KB所以应该不需要频繁的调用allocate(这点我不确定),主要需要调整在页中数据所在的顺序。
- min_rec_mask
0
--不是B+
树的非叶子节点中的最小记录,1
--B+
树的非叶子节点中的最小记录B+
树中,叶子节点(也是一个页)即数据,非叶子节点主要作用是帮助检索到一个具体的页(或者说数据)所在的位置。 也就是说该标志的主要作用是确定非叶子节点的最小记录。
- heap_no
这个属性表示当前记录在本
页
中的位置。 每条记录写入的时候,会比较主键的大小(按照建表时确定的字段排序规则),然后会根据它所在顺序记录它的位置。 heap_no通过数字的大小来确定顺序。 0表示最小,1表示最大。这两个记录时每个页默认的数据,和用户新增记录无关所以不在User Records中,在Infimum + Supremum中。
- record_type
0
--普通记录,1
--B+树非叶节点记录,2
--最小记录,3
--最大记录。
- next_record
它表示从当前记录的真实数据到下一条记录的真实数据的地址偏移量。即,假如本记录的next_record=32,则下一条记录开始的位置是当前记录位置+32。 通过该字段,让页中的数据形成了一个单向链表。
- n_owned
这个属性和
页属性
中Page Directory属性是相关联的。 一个页中的数据,会被分成多个组,n_owned表示的是一个组中的记录数 对于最小记录所在的分组只能有 1 条记录,最大记录所在的分组拥有的记录条数只能在 1~8 条之间,剩下的分组中记录的条数范围只能在是 4~8 条之间 n_owned只会被记录在每个组中最后一条记录的记录头信息中 Page Directory中,记录的是,真实记录的偏移量
,也就是说通过Page Directory的记录是可以直接定位到真实记录
所在的位置。 因为存储是按主键顺序依次存放的,所以可以利用二分法来定位属于哪个槽(即Page Directory中的记录,一个分组就是一个槽)
Page Header(页面头部)
Page Header
是专门针对数据页
记录的各种状态信息,其它类型的页
(如undo日志页
)没有这个。一共56
字节,专门存储状态信息。
名称 | 占用空间大小 | 描述 |
---|---|---|
PAGE_N_DIR_SLOTS | 2字节 | 在页目录中的槽数量 |
PAGE_HEAP_TOP | 2字节 | 还未使用的空间最小地址,也就是说从该地址之后就是Free Space |
PAGE_N_HEAP | 2字节 | 本页中的记录的数量(包括最小和最大记录以及标记为删除的记录) |
PAGE_FREE | 2字节 | 第一个已经标记为删除的记录地址(各个已删除的记录通过next_record也会组成一个单链表,这个单链表中的记录可以被重新利用) |
PAGE_GARBAGE | 2字节 | 已删除记录占用的字节数 |
PAGE_LAST_INSERT | 2字节 | 最后插入记录的位置 |
PAGE_DIRECTION | 2字节 | 记录插入的方向 |
PAGE_N_DIRECTION | 2字节 | 一个方向连续插入的记录数量 |
PAGE_N_RECS | 2字节 | 该页中记录的数量(不包括最小和最大记录以及被标记为删除的记录) |
PAGE_MAX_TRX_ID | 8字节 | 修改当前页的最大事务ID,该值仅在二级索引中定义 |
PAGE_LEVEL | 2字节 | 当前页在B+树中所处的层级 |
PAGE_INDEX_ID | 8字节 | 索引ID,表示当前页属于哪个索引 |
PAGE_BTR_SEG_LEAF | 10字节 | B+树叶子段的头部信息,仅在B+树的Root页定义 |
PAGE_BTR_SEG_TOP | 10字节 | B+树非叶子段的头部信息,仅在B+树的Root页定义 |
File Header(文件头部)
不论什么类型的页
都会有这个,描述了一些针对各种页都通用的一些信息,一共占用38字节
。
名称 | 占用空间大小 | 描述 |
---|---|---|
FIL_PAGE_SPACE_OR_CHKSUM | 4字节 | 页的校验和(checksum值) |
FIL_PAGE_OFFSET | 4字节 | 页号 |
FIL_PAGE_PREV | 4字节 | 上一个页的页号 |
FIL_PAGE_NEXT | 4字节 | 下一个页的页号 |
FIL_PAGE_LSN | 8字节 | 页面被最后修改时对应的日志序列位置(英文名是:Log Sequence Number) |
FIL_PAGE_TYPE | 2字节 | 该页的类型 |
FIL_PAGE_FILE_FLUSH_LSN | 8字节 | 仅在系统表空间的一个页中定义,代表文件至少被刷新到了对应的LSN值 |
FIL_PAGE_ARCH_LOG_NO_OR_SPACE_ID | 4字节 | 页属于哪个表空间 |
- FIL_PAGE_SPACE_OR_CHKSUM
该页的
校验和
,用于检测页是否可用。在数据库异常崩溃时,有可能会导致查询该页时计算的校验和
同本页记录的校验和
不一致,这时候需要做缓冲池数据
与磁盘数据
的一致性处理。
- FIL_PAGE_OFFSET
可以看到,在innodb中,一个页是通过四个字节来标识。也就是说,一个表空间中,能有2^32^个页,一个表空间的最大值是64TB(MySQL8.0官方文档中说了,innodb每个共享表空间的最大限制是64TB,每个独立表空间的最大限制也是64TB)。因为这样的限制,所以每个页的大小正好是16KB。
- FIL_PAGE_TYPE
页的类型,如上面说的,innodb中
页
有很多类型,数据页
只是其中的一种类型,具体如下表:
类型名称 | 十六进制 | 描述 |
---|---|---|
FIL_PAGE_TYPE_ALLOCATED | 0x0000 | 最新分配,还没使用 |
FIL_PAGE_UNDO_LOG | 0x0002 | Undo日志页 |
FIL_PAGE_INODE | 0x0003 | 段信息节点 |
FIL_PAGE_IBUF_FREE_LIST | 0x0004 | Insert Buffer空闲列表 |
FIL_PAGE_IBUF_BITMAP | 0x0005 | Insert Buffer位图 |
FIL_PAGE_TYPE_SYS | 0x0006 | 系统页 |
FIL_PAGE_TYPE_TRX_SYS | 0x0007 | 事务系统数据 |
FIL_PAGE_TYPE_FSP_HDR | 0x0008 | 表空间头部信息 |
FIL_PAGE_TYPE_XDES | 0x0009 | 扩展描述页 |
FIL_PAGE_TYPE_BLOB | 0x000A | 溢出页 |
FIL_PAGE_INDEX | 0x45BF | 索引页,也就是我们所说的数据页 |
File Trailer
File Trailer被分为两个部分,前4个字节代表页的校验和
,后4个字节代表页面被最后修改时对应的日志序列位置(LSN
)。
如果File Trailer中的校验和
跟File Header中的校验和
不一致,则说明该页的数据是异常的,可能是写入的过程中断电崩溃之类的。
LSN主要是checkpoint的时候用到。