MySQL中如何优化大数据量的插入

152 阅读4分钟

大数据量插入的优化

如果我们需要一次性往数据库表中插入多条记录,可以从以下三个方面进行优化。

insert into tb_test values(1,'tom');
insert into tb_test values(2,'cat');
insert into tb_test values(3,'jerry');
.....   
    

1、批量插入数据

Insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');  

2、手动控制事务

start transaction;
insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');
insert into tb_test values(4,'Tom'),(5,'Cat'),(6,'Jerry');
insert into tb_test values(7,'Tom'),(8,'Cat'),(9,'Jerry');
commit;

3、主键顺序插入,性能要高于乱序插入 涉及到页分裂

主键乱序插入 : 8 1 9 21 88 2 4 15 89 5 7 3

主键顺序插入 : 1 2 3 4 5 7 8 9 15 21 88 89

4、load指令

如果一次性需要插入大批量数据(比如: 几百万的记录),使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入

可以执行如下指令,将数据脚本文件中的数据加载到表结构中:

-- 客户端连接服务端时,加上参数 -–local-infile
mysql –-local-infile -u root -p
-- 设置全局参数local_infile为1,开启从本地加载文件导入数据的开关
set global local_infile = 1;
-- 执行load指令将准备好的数据,加载到表结构中
load data local infile '/root/sql1.log' into table tb_user fields
terminated by ',' lines terminated by '\n' ;

页分裂

  • 在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表

image-20240108204640054

  • 行数据,都是存储在聚集索引的叶子节点上的。在Innodb引擎中,数据行是记录在逻辑结构page页中的,而每一个页大小是固定的,默认是16K。
  • 也就是说一个页中存储的数据是有限的,如果插入的数据行row在这个页存不下来,就会存储到下一个页中,页与页之间通过指针相连接。
  • 页分裂:页可以为空,也可以填充一半,也可以全部填充。如果一行数据过大,会行溢出,根据主键排列。

主键顺序插入效果:

1、首先从磁盘申请页,主键顺序插入,并且第一页没有满,继续往第一页插入**

image-20240108205458316

2、当第一页写满之后,写入第二页,页与页之间通过指针相连接。

image-20240108205708147

3、第二页写满了之后,在往第三页插入

image-20240108205747029

主键乱序插入效果

1、假设第一页第二页都已经写满了

image-20240108205848223

2、此时在插入一个id是50的数据。此时会开启一个页,但是

不会写入新的页中!!!!

不会写入新的页中!!!!

因为,索引结构的叶子节点是有顺序的,按照顺序应该在47之后。

image-20240108210104660

但是47所在的第一页 已经满了,存不下50的记录了。那么就会开辟一个新的页。但是不会直接存入第三页。

而是会将第一页后一半的数据,移动到第三页。然后在第三页插入id是50的数据。

image-20240108210351992

插入成功之后,发现这三个页的数据顺序是有问题的。1#的下一个是3#。3#的下有个是2#。所以,此时需要重新设置链表指针。

image-20240108210529614

总之:上面的现象就称之为“页分裂”。是比较耗费性能的操作。

页合并

目前表中已有数据的索引结构(叶子节点)如下:

image-20240108210850117

当进行删除2#的数据记录时,如果页中删除的记录达到MERGE_THRESHOLD(默认为页的50%)。InnoDB会开始寻找最靠近的页(前或后)看看是否可以将两个页合并以优化空间使用。

image-20240108211042522

删除数据,并将页合并之后,再次插入新的数据21,则直接插入3#

image-20240108211053582

知识小贴士:

MERGE_THRESHOLD:合并页的阈值,可以自己设置,在创建表或者创建索引时指定。

索引设计原则

  • 满足业务需求的情况下,尽量降低主键的长度。
  • 插入数据时,尽量选择顺序插入,选择使用AUTO_INCREMENT自增主键。
  • 尽量不要使用UUID做主键或者是其他自然主键,如身份证号。
  • 业务操作时,避免对主键的修改。