千万级、百万级数据删除优化

1,627 阅读1分钟

场景:

在mysql上面删除大量数据(千万级),由于不是清空数据,故不能使用TRUNCATE 语句(有个TRUNCATE可参考:MySQL DELETE语句与TRUNCATE TABLE语句

问题:

  1. 在正常DELETE下,删除十分缓慢;
  2. 由于索引的原因,每次删除都要相应的更新索引,越往后索引碎片越多,即越往后越慢

解决方案:

  1. 完整备份;
  2. 保存索引DDL,删除索引,删除速率与索引量成正比;保存索引DDL,删除索引,删除速率与索引量成正比;
  3. 关闭日志记录;
  4. 删除后重建索引

TIP: 如果需要保留的数据比较少的话,可以把要保留的数据备份出来。DROP原表,重新创建,先不要急着创建索引、主键,把数据导回去,然后在建索引、约束之类的。