「这是我参与 2022 首次更文挑战的第 5 天,活动详情查看:2022 首次更文挑战」
学而不思则罔,思而不学则殆。
前言
在日常的项目开发过程中,大部分的业务都会涉及到数据的存储和读取,而 mysql 作为开发过程中常用的存储设备,了解清楚才能进行更好的开展业务。今天就从 mysql 性能优化作为切入点,了解一下 mysql 新能优化的主要关注点,在日常的工作以及面试过程中都可以展示自己扎实的基础知识。
mysql 性能优化的关注点
其实,mysql 性能优化不是简单的知道和使用 explain 和 show profile 就天下无敌了,这两个只是重要的方面,何况作为资深的 CRUD 工程师还未必经常使用,任何的知识都是 了解->熟悉->精通,当真正的了解原理或者系统的掌握才是真正的悟道。接下来开始进入正题,mysql 又能优化主要为 4 个方面:
- 1 硬件资源和操作系统方面的优化
- 2 架构设计方面的优化
- 3
mysql服务配置项的优化 - 4
sql执行层面的优化
硬件和操作系统方面的优化
硬件和操作系统就是指 mysql 服务所运行的服务器硬件资源情况,影响 mysql 性能的主要因素分为 cpu 、内存大小、磁盘读写速度、网络带宽,硬件是指操作系统的网络配置和系统文件句柄数设置(linux 系统中,一切皆文件,了解过 ES 搭建的同学都知道,ES 的搭建就需要修改系统最大打开的文件数) ,这部分的优化一般由运维工程师和 DBA 联合完成,在项目开发伊始,可以根据业务需要承载的数据量和 TPS 要求根据经验,考虑后续的业务扩展性,选择与业务相适配的 mysql 服务。
架构设计方面的优化
mysql 是一个磁盘 io 访问频繁的关系型数据库,在高并发和高性能的应用场景中会承受巨大的压力,可以采取以下措施来应对:
- 1 搭建
mysql主从集群,单个mysql服务一旦宕机,将会导致依赖mysql服务的应用无法响应导致服务不可用,可以采用采用主从集群或者主主集群避免单点故障,保障mysql服务的高可用性。 - 2 读写分离设计,在读多写少的场景中,可以采用读写分离的方案避免读写冲突导致的性能问题。
- 3 采用分库分表的设计。通过分库可以降低单个
mysql服务器的io压力,通过分表的机制可以降低单表数据量,提高sql的查询效率。 - 4 热点数据引入
Nosql。引入Redis或者MongoDB等非关系型数据库,可以缓解mysql的访问压力,提升数据的检索性能。
mysql 程序配置优化。
mysql 配置文件的优化,一般通过 mysql 配置文件 my.cnf 来设置。配置项一般包括:
mysql的最大连接数max_connections(注意这里说的不是项目中设置的数据库连接池的连接数)- 最大的传输包(
max_allowed_packet = 16M) - 开启
bin log(默认不开启,主要用在mysql同步的场景中) general log(通用日志记录sql的执行记录)来记录日志- 还有就是缓冲区(
buffer pool), 包括: 关联查询缓冲区join_buffer_size=128M, 读数据缓冲区read_buffer_size=16M,随机读缓冲区read_rnd_buffer_size=32M,排序数据缓冲区sort_buffer_size=32M,innodb数据缓冲区innodb_buffer_pool_size=4G。
这些参数的配置一般和服务器的资源和使用场景有关,需要根据实际情况来设置。配置项的修改需要关注两个点,一是配置的作用范围,分为会话级别和全局范围,全局参数对已经存在的会话不会生效,会话参数设置只在当前会话生效,会话结束则配置失效,全局类的配置放在默认的配置文件中,否则服务重启将会失效。第二是否支持热加载
sql 执行层面优化
sql 执行层面优化的要点如下:
- 1 慢
sql查询分析,通过慢sql查询日志和慢sql查询分析工具来定位有问题的sql列表 - 2 执行计划。通过
explain 关键字 + 慢 sql查看当前sql的执行计划,需要重点关注select_type、type、 key、 rows、 filterd、 possible_keys来分析 sql 慢的原因. - 3 使用
show profile工具来分析,该工具是mysql提供的分析当前会话中sql语句资源消耗情况的工具,可以用于sql调优的测量,当前会话中默认是关闭的状态,需要根据情况打开,默认保存最近15次的分析结果,针对慢sql可以通过show profile工具来进行详细分析,得到整个过程中所以资源的开销情况,比如io开销cpu开销和内存开销等情况
最终总结
- 1
sql的查询一定要根据索引来进行数据扫描 - 2 避免查询列上使用函数运算或者运算符,避免索引失效
- 3
where条件语句中like %好尽量放置在右边 - 4 使用索引扫描,联合索引的列从左往右,命中的越多越好
- 5
sql语句的排序字段尽量是索引字段,否则会开辟空间进行结果排序 - 6 查询语句避免使用
*号,使用需要查询的列信息即可。 - 7 关联查询或者子查询使用小结果集驱动大结果集。