基础架构:一条SQL查询语句时如何执行的
- mysql的基本架构,可以从客户端发起连接看起:
- 连接器:管理连接,权限验证
- 查询缓存:如果命中,直接返回结果
- 分析器:词法分析,语法分析
- 优化器:执行计划生成、索引选择
- 执行器:操作引擎、返回结果
- 存储引擎:存储数据,提供读写接口
总的来说mysql可以分为server层和存储引擎层
- SERVER层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖了mysql大多数核心服务。以及所有的内置函数(如日期、时间、数学函数),以及所有的跨存储引擎的功能都在这一层实现
- 存储引擎层负责数据的存取和提取,其架构模式时插件式的。从5.5默认innodb存储引擎。可以在创建表时使用engine=memory使用内存引擎创建表。
SERVER层组件
1. 连接器:管理连接,权限验证
- 首先会建立数据库连接,负责客户端建立连接、获取权限、维持和管理连接,连接命令如下
mysql -h$ip -P$port -u$user -p
- 在完成tcp握手后,开始验证身份。
- 如果密码不对,会收到拒绝访问的错误
- 如果正确,连接器会到权限表里查出拥有的权限,之后此连接中的权限判断逻辑,都依赖此时读到的权限,即使管理员对该用户的权限做了修改,也不会影响已存在连接的权限,只有新建连接才会使用新的权限限制
- 在连接完成后,如果没有后续的动作,连接处于空闲状态Sleep,可以用
SHOW PROCESSLIST查看,客户端如果太长没动静,连接器会自动断开,由wait_timeount控制,默认8小时 - 如果连接被断开后,客户端再次发送请求,会收到错误提醒Lost connection to MySQL server during query 此时需要重连,再执行请求
- 全部使用长连接后,mysql内存涨的特别快,因为mysql在执行过程中临时使用的内存是管理在连接对象里面的,这些资源在连接断开时才释放。所以如果长连接累积下来,可能导致内存占用太大,被系统强行杀掉,从现象上看就是mysql异常重启了
- 解决方案:
- 定期断开长连接:使用一段时间,或者程序判断执行过一个占用内存的大查询后,断开连接,之后要查询再连接
- 如果使用的是mysql5.7或者更新,可以在每次执行一个比较大的操作后,执行
mysql_reset_connection来重新初始化连接资源。这个过程不需要重连和重新做权限验证,但是会将连接恢复到刚刚创建完成时的状态
2. 查询缓存:如果命中,直接返回结果
- 当建立连接,执行逻辑就会来到查询缓存
- mysql拿到查询请求后,会先到查询缓存判断之前是否执行过这条语句。之前执行过的语句以及结果可能会以kv缓存在内存中,key是查询语句,value是查询结果,如果能从查询缓存中找到key则value被直接返回
- 大多数情况不建议使用查询缓存:写多读少
- 查询缓存的失效非常频繁,只要有对一个表的更新,这个表上的查询缓存都会被清空。
- 静态表比如系统配置表才适合使用查询缓存
- mysql按需使用缓存的方式
- 将
query_cache_type设置为DEMAND,对于默认的SQL语句都不使用查询缓存,如果需要使用查询缓存则SELECT SQL_CACHE * FROM T WHERE id=10
- 将
- mysql8.0将查询缓存的整块功能删掉了,从8.0起彻底没有查询缓存的功能
3. 分析器:通过词法分析、语法分析解析要做什么
- 当没有命中查询缓存,就要真正开始执行语句。分析器会对SQL语句进行解析
- 分析器先会做词法分析:会将输入的字符串识别出来分别是什么、代表什么
- 其次会做语法分析:判断输入的SQL语句是否满足Mysql的语法
- 分析器的异常一般需要关注
use near之后的内容
4. 优化器:根据成本分析,索引选择确定执行计划
- 优化器是在表里面有多个索引的时候,决定使用哪个索引,或者在一个语句有多表关联的时候决定各个表的连接顺序
- 优化器的作用就是:确定执行方案
5. 执行器
- 先判断对这个表有没有查询权限:如果没有,返回错误;如果有权限,打开表继续执行。
- 打开表的时候,执行器会根据表的引擎定义,去使用引擎提供的接口
- 比如
SELECT * FROM T WHERE id=100的执行流程- 调用Innodb引擎接口取表的第一行,判断id是否是100,如果不是则跳过,如果是则将这行存在结果集中
- 调用引擎接口取下一行,重复相同的判断逻辑,直到取到表的最后一行
- 执行器将所有满足条件的行组成的记录集作为结果集返回给客户端
- 在数据库的慢查询日志中会有一个rows_examined的字段。表示这个语句执行过程中扫描了多少行。这个值就是在执行器每次调用引擎获取数据行时累加的
- 有些场景下:执行器调用一次,在引擎内部扫描了多行。因此引擎扫描行数rows_examined并不是完全相同的。