01 MySQL实战45讲:一条查询语句如何执行的

122 阅读5分钟

基础架构:一条SQL查询语句时如何执行的

  • mysql的基本架构,可以从客户端发起连接看起:
    • 连接器:管理连接,权限验证
    • 查询缓存:如果命中,直接返回结果
    • 分析器:词法分析,语法分析
    • 优化器:执行计划生成、索引选择
    • 执行器:操作引擎、返回结果
    • 存储引擎:存储数据,提供读写接口

总的来说mysql可以分为server层和存储引擎层

  • SERVER层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖了mysql大多数核心服务。以及所有的内置函数(如日期、时间、数学函数),以及所有的跨存储引擎的功能都在这一层实现
  • 存储引擎层负责数据的存取和提取,其架构模式时插件式的。从5.5默认innodb存储引擎。可以在创建表时使用engine=memory使用内存引擎创建表。

SERVER层组件

1. 连接器:管理连接,权限验证

  • 首先会建立数据库连接,负责客户端建立连接、获取权限、维持和管理连接,连接命令如下
mysql -h$ip -P$port -u$user -p
  • 在完成tcp握手后,开始验证身份。
    • 如果密码不对,会收到拒绝访问的错误
    • 如果正确,连接器会到权限表里查出拥有的权限,之后此连接中的权限判断逻辑,都依赖此时读到的权限,即使管理员对该用户的权限做了修改,也不会影响已存在连接的权限,只有新建连接才会使用新的权限限制
  • 在连接完成后,如果没有后续的动作,连接处于空闲状态Sleep,可以用SHOW PROCESSLIST查看,客户端如果太长没动静,连接器会自动断开,由wait_timeount控制,默认8小时
  • 如果连接被断开后,客户端再次发送请求,会收到错误提醒Lost connection to MySQL server during query 此时需要重连,再执行请求
  • 全部使用长连接后,mysql内存涨的特别快,因为mysql在执行过程中临时使用的内存是管理在连接对象里面的,这些资源在连接断开时才释放。所以如果长连接累积下来,可能导致内存占用太大,被系统强行杀掉,从现象上看就是mysql异常重启了
  • 解决方案:
    • 定期断开长连接:使用一段时间,或者程序判断执行过一个占用内存的大查询后,断开连接,之后要查询再连接
    • 如果使用的是mysql5.7或者更新,可以在每次执行一个比较大的操作后,执行mysql_reset_connection来重新初始化连接资源。这个过程不需要重连和重新做权限验证,但是会将连接恢复到刚刚创建完成时的状态

2. 查询缓存:如果命中,直接返回结果

  • 当建立连接,执行逻辑就会来到查询缓存
  • mysql拿到查询请求后,会先到查询缓存判断之前是否执行过这条语句。之前执行过的语句以及结果可能会以kv缓存在内存中,key是查询语句,value是查询结果,如果能从查询缓存中找到key则value被直接返回
  • 大多数情况不建议使用查询缓存:写多读少
    • 查询缓存的失效非常频繁,只要有对一个表的更新,这个表上的查询缓存都会被清空。
    • 静态表比如系统配置表才适合使用查询缓存
  • mysql按需使用缓存的方式
    • query_cache_type设置为DEMAND,对于默认的SQL语句都不使用查询缓存,如果需要使用查询缓存则SELECT SQL_CACHE * FROM T WHERE id=10
  • mysql8.0将查询缓存的整块功能删掉了,从8.0起彻底没有查询缓存的功能

3. 分析器:通过词法分析、语法分析解析要做什么

  • 当没有命中查询缓存,就要真正开始执行语句。分析器会对SQL语句进行解析
    • 分析器先会做词法分析:会将输入的字符串识别出来分别是什么、代表什么
    • 其次会做语法分析:判断输入的SQL语句是否满足Mysql的语法
  • 分析器的异常一般需要关注use near之后的内容

4. 优化器:根据成本分析,索引选择确定执行计划

  • 优化器是在表里面有多个索引的时候,决定使用哪个索引,或者在一个语句有多表关联的时候决定各个表的连接顺序
  • 优化器的作用就是:确定执行方案

5. 执行器

  • 先判断对这个表有没有查询权限:如果没有,返回错误;如果有权限,打开表继续执行。
  • 打开表的时候,执行器会根据表的引擎定义,去使用引擎提供的接口
  • 比如SELECT * FROM T WHERE id=100的执行流程
    • 调用Innodb引擎接口取表的第一行,判断id是否是100,如果不是则跳过,如果是则将这行存在结果集中
    • 调用引擎接口取下一行,重复相同的判断逻辑,直到取到表的最后一行
    • 执行器将所有满足条件的行组成的记录集作为结果集返回给客户端
  • 在数据库的慢查询日志中会有一个rows_examined的字段。表示这个语句执行过程中扫描了多少行。这个值就是在执行器每次调用引擎获取数据行时累加的
    • 有些场景下:执行器调用一次,在引擎内部扫描了多行。因此引擎扫描行数rows_examined并不是完全相同的。

存储引擎层