MySQL架构和组件

287 阅读11分钟

mysql架构以及各个组件之间的关联

service层包含了mysql大多数核心功能,除了图中标注的连接器,查询缓存,分析器,优化器,执行器,还有所有的内置函数(日期,时间,数学和加密函数),所有跨存储引擎的功能都在这一层实现:存储过程、触发器、视图等。

存储引擎层 负责mysql中数据的存储和提取。和Linux下的各种文件系统一样,每个存储引擎都有自己的优势和劣势,各种存储引擎通过提供API和service层对接,通过API屏蔽各种存储引擎之间的差异。常见的存储引擎有InnoDB(安全,支持事务)、MyISAM(文件分为格式文件,数据文件,索引文件,支持压缩)、Memory(数据在内存中,快),现在最常用的是InnoDB,也是从mysql5.5版本开始成为默认的存储引擎,在5.5之前默认的是MyISAM。

1.连接器

连接器是mysql service层的第一个模块,也是处理客户端请求的第一个模块。

客户端和服务端的连接是使用经典的tcp协议,经过tcp握手之后,连接器开始进行身份验证。

登录命令

mysql -h$ip -P$port -u$user -p

#例如:交互输入密码

mysql -hlocalhost -P3306 -uroot -p

需要在bin目录下执行

C:\Program Files\MySQL\MySQL Server 8.0\bin>mysql -uroot -p

Enter password: ******
  • 如果账号或者密码错误,会提示Access denied for user

  • 如果正确则认证通过,会查询当前用户的权限,之后用户的操作都是在这个权限范围中,如果在连接期间修改权限也是无效的,需要重新连接才会生效。

如下命令也是可以的,但是这种命令会把密码暴漏出来,建议还是使用如上图方式,采用交互交互输入密码更安全。

C:\Program Files\MySQL\MySQL Server 8.0\bin>mysql -uroot -p123456

数据库建立连接的过程比较复杂,尽量使用长连接来减少建立连接的动作。但是全部使用长连接会导致MySQL占用的内存涨的特别快,因为MySQL在执行过程中临时使用的内存是管理在连接对象里面,这些资源在连接断开的时候才会得到释放。当内存占用太大的时候,就会被系统强行杀掉(OOM),造成MySQL异常重启。

考虑以下两种方案来解决这个问题:

  • 定期断开长连接。
  • 每次执行一个占用内存比较大的查询后,执行mysql_reset_connection重新初始化连接资源。这个过程不需要重连和重新做权限验证,但会将连接恢复到刚创建的状态。

2.查询缓存(mysql8.0已去除)

客户端发送一个sql查询请求后,会先去缓存中查看是否存在。如果之前这条sql已经执行过,而且结果缓存起来,那么这次查询就会直接从缓存中获取结果返回,不会在走分析器,优化器,执行器。如果缓存中没有命中,才会继续走后面的模块。

缓存以key-value的形式存储,存放在一个引用表中,key是一个hash值,通过一个哈希值的引用,这个哈希值包括查询本身(sql),当前要查询的数据库,客户端协议的版本等一些其他会影响返回结果的的信息,查询结果作为value(任何字符上的变化,例如空格,注释都会导致缓存不命中)。

如果表被更改,所有的缓存都将失效,表的更改是指数据的改变和表结构的改变,包括INSERT、UPDATE、 DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE等。

对于经常变更的数据库来说缓存命中率就很低了 ,查询缓存往往弊大于利,所以不建议使用mysql的缓存,而对于长时间不变化的表可以使用redis缓存。mysql在8.0就完全去掉查询缓存模块了。

3.分析器

我们根据mysql语法写出来一个sql之后交给服务层,分析器对sql语句进行词法分析和语法分析。

Mysql通过识别字符串中列名、表名、where、select/update/insert 等mysql关键字,在根据语法规则判断sql是否满足语法,最终会生成一个抽象语法树(AST)。

mysql分析器使用mysql语法规则验证和解析查询,例如验证是否使用错误的关键字或者使用关键字的顺序是否正确,再或者会验证引号是否能前后正确匹配。

如果关键字有误会提示

You have an error in your SQL syntax的信息,具体错误需要关注use near后的内容

4.优化器

经过分析器生成的语法树被认为是合法的,并由优化器转化成执行计划

mysql判断出了这条sql需要做什么之后,对其进行各种优化,包括重写查询,决定表的读取顺序,以及选择合适的索引等。

mysql使用基于成本优化的优化器,尝试预测一个查询使用某种执行计划时的成本,选择最小的那一个。

例如表中有多个索引的时候决定使用哪一个;使用联合索引的时候,会根据索引调整where条件的顺序;

如果想知道优化器是怎么进行优化决策的,可以通过explain获取优化的信息。

explain具体的使用和解释:

mp.weixin.qq.com/s?__biz=Mzg…

5.执行器

调用存储引擎的API操作数据

优化器完成sql的优化后,提供一个执行计划给执行器,执行器开始执行这个执行计划来操作数据。

执行查询阶段:mysql只是简单的根据执行计划给出的指令逐步执行,通过调用存储引擎实现的接口来完成的。

  • 客户端发送一条查询给服务器。
  • 服务器先检查查询缓存,如果命中缓存则直接返回缓存中的结果。否则进入下一阶段。
  • 服务器进行sql解析,预处理,再由优化器生成执行计划。
  • mysql根据执行计划,调用存储引擎的API来执行查询。
  • 将结果返回给客户端。

6.存储引擎

存储引擎是针对表的而不是库,对于同一个库不同的表可以使用不同的存储引擎

常见的存储引擎有 MyISAMInnoDBMemory。

查看更多以及当前支持的存储引擎:

mysql> show engines;

+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+

| Engine             | Support | Comment                                                        | Transactions | XA   | Savepoints |

+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+

| MEMORY             | YES     | Hash based, stored in memory, useful for temporary tables      | NO           | NO   | NO         |

| MRG_MYISAM         | YES     | Collection of identical MyISAM tables                          | NO           | NO   | NO         |

| CSV                | YES     | CSV storage engine                                             | NO           | NO   | NO         |

| FEDERATED          | NO      | Federated MySQL storage engine                                 | NULL         | NULL | NULL       |

| PERFORMANCE_SCHEMA | YES     | Performance Schema                                             | NO           | NO   | NO         |

| MyISAM             | YES     | MyISAM storage engine                                          | NO           | NO   | NO         |

| InnoDB             | DEFAULT | Supports transactions, row-level locking, and foreign keys     | YES          | YES  | YES        |

| BLACKHOLE          | YES     | /dev/null storage engine (anything you write to it disappears) | NO           | NO   | NO         |

| ARCHIVE            | YES     | Archive storage engine                                         | NO           | NO   | NO         |

+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+

9 rows in set (0.06 sec)
  1. 在新建表的时候可以选择存储引擎
CREATE TABLE  'user'  (

  'id' bigint(20) 

) ENGINE = MyISAM

ENGINE = MyISAM 代表这个表的存储引擎是MyISAM 。
  1. 查看表相关信息,例如mysql库中的user表
  • 使用show table status 查看表信息(不限版本)

需要先切换到对应的数据库下再执行此命令

mysql> show table status like 't_stu' \G;

*************************** 1. row ***************************

           Name: t_stu

         Engine: InnoDB

        Version: 10

     Row_format: Dynamic

           Rows: 1

 Avg_row_length: 16384

    Data_length: 16384

Max_data_length: 0

   Index_length: 0

      Data_free: 0

 Auto_increment: NULL

    Create_time: 2021-12-23 16:58:18

    Update_time: 2021-12-23 16:59:25

     Check_time: NULL

      Collation: utf8mb4_0900_ai_ci

       Checksum: NULL

 Create_options:

        Comment:

1 row in set (0.05 sec)



ERROR:

No query specified
  • 还可以使用information_schema查看表信息(mysql5.0以后的版本支持)
mysql>  select * from information_schema.tables where table_name = 't_stu' \G;

*************************** 1. row ***************************

  TABLE_CATALOG: def

   TABLE_SCHEMA: lgc

     TABLE_NAME: t_stu

     TABLE_TYPE: BASE TABLE

         ENGINE: InnoDB

        VERSION: 10

     ROW_FORMAT: Dynamic

     TABLE_ROWS: 1

 AVG_ROW_LENGTH: 16384

    DATA_LENGTH: 16384

MAX_DATA_LENGTH: 0

   INDEX_LENGTH: 0

      DATA_FREE: 0

 AUTO_INCREMENT: NULL

    CREATE_TIME: 2021-12-23 16:58:18

    UPDATE_TIME: 2021-12-23 16:59:25

     CHECK_TIME: NULL

TABLE_COLLATION: utf8mb4_0900_ai_ci

       CHECKSUM: NULL

 CREATE_OPTIONS:

  TABLE_COMMENT:

1 row in set (0.00 sec)



ERROR:

No query specified

简单介绍下输出字段的含义:

Name: 表名。

Engine: 存储引擎。

Version:版本,默认10。

Row_format: 行的格式。

Rows: 表中的行数,对应MyISAM和其他一些存储引擎,该值是精确的; 而InnoDB该值是估计的。

Avg_row_length: 平均每行包含的字节数。

Data_length: 表数据的大小(字节)。

Max_data_length: 表数据的最大容量(和存储引擎有关)。

Index_length: 索引的大小(字节)。

Data_free: 对于MyISAM表,表示已经分配但是没有使用的空间。

Auto_increment: 下一个auto_increment值。

Create_time: 表的创建时间。

Update_time: 表数据最后修改时间。

Check_time: 使用check table命令或者myisamchk工具最后一次检查表的时间。

Collation: 表的默认字符集和字符列排序规则。

Checksum: 如果启用保存的是整个表的实时校验和。

Create_options: 创建表是指定的其他选项。

Comment: 包含其他额外信息。

6.1 InnoDB

InnoDB是mysql5.5.x开始默认的事务型引擎,也是使用最广泛的存储引擎。被设计用来处理大量短期事务的。

InnoDB所有的表都保存在同一个数据文件中(也可能是多个文件,或者是独立的表空间文件),表的大小只受限于操作系统文件的大小。表的结构定义存在 .frm后缀文件中,数据和索引集中存放在 .idb后缀文件中。因为表数据和索引是在同一个文件,所以InnoDB的索引是属于聚簇索引

InnoDB采用MVCC支持高并发,并且实现了四种标准的隔离级别(读未提交,读已提交,可重复读,可串行化),其默认级别是REPEATABLE-READ(可重复读),并且通过间隙锁(next-key locking)策略防止幻读的出现。间隙锁不仅仅锁定查询涉及的行,还会对索引中的间隙行进行锁定,以防止幻影行的插入。

InnoDB表是基于聚簇索引建立的,聚簇索引对主键的查询有很高的性能。但是InnoDB的非主键索引中必须包含主键列,所以如果主键列很大的话,非主键索引也会很大。如果一张表的索引较多,主键应该尽可能的小。

InnoDB的内部优化,包括磁盘预读(从磁盘读取数据时采用可预测性读取),自适应哈希(自动在内存中创建hash索引以加速读操作)以及能够加速插入操作的插入缓冲区

6.2 MyISAM

在mysql5.1及之前的版本,MyISAM是默认的存储引擎。提供了大量的特性,包括全文索引,压缩,空间函数等,但是不支持事务和行级锁,只有表锁,而且有一个严重的问题是崩溃后无法安全恢复。

MyISAM的数据表存储在磁盘上是3个文件,表结构定义存在 .frm后缀文件中,表数据存储在 .MYD后缀文件中,表索引存储在 .MYI后缀文件中。表数据和表索引在不同的文件中,所以MyISAM索引是非聚簇索引。而且MyISAM可以存储表数据的总行数

MyISAM表支持数据压缩,对于表创建后并导入数据以后,不需要修改操作,可以采用MyISAM压缩表。压缩命令:myisampack,压缩表可以极大的减少磁盘空间占用,因此也可以减少磁盘I/O,提高查询性能。而且压缩表中的数据是单行压缩,所以单行读取是不需要解压整个表。

6.3 Memory

Memory存储引擎的数据是存放在内存中的,所以如果服务器重启会导致数据丢失,但是表结构还是存在的,表结构是存储在以 .frm 为后缀的文件中。

Memory默认hash索引,因此查询非常快。Memory表是表级锁,因此并发写入的性能较低。不支持BLOB或TEXT类型的列,并且每行的长度都是固定的,所以即使指定了varchar列实际存储也会转换成char,会导致内存浪费。

如果mysql查询过程中需要使用临时表来保存中间结果,内部使用的临时表就是Memory表,如果中间结果太大超出Memory表的限制或者含有BLOB或TEXT字段,那么临时表会转换成MyISAM表。

上面介绍了三种,你如何选择存储引擎呢:

  • 事务 :目前只有Innodb能完美的支持事务。
  • 备份 :只有Innodb有免费的在线热备方案,mysqldump不算在线热备的方案,它需要对数据加锁。
  • 崩溃恢复:myisam表由于系统崩溃导致数据损坏的概率比Innodb高很多,而且恢复速度也没有innodb快。
  • 特有的特性:如需要聚簇索引,那就需要选择innodb存储引擎,有的需要使用地理空间搜索,那就选择myisam 。

mysql中MyISAM和InnoDB有什么区别:

mp.weixin.qq.com/s?__biz=Mzg…