陪你一起学mysql(二)——架构篇

温故知新之java
177 阅读7分钟

1 前言

上一篇文章陪你一起学mysql(一)——安装篇，我们介绍了mysql的安装，相信很多小伙伴已经在愉快的使用了，那么，今天这篇文章主要来介绍下mysql的架构，我们要做一个知其然，并知其所以然的程序员！主要会从mysql的文件结构，逻辑架构图，mysqlserver层对象，mysql存储引擎等4个方向来分析！

2 mysql的文件结构

  • MySQL是通过文件系统对数据和索引进行存储的
  • MySQL从物理结构上可以分为日志文件和数据索引文件
  • MySQL从物理结构上可以分为日志文件和数据索引文件

2.1 日志文件

MySQL通过日志记录了数据库操作信息和错误信息。常用的日志文件包括错误日志、二进制日志、查询日志、慢查询日志和事务Redo 日志、中继日志等,可以通过命令查看当前数据库中的日志使用情况信息：

show variables like 'log_%'

image.png

  • 错误日志（errorlog）

默认是开启的，而且从5.5.7以后无法关闭错误日志，错误日志记录了运行过程中遇到的所有严重的错误信息,以及MySQL每次启动和关闭的详细信息。默认的错误日志名称：hostname.err。错误日志所记录的信息是可以通过log-error和log-warnings来定义的，其中log-err是定义是否启用错误日志的功能和错误日志的存储位置，log-warnings是定义是否将警告信息也定义至错误日志中。

#可以直接定义为文件路径，也可以为ON|OFF
log_error=/var/log/mysqld.log
#只能使用1|0来定义开关启动，默认是启动的
log_warings=1
  • 二进制日志（bin log）

默认是关闭的，需要通过以下配置进行开启。

log-bin=mysql-bin

其中mysql-bin是binlog日志文件的basename，binlog日志文件的完整名称：mysql-bin-000001.log。binlog记录了数据库所有的ddl语句和dml语句，但不包括select语句内容，语句以事件的形式保存，描述了数据的变更顺序，binlog还包括了每个更新语句的执行时间信息。如果是DDL语句，则直接记录到binlog日志，而DML语句，必须通过事务提交才能记录到binlog日志中。binlog主要用于实现mysql主从复制、数据备份、数据恢复。

  • 通用查询日志（general query log）

默认情况下通用查询日志是关闭的。由于通用查询日志会记录用户的所有操作，其中还包含增删查改等信息，在并发操作大的环境下会产生大量的信息从而导致不必要的磁盘IO，会影响mysql的性能的。如若不是为了调试数据库的目的建议不要开启查询日志。

show global variables like 'general_log';

image.png

开启：

#启动开关
general_log={ON|OFF}
#日志文件变量，而general_log_file如果没有指定，默认名是host_name.log
general_log_file=/PATH/TO/file
#记录类型
log_output={TABLE|FILE|NONE}
  • 慢查询日志（slow query log）

默认是关闭的。记录执行时间超过long_query_time秒的所有查询，便于收集查询时间比较长的SQL语句查询多少SQL超过了慢查询时间的阈值：SHOW GLOBAL STATUS LIKE '%Slow_queries%';

开启设置：

#开启慢查询日志
slow_query_log=ON
#慢查询的阈值
long_query_time=10
#日志记录文件如果没有给出file_name值， 默认为主机名，后缀为-slow.log。如果给出了文件名，
但不是绝对路径名，文件则写入数据目录。
slow_query_log_file= file_name

2.2 数据文件（随机IO）

查看MySQL数据文件：

SHOW VARIABLES LIKE '%datadir%';

image.png

  1. InnoDB数据文件
  • .frm文件：主要存放与表相关的数据信息,主要包括表结构的定义信息
  • .ibd：使用独享表空间存储表数据和索引信息，一张表对应一个ibd文件。
  • .ibdata文件：使用共享表空间存储表数据和索引信息，所有表共同使用一个或者多个ibdata文 件。
  1. MyIsam数据文件
  • .frm文件：主要存放与表相关的数据信息,主要包括表结构的定义信息
  • .myd文件：主要用来存储表数据信息。
  • .myi文件：主要用来存储表数据文件中任何索引的数据树。

3 逻辑架构图

image.png

3.1 Connectors

连接器，指的是不同语言中与SQL的交互

3.2 Management Serveices & Utilities

系统管理和控制工具

3.3 Connection Pool: 连接池

  • 管理用户连接，等待处理连接请求。
  • 负责监听对 MySQL Server 的各种请求，接收连接请求，转发所有连接请求到线程管理模块。每 一个连接上 MySQL Server 的客户端请求都会被分配（或创建）一个连接线程为其单独服务。
  • 而连接线程的主要工作就是负责 MySQL Server 与客户端的通信，接受客户端的命令请求，传递 Server端的结果信息等。线程管理模块则负责管理维护这些连接线程。包括线程的创建，线程的 cache等。

3.4 SQL Interface: SQL接口

接受用户的SQL命令，并且返回用户需要查询的结果。比如select from就是调用SQL Interface

3.5 Parser（解析器）

SQL命令传递到解析器的时候会被解析器验证和解析。主要功能：

  • 将SQL语句进行词法分析和语法分析，解析成语法树，然后按照不同的操作类型进行分类，然后做出针对性的转发到后续步骤，以后SQL语句的传递和处理就是基于这个结构的。
  • 如果在分解过程中遇到错误，那么就说明这个sql语句是不合理的。

3.6 Optimizer（查询优化器）

SQL语句在查询之前会使用查询优化器对查询进行优化。explain语句查看的SQL语句执行计划，就是由查询优化器生成的。

3.7 Cache和Buffer（查询缓存）

它的主要功能是将客户端提交给MySQL的select请求的返回结果集 cache 到内存中，与该query 的一个 hash 值做一个对应。该 Query 所取数据的基表发生任何数据的变化之后， MySQL会自动使该query的Cache失效。在读写比例非常高的应用系统中，Query Cache对性能的提高是非常显著的。当然它对内存的消耗也是非常大的。

如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等

Pluggable Storage Engines(存储引擎)

与其他数据库例如Oracle 和SQL Server等数据库中只有一种存储引擎不同的是，MySQL有一个被称为 “Pluggable Storage Engine Architecture”(可插拔的存储引擎架构)的特性，也就意味着MySQL数据库提供了多种存储引擎。而且存储引擎是针对表的，用户可以根据不同的需求为数据表选择不同的存储引擎，用户也可以根据自己的需要编写自己的存储引擎。也就是说，同一数据库不同的表可以选择不同的存储引擎.

creat table xxx()engine=InnoDB/Memory/MyISAM

简而言之，存储引擎就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。

结束

此次分享的mysql架构就这么多了，需要交流学习可以关注公众号【温故知新之java】，互相学习，一起进步。这里留一个小疑问：在navicat等mysql工具中，我们看到的只是输入一条语句，返回一个结果，那这条语句在 MySQL 内部到底是怎样的一个执行过程呢？下篇文章带你了解一条sql的前世今生！

我正在参与掘金技术社区创作者签约计划招募活动，点击链接报名投稿

avatar
文章
阅读
粉丝