高级篇(day02)-Linux下Mysql的数据目录介绍

1,083 阅读25分钟

Mysql的数据目录

参考链接#MySQL数据库(mysql安装/基础/高级/优化)

1、MySQL8的主要目录结构

对比windows中Mysql的目录:

image.png

Linux系统查看Mysql对应的一些目录

#查找mysql对应的一些文件目录
[root@HDU001 ~]# find / -name mysql
/etc/selinux/targeted/tmp/modules/100/mysql
/etc/selinux/targeted/active/modules/100/mysql
/etc/logrotate.d/mysql
/var/lib/mysql
/var/lib/mysql/mysql
/usr/bin/mysql
/usr/lib64/mysql
[root@HDU001 ~]#

1.1、数据库文件的存放路径

MySQL数据库文件的存放路径:/var/lib/mysql/

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件,之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中,这个目录就称为数据目录

MySQL把数据都存到哪个路径下呢?其实数据目录对应着一个系统变量datadir,我们在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了:

mysql> show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| datadir       | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.03 sec)

从结果中可以看出,在我的计算机上MySQL的数据目录就是 /var/lib/mysql/ 。查看该目录:

[root@HDU001 ~]# cd /var/lib/mysql
[root@HDU001 mysql]# ll
总用量 188880
-rw-r-----. 1 mysql mysql       56 1月  13 16:19 auto.cnf
-rw-r-----. 1 mysql mysql      498 1月  13 16:37 binlog.000001
-rw-r-----. 1 mysql mysql      156 1月  16 21:12 binlog.000002
-rw-r-----. 1 mysql mysql      156 1月  16 21:12 binlog.000003
-rw-r-----. 1 mysql mysql       48 1月  16 21:12 binlog.index
-rw-------. 1 mysql mysql     1676 1月  13 16:19 ca-key.pem
-rw-r--r--. 1 mysql mysql     1112 1月  13 16:19 ca.pem
-rw-r--r--. 1 mysql mysql     1112 1月  13 16:19 client-cert.pem
-rw-------. 1 mysql mysql     1676 1月  13 16:19 client-key.pem
-rw-r-----. 1 mysql mysql   196608 1月  16 21:14 #ib_16384_0.dblwr
-rw-r-----. 1 mysql mysql  8585216 1月  13 16:19 #ib_16384_1.dblwr
-rw-r-----. 1 mysql mysql     3533 1月  13 16:37 ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 1月  16 21:12 ibdata1
-rw-r-----. 1 mysql mysql 50331648 1月  16 21:14 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 1月  13 16:19 ib_logfile1
-rw-r-----. 1 mysql mysql 12582912 1月  16 21:12 ibtmp1
drwxr-x---. 2 mysql mysql     4096 1月  16 21:12 #innodb_temp
drwxr-x---. 2 mysql mysql     4096 1月  13 16:19 mysql
-rw-r-----. 1 mysql mysql 25165824 1月  16 21:12 mysql.ibd
srwxrwxrwx. 1 mysql mysql        0 1月  16 21:12 mysql.sock
-rw-------. 1 mysql mysql        5 1月  16 21:12 mysql.sock.lock
drwxr-x---. 2 mysql mysql     4096 1月  13 16:19 performance_schema
-rw-------. 1 mysql mysql     1680 1月  13 16:19 private_key.pem
-rw-r--r--. 1 mysql mysql      452 1月  13 16:19 public_key.pem
-rw-r--r--. 1 mysql mysql     1112 1月  13 16:19 server-cert.pem
-rw-------. 1 mysql mysql     1680 1月  13 16:19 server-key.pem
drwxr-x---. 2 mysql mysql     4096 1月  13 16:19 sys
-rw-r-----. 1 mysql mysql 16777216 1月  16 21:14 undo_001
-rw-r-----. 1 mysql mysql 16777216 1月  16 21:14 undo_002
[root@HDU001 mysql]# 

这个就相当于我们windows下c盘的mysql里面的Data目录

1.2、相关命令目录

相关命令目录:/usr/bin(mysqladmin、mysqlbinlog、mysqldump等命令)和/usr/sbin。

[root@HDU001 mysql]# cd /usr/bin
[root@HDU001 bin]# ls

如下就是与Mysql有关的一些命令

image.png

安装目录下非常重要的bin目录,它里边存储了许多关于控制客户端程序和服务器程序的命令(许多可执行文件,比如mysql,mysqld, mysqld_ safe等)。而数据目录是用来存储MySQL在运行过程中产生的数据,注意区分开二者。

1.3、配置文件目录

配置文件目录:

  • /usr/share/mysql-8.0(命令及配置文件)
  • /etc(如my.cnf)
[root@HDU001 bin]# cd /usr/share/mysql-8.0
[root@HDU001 mysql-8.0]# ll
总用量 1088
drwxr-xr-x. 2 root root   4096 1月  13 16:12 bulgarian
drwxr-xr-x. 2 root root   4096 1月  13 16:12 charsets
drwxr-xr-x. 2 root root   4096 1月  13 16:12 czech
drwxr-xr-x. 2 root root   4096 1月  13 16:12 danish
-rw-r--r--. 1 root root  25575 7月   1 2021 dictionary.txt
drwxr-xr-x. 2 root root   4096 1月  13 16:12 dutch
drwxr-xr-x. 2 root root   4096 1月  13 16:12 english
drwxr-xr-x. 2 root root   4096 1月  13 16:12 estonian
drwxr-xr-x. 2 root root   4096 1月  13 16:12 french
drwxr-xr-x. 2 root root   4096 1月  13 16:12 german
drwxr-xr-x. 2 root root   4096 1月  13 16:12 greek
drwxr-xr-x. 2 root root   4096 1月  13 16:12 hungarian
-rw-r--r--. 1 root root   3999 7月   1 2021 innodb_memcached_config.sql
-rw-r--r--. 1 root root   2216 7月   1 2021 install_rewriter.sql
drwxr-xr-x. 2 root root   4096 1月  13 16:12 italian
drwxr-xr-x. 2 root root   4096 1月  13 16:12 japanese
drwxr-xr-x. 2 root root   4096 1月  13 16:12 korean
-rw-r--r--. 1 root root 610894 7月   1 2021 messages_to_clients.txt
-rw-r--r--. 1 root root 348904 7月   1 2021 messages_to_error_log.txt
-rw-r--r--. 1 root root   1977 7月   1 2021 mysql-log-rotate
drwxr-xr-x. 2 root root   4096 1月  13 16:12 norwegian
drwxr-xr-x. 2 root root   4096 1月  13 16:12 norwegian-ny
drwxr-xr-x. 2 root root   4096 1月  13 16:12 polish
drwxr-xr-x. 2 root root   4096 1月  13 16:12 portuguese
drwxr-xr-x. 2 root root   4096 1月  13 16:12 romanian
drwxr-xr-x. 2 root root   4096 1月  13 16:12 russian
drwxr-xr-x. 2 root root   4096 1月  13 16:12 serbian
drwxr-xr-x. 2 root root   4096 1月  13 16:12 slovak
drwxr-xr-x. 2 root root   4096 1月  13 16:12 spanish
drwxr-xr-x. 2 root root   4096 1月  13 16:12 swedish
drwxr-xr-x. 2 root root   4096 1月  13 16:12 ukrainian
-rw-r--r--. 1 root root   1248 7月   1 2021 uninstall_rewriter.sql

查看/etc目录:

[root@HDU001 mysql-8.0]# cd /etc
[root@HDU001 etc]# ls

结果:

image.png

1.4、Mysql文件目录总结及补充

image.png

Linux环境下MySQL5.7的安装目录【差别不大】

路径解释
/var/lib/mysqlMySQL数据库文件存放位置
/usr/share/mysql错误消息和字符集文件配置
/usr/bin客户端程序和脚本
/etc/init.d/mysql启停脚本相关

1.5、Mysql配置文件

mysql配置文件在windows上叫my.ini文件,在Linux下叫/etc/my.cnf文件。

MySQL配置文件讲解:www.cnblogs.com/gaoyuechen/…

主要部分如下:

1、二进制日志文件log-bin:主从复制。

# my.cnf
# 开启mysql binlog功能
log-bin=mysql-bin

2、错误日志log-error:默认是关闭的,记录严重的警告和错误信息,每次启动和关闭的详细信息等。

# my.cnf
# 数据库错误日志文件
log-error = error.log

3、查询日志log:默认关闭,记录查询的sql语句,如果开启会降低MySQL整体的性能,因为记录日志需要消耗系统资源。

# my.cnf
# 慢查询sql日志设置
slow_query_log = 1
slow_query_log_file = slow.log

2、数据库和文件系统的关系

像InnoDB、MyISAM 这样的存储引擎都是把表存储在磁盘上的,操作系统用来管理磁盘的结构被称为文件系统,所以用专业一点的话来表述就是:像InnoDB、MyISAM 这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候,这些存储引擎会从文件系统中把数据读出来返回给我们,当我们想写入数据的时候,这些存储引擎会把这些数据又写回文件系统。本章学习一下 InnoDB和MyISAM这两个存储引擎的数据如何在文件系统中存储。

2.1、查看默认数据库

查看一下在我的计算机上当前有哪些数据库:

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.02 sec)

可以看到有4个数据库是属于MySQL自带的系统数据库。

mysql

MySQL 系统自带的核心数据库,它存储了MySQL的用户账户和权限信息(mysql数据库里面的user表),一些存储过程、事件的定义信息,一些运行过程中产生的日志信息,一些帮助信息以及时区信息等。

涉及到了一些用户和应有的权限(在基础总结的时候讲过,如下面的root用户所有权限都有)

mysql> select * from user\G;
*************************** 4. row ***************************
                    Host: localhost
                    User: root
             Select_priv: Y
             Insert_priv: Y
             Update_priv: Y
             Delete_priv: Y
             Create_priv: Y
               Drop_priv: Y
             Reload_priv: Y
           Shutdown_priv: Y
            Process_priv: Y
               File_priv: Y
              Grant_priv: Y
         References_priv: Y
              Index_priv: Y
              Alter_priv: Y
            Show_db_priv: Y
              Super_priv: Y
   Create_tmp_table_priv: Y
        Lock_tables_priv: Y
            Execute_priv: Y
mysql> use mysql;
mysql> select host,user from user;
+-----------+------------------+
| host      | user             |
+-----------+------------------+
| localhost | mysql.infoschema |
| localhost | mysql.session    |
| localhost | mysql.sys        |
| localhost | root             |
+-----------+------------------+
4 rows in set (0.00 sec)

information_schema

MySQL 系统自带的数据库,这个数据库保存着MySQL服务器维护的所有其他数据库的信息 ,比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据,而是一些 描述性信息,有时候也称之为元数据。在系统数据库 information_schema 中提供了一些以 innodb_sys 开头的表,用于表示内部系统表。

mysql> USE information_schema;  
mysql> SHOW TABLES LIKE 'innodb_sys%'; 

performance_schema

MySQL 系统自带的数据库,这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,可以用来 监控 MySQL 服务的各类性能指标 。包括统计最近执行了哪些语句,在执行过程的每个阶段都 花费了多长时间,内存的使用情况等信息。

sys

MySQL 系统自带的数据库,这个数据库主要是通过 视图 的形式把 information_schema 和 performance_schema 结合起来,帮助系统管理员和开发人员监控 MySQL 的技术性能。

2.2、数据库在文件系统中的表示

使用 CREATE DATABASE 数据库名语句创建一个数据库的时候, 在文件系统上实际发生了什么呢?其实很简单,每个数据库都对应数据目录下的一个子目录,或者说对应一个文件夹,每当新建一个数据库时,MySQL会帮我们做这两件事儿:

  1. 数据目录下创建一个和数据库名同名的子目录。
  2. 在与该数据库名同名的子目录下创建一个名为db.opt的文件(仅限MySQL5.7及之前版本),这个文件中包含了该数据库的各种属性,比如该数据库的字符集和比较规则。

看一下计算机上的数据目录下的内容:

[root@HDU001 ~]# cd /var/lib/mysql
[root@HDU001 mysql]# ll
总用量 188880
-rw-r-----. 1 mysql mysql       56 1月  13 16:19 auto.cnf
-rw-r-----. 1 mysql mysql      498 1月  13 16:37 binlog.000001
-rw-r-----. 1 mysql mysql      156 1月  16 21:12 binlog.000002
-rw-r-----. 1 mysql mysql      156 1月  16 21:12 binlog.000003
-rw-r-----. 1 mysql mysql       48 1月  16 21:12 binlog.index
-rw-------. 1 mysql mysql     1676 1月  13 16:19 ca-key.pem
-rw-r--r--. 1 mysql mysql     1112 1月  13 16:19 ca.pem
-rw-r--r--. 1 mysql mysql     1112 1月  13 16:19 client-cert.pem
-rw-------. 1 mysql mysql     1676 1月  13 16:19 client-key.pem
-rw-r-----. 1 mysql mysql   196608 1月  16 21:14 #ib_16384_0.dblwr
-rw-r-----. 1 mysql mysql  8585216 1月  13 16:19 #ib_16384_1.dblwr
-rw-r-----. 1 mysql mysql     3533 1月  13 16:37 ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 1月  16 21:12 ibdata1
-rw-r-----. 1 mysql mysql 50331648 1月  16 21:14 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 1月  13 16:19 ib_logfile1
-rw-r-----. 1 mysql mysql 12582912 1月  16 21:12 ibtmp1
drwxr-x---. 2 mysql mysql     4096 1月  16 21:12 #innodb_temp
drwxr-x---. 2 mysql mysql     4096 1月  13 16:19 mysql
-rw-r-----. 1 mysql mysql 25165824 1月  16 21:12 mysql.ibd
srwxrwxrwx. 1 mysql mysql        0 1月  16 21:12 mysql.sock
-rw-------. 1 mysql mysql        5 1月  16 21:12 mysql.sock.lock
drwxr-x---. 2 mysql mysql     4096 1月  13 16:19 performance_schema
-rw-------. 1 mysql mysql     1680 1月  13 16:19 private_key.pem
-rw-r--r--. 1 mysql mysql      452 1月  13 16:19 public_key.pem
-rw-r--r--. 1 mysql mysql     1112 1月  13 16:19 server-cert.pem
-rw-------. 1 mysql mysql     1680 1月  13 16:19 server-key.pem
drwxr-x---. 2 mysql mysql     4096 1月  13 16:19 sys
drwxr-x---. 2 mysql mysql     4096 1月  14 20:10 temp
-rw-r-----. 1 mysql mysql 16777216 1月  16 21:14 undo_001
-rw-r-----. 1 mysql mysql 16777216 1月  16 21:14 undo_002
[root@HDU001 mysql]# 

这个数据目录下的文件和子目录比较多,除了 information_schema 这个系统数据库外,其他的数据库在数据目录下都有对应的子目录。 以里面自己新建的 temp 数据库为例

在MySQL5.7 中打开:可以发现数据库temp里面的每张表都对应.frm.ibd两个文件,并且数据库里面还存在一个.opt文件,这个文件中包含了该数据库的各种属性,比如该数据库的字符集和比较规则。

[root@atguigu02 mysql]# cd ./temp
[root@atguigu02 temp]# ll
总用量 1144
-rw-r-----. 1 mysql mysql 8658 8月 18 11:32 countries.frm
-rw-r-----. 1 mysql mysql 114688 8月 18 11:32 countries.ibd
-rw-r-----. 1 mysql mysql 61 8月 18 11:32 db.opt
-rw-r-----. 1 mysql mysql 8716 8月 18 11:32 departments.frm
-rw-r-----. 1 mysql mysql 147456 8月 18 11:32 departments.ibd
-rw-r-----. 1 mysql mysql 3017 8月 18 11:32 emp_details_view.frm
-rw-r-----. 1 mysql mysql 8982 8月 18 11:32 employees.frm
-rw-r-----. 1 mysql mysql 180224 8月 18 11:32 employees.ibd

在MySQL8.0中打开:没有.opt文件和.frm文件,表的结构都一起合并保存在.ibd文件里面了。

[root@atguigu01 mysql]# cd ./temp
[root@atguigu01 temp]# ll
总用量 1080
-rw-r-----. 1 mysql mysql 131072 7月 29 23:10 countries.ibd
-rw-r-----. 1 mysql mysql 163840 7月 29 23:10 departments.ibd
-rw-r-----. 1 mysql mysql 196608 7月 29 23:10 employees.ibd
-rw-r-----. 1 mysql mysql 114688 7月 29 23:10 job_grades.ibd
-rw-r-----. 1 mysql mysql 163840 7月 29 23:10 job_history.ibd
-rw-r-----. 1 mysql mysql 131072 7月 29 23:10 jobs.ibd
-rw-r-----. 1 mysql mysql 147456 7月 29 23:10 locations.ibd
-rw-r-----. 1 mysql mysql 131072 7月 29 23:10 regions.ibd

2.3、表在文件系统中的表示

2.3.1 InnoDB存储引擎模式

1、表结构

mysql8.0之前,为了保存表结构,InnoDB 在 数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件,文件名是这样:

表名.frm 

比方说我们在上面演示的 temp 数据库下创建一个名为 test 的表:

mysql> USE temp;
Database changed
mysql> CREATE TABLE test (
    -> c1 INT
    -> );
Query OK, 0 rows affected (0.03 sec)

那在数据库 temp 对应的子目录下就会创建一个名为 test.frm 的用于描述表结构的文件。.frm文件的格式在不同的平台上都是相同的。这个后缀名为.frm是以二进制格式存储的,我们直接打开是乱码的。

表结构这个文件中包含了该数据库的各种属性,比如该数据库的字段类型的设置等。

2、表中数据和索引

① 系统表空间(system tablespace)

前面我们提到一个.ibd文件,那么在Mysql5.7下,表中的数据是默认放到.ibd文件下的 ,但是也可以放到ibdata1这个文件里面(Mysql5.5-5.6这个版本中表的数据是全部放在这个文件里面的)

默认情况下,InnoDB会在数据目录下创建一个名为 ibdata1 、大小为 12M 的文件,这个文件就是对应的系统表空间在文件系统上的表示。怎么才12M?注意这个文件是自扩展文件 ,当不够用的时候它会自己增加文件大小。

image.png

当然,如果你想让系统表空间对应文件系统上多个实际文件,或者仅仅觉得原来的 ibdata1 这个文件名 难听,那可以在MySQL启动时配置对应的文件路径以及它们的大小,比如我们这样修改一下my.cnf 配置文件:

[server] 
innodb_data_file_path=data1:512M;data2:512M:autoextend 

② 独立表空间(file-per-table tablespace)

在MySQL5.6以及之后的版本中,InnoDB并不会默认的把各个表的数据存储到系统表空间中,而是为 每一个表建立一个独立表空间 ,也就是说我们创建了多少个表,就有多少个独立表空间。使用 独立表空间 来 存储表数据的话,会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件,文件名和表名相同,只不过添加了一个 .ibd 的扩展名而已,所以完整的文件名称长这样:

表名.ibd 

比如:我们使用了 独立表空间 去存储 temp 数据库下的 test 表的话,那么在该表所在数据库对应 的 temp 目录下会为 test 表创建这两个文件:

  • test.frm
  • test.ibd

其中 test.ibd 文件就用来存储 test 表中的数据和索引

③ 系统表空间与独立表空间的设置

我们可以自己指定使用 系统表空间 还是 独立表空间 来存储数据,这个功能由启动参数 innodb_file_per_table 控制,比如说我们想刻意将表数据都存储到 系统表空间 时,可以在启动 MySQL服务器的时候这样配置:

[server] 
innodb_file_per_table=0 # 0:代表使用系统表空间; 1:代表使用独立表空间

默认情况:

mysql> show variables like 'innodb_file_per_table';
+-----------------------+-------+
| Variable_name | Value |
+-----------------------+-------+
| innodb_file_per_table | ON |
+-----------------------+-------+
1 row in set (0.01 sec)   

④ 其他类型的表空间

随着MySQL的发展,除了上述两种老牌表空间之外,现在还新提出了一些不同类型的表空间,比如通用 表空间(general tablespace)、临时表空间(temporary tablespace)等。

2.3.2 MyISAM存储引擎模式

1、表结构

在存储表结构方面,MyISAM 和 InnoDB 一样,也是在 数据目录 下对应的数据库子目录下创建了一个专 门用于描述表结构的文件: MySQL5.7 中

表名.frm #5.7
表名.xxx.sdi #8.0

2、表中数据和索引

在MyISAM中的索引全部都是 二级索引 ,该存储引擎的 数据和索引是分开存放 的【innodb中是聚集索引,即索引和数据是合并在一起的,索引即数据,数据即索引,存放在ibd文件中】。所以在文件系统中也是 使用不同的文件来存储数据文件和索引文件,同时表数据都存放在对应的数据库子目录下。假如 test 表使用MyISAM存储引擎的话,那么在它所在数据库对应的 temp 目录下会为 test 表创建这三个文件:

  • test.frm 存储表结构(MySQL5.7,MySQL8.0是 .sdi
  • test.MYD 存储数据 (MYData)
  • test.MYI 存储索引 (MYIndex)

举例:创建一个 MyISAM 表,使用 ENGINE 选项显式指定引擎。因为 InnoDB 是默认引擎。

CREATE TABLE `student_myisam` (
    `id` bigint NOT NULL AUTO_INCREMENT,
    `name` varchar(64) DEFAULT NULL,
    `age` int DEFAULT NULL,
    `sex` varchar(2) DEFAULT NULL,
    PRIMARY KEY (`id`)
)ENGINE=MYISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb3;

2.4 小结

举例: 数据库a,表b 。

1、如果表b采用 InnoDB ,data\a中会产生1个或者2个文件:

  • b.frm :描述表结构文件,字段长度等
  • 如果采用 系统表空间 模式的,数据信息和索引信息都存储在 ibdata1 中 【Mysql5.5-5.6】
  • 如果采用 独立表空间 存储模式,data\a中还会产生 b.ibd 文件(存储数据信息和索引信息)

此外:

  1. MySQL5.7 中会在data/a的目录下生成 db.opt 文件用于保存数据库的相关配置。比如:字符集、比较 规则。而MySQL8.0不再提供db.opt文件。
  2. MySQL8.0中不再单独提供b.frm,而是合并在b.ibd文件中。

2、如果表b采用 MyISAM ,data\a中会产生3个文件:

  • MySQL5.7 中: b.frm :描述表结构文件,字段长度等。 MySQL8.0 中 b.xxx.sdi :描述表结构文件,字段长度等
  • b.MYD (MYData):数据信息文件,存储数据信息(如果采用独立表存储模式)
  • b.MYI (MYIndex):存放索引信息文件

2.5、其他的文件

除了我们上边说的这些用户自己存储的数据以外,数据目录下还包括为了更好运行程序的一些额外文件,主要包括这几种类型的文件:

  • 服务器进程文件

    我们知道每运行一个MySQL服务器程序,都意味着启动-个进程。MySQL服务器会把自己的进程ID(PID)写入到一个文件中。

  • 服务器日志文件

    在服务器运行过程中,会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志等。这些日志各有各的用途,后面讲解。

  • 默认/自动生成的SSL和RSA证书和密钥文件

    主要是为了客户端和服务器安全通信而创建的一些文件。

3、补充:Mysql5.7配置文件my.cnf

# MySql5.7配置文件my.cnf设置
[client]
port = 3306
socket = /tmp/mysql.sock
 
[mysqld]
###############################基础设置#####################################
#Mysql服务的唯一编号 每个mysql服务Id需唯一
server-id = 1
 
#服务端口号 默认3306
port = 3306
 
#mysql安装根目录
basedir = /opt/mysql
 
#mysql数据文件所在位置
datadir = /opt/mysql/data
 
#临时目录 比如load data infile会用到
tmpdir  = /tmp
 
#设置socke文件所在目录
socket  = /tmp/mysql.sock
 
#主要用于MyISAM存储引擎,如果多台服务器连接一个数据库则建议注释下面内容
skip-external-locking
 
#只能用IP地址检查客户端的登录,不用主机名
skip_name_resolve = 1
#数据库默认字符集,主流字符集支持一些特殊表情符号(特殊表情符占用4个字节)
character-set-server = utf8mb4
 
#数据库字符集对应一些排序等规则,注意要和character-set-server对应
collation-server = utf8mb4_general_ci
 
#设置client连接mysql时的字符集,防止乱码
init_connect='SET NAMES utf8mb4'
 
#是否对sql语句大小写敏感,1表示不敏感
lower_case_table_names = 1
 
#最大连接数
max_connections = 400
#最大错误连接数
max_connect_errors = 1000
 
#TIMESTAMP如果没有显示声明NOT NULL,允许NULL值
explicit_defaults_for_timestamp = true
 
#SQL数据包发送的大小,如果有BLOB对象建议修改成1G
max_allowed_packet = 128M
 
#MySQL连接闲置超过一定时间后(单位:秒)将会被强行关闭
#MySQL默认的wait_timeout  值为8个小时, interactive_timeout参数需要同时配置才能生效
interactive_timeout = 1800
wait_timeout = 1800
 
#内部内存临时表的最大值 ,设置成128M。
#比如大数据量的group by ,order by时可能用到临时表,
#超过了这个值将写入磁盘,系统IO压力增大
tmp_table_size = 134217728
max_heap_table_size = 134217728


 
##----------------------------用户进程分配到的内存设置BEGIN-----------------------------##
##每个session将会分配参数设置的内存大小
#用于表的顺序扫描,读出的数据暂存于read_buffer_size中,当buff满时或读完,将数据返回上层调用者
#一般在128kb ~ 256kb,用于MyISAM
#read_buffer_size = 131072
#用于表的随机读取,当按照一个非索引字段排序读取时会用到,
#一般在128kb ~ 256kb,用于MyISAM
#read_rnd_buffer_size = 262144
#order bygroup by时用到
#建议先调整为2M,后期观察调整
sort_buffer_size = 2097152
#一般数据库中没什么大的事务,设成1~2M,默认32kb
binlog_cache_size = 524288
 
############################日志设置##########################################
#数据库错误日志文件
log_error = error.log
 
#慢查询sql日志设置
slow_query_log = 1
slow_query_log_file = slow.log
#检查未使用到索引的sql
log_queries_not_using_indexes = 1
#针对log_queries_not_using_indexes开启后,记录慢sql的频次、每分钟记录的条数
log_throttle_queries_not_using_indexes = 5
#作为从库时生效,从库复制中如何有慢sql也将被记录
log_slow_slave_statements = 1
#慢查询执行的秒数,必须达到此值可被记录
long_query_time = 2
#检索的行数必须达到此值才可被记为慢查询
min_examined_row_limit = 100
 
#mysql binlog日志文件保存的过期时间,过期后自动删除
expire_logs_days = 5
 
############################主从复制设置########################################
#开启mysql binlog功能
log-bin=mysql-bin
#binlog记录内容的方式,记录被操作的每一行
binlog_format = ROW

#作为从库时生效,想进行级联复制,则需要此参数
log_slave_updates
 
#作为从库时生效,中继日志relay-log可以自我修复
relay_log_recovery = 1
 
#作为从库时生效,主从复制时忽略的错误
slave_skip_errors = ddl_exist_errors
 
##---redo log和binlog的关系设置BEGIN---##
#(步骤1) prepare dml相关的SQL操作,然后将redo log buff中的缓存持久化到磁盘
#(步骤2)如果前面prepare成功,那么再继续将事务日志持久化到binlog
#(步骤3)如果前面成功,那么在redo log里面写上一个commit记录
#当innodb_flush_log_at_trx_commit和sync_binlog都为1时是最安全的,
#在mysqld服务崩溃或者服务器主机crash的情况下,binary log只有可能丢失最多一个语句或者一个事务。
#但是都设置为1时会导致频繁的io操作,因此该模式也是最慢的一种方式。
#当innodb_flush_log_at_trx_commit设置为0,mysqld进程的崩溃会导致上一秒钟所有事务数据的丢失。
#当innodb_flush_log_at_trx_commit设置为2,只有在操作系统崩溃或者系统掉电的情况下,上一秒钟所有事务数据才可能丢失。
#commit事务时,控制redo log buff持久化磁盘的模式 默认为1
innodb_flush_log_at_trx_commit = 2
#commit事务时,控制写入mysql binlog日志的模式 默认为 0
#innodb_flush_log_at_trx_commit和sync_binlog都为1时,mysql最为安全但性能上压力也是最大
sync_binlog = 1
##---redo log 和 binlog的关系设置END---##
 
############################Innodb设置##########################################
#数据块的单位8k,默认是16k,16kCPU压力稍小,8k对select的吞吐量大
#innodb_page_size的参数值也影响最大索引长度,8k比16k的最大索引长度小
#innodb_page_size = 8192
#一般设置物理存储的60% ~ 70%
innodb_buffer_pool_size = 1G
 
#5.7.6之后默认16M
#innodb_log_buffer_size = 16777216
#该参数针对unix、linux,window上直接注释该参数.默认值为NULL
#O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突
innodb_flush_method = O_DIRECT
 
#此格式支持压缩, 5.7.7之后为默认值
innodb_file_format = Barracuda
 
#CPU多核处理能力设置,假设CPU是24核的,设置如下
#读多,写少可以设成2:6的比例
innodb_write_io_threads = 4
innodb_read_io_threads = 4
 
#提高刷新脏页数量和合并插入数量,改善磁盘I/O处理能力
#默认值200(单位:页)
#可根据磁盘近期的IOPS确定该值
innodb_io_capacity = 500
 
#为了获取被锁定的资源最大等待时间,默认50秒,超过该时间会报如下错误:
# ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction
innodb_lock_wait_timeout = 30
 
#调整buffer pool中最近使用的页读取并dump的百分比,通过设置该参数可以减少转储的page数
innodb_buffer_pool_dump_pct = 40
 
#设置redoLog文件所在目录, redoLog记录事务具体操作内容
innodb_log_group_home_dir = /opt/mysql/redolog/
 
#设置undoLog文件所在目录, undoLog用于事务回滚操作
innodb_undo_directory = /opt/mysql/undolog/
 
#在innodb_log_group_home_dir中的redoLog文件数, redoLog文件内容是循环覆盖写入。
innodb_log_files_in_group = 3
 
#MySql5.7官方建议尽量设置的大些,可以接近innodb_buffer_pool_size的大小
#之前设置该值较大时可能导致mysql宕机恢复时间过长,现在恢复已经加快很多了
#该值减少脏数据刷新到磁盘的频次
#最大值innodb_log_file_size * innodb_log_files_in_group <= 512GB,单文件<=256GB
innodb_log_file_size = 1024M
 
#设置undoLog文件所占空间可以回收
#5.7之前的MySql的undoLog文件一直增大无法回收
innodb_undo_log_truncate = 1
innodb_undo_tablespaces = 3
innodb_undo_logs = 128
 
#5.7.7默认开启该参数 控制单列索引长度最大达到3072
#innodb_large_prefix = 1
 
#5.7.8默认为4个, Inodb后台清理工作的线程数
#innodb_purge_threads = 4
 
#通过设置配置参数innodb_thread_concurrency来限制并发线程的数量,
#一旦执行线程的数量达到这个限制,额外的线程在被放置到对队列中之前,会睡眠数微秒,
#可以通过设定参数innodb_thread_sleep_delay来配置睡眠时间
#该值默认为0,在官方doc上,对于innodb_thread_concurrency的使用,也给出了一些建议:
#(1)如果一个工作负载中,并发用户线程的数量小于64,建议设置innodb_thread_concurrency=0;
#(2)如果工作负载一直较为严重甚至偶尔达到顶峰,建议先设置innodb_thread_concurrency=128,
###并通过不断的降低这个参数,96, 80, 64等等,直到发现能够提供最佳性能的线程数
#innodb_thread_concurrency = 0

############################其他内容 设置##########################################
[mysqldump]
quick
max_allowed_packet = 128M
[mysql]
no-auto-rehash
[myisamchk]
key_buffer_size = 20M
sort_buffer_size = 256k
read_buffer = 2M
write_buffer = 2M
[mysqlhotcopy]
interactive-timeout
[mysqld_safe]
#增加每个进程的可打开文件数量.
open-files-limit = 28192