原因:单节点的MySQL抗风险性很差,如果挂掉,会导致软件项目挂掉
目标:搭建一个高可用、高负载、高性能的6节点MySQL集群(根据你的数据量判断)
环境:CentOS7服务器、搭建好Docker环境、MySQL5.7(8.0版本宕机后需要人工对比日志和维护)、MyCat 1.6.7.4
一、MySQL集群主从同步与读写分离原理
1. 数据同步
MySQL主从同步原理是利用主从复制来实现数据同步。具体步骤如下:
- 主数据库(Master)把数据更改记录到二进制日志(binlog)中。
- 从数据库(Slave)把主数据库的二进制日志复制到自己的中继日志(relay log)中。
- 从数据库重做中继日志中的日志,把更改应用到自己的数据库上,以达到数据的最终一致性。
如果这样会发现一个问题,这是单向的同步,如果Master挂掉,那么Slave则无法继续更新数据,所以应该是双向同步,互为主从节点。
2. 读写分离
MySQL的读写分离是一种集群架构策略,目的是通过将数据库的读写操作分离到不同的服务器上,以提高整体数据库性能和并发负载能力。
在读写分离的策略中,主库负责处理事务性查询和写操作(INSERT、UPDATE、DELETE等),而从库只负责处理SELECT查询操作。这样可以使主从库分工明确,提高整体数据库性能。
主库除了处理事务性查询和写操作外,还需要将事务性操作导致的变更同步到从库中,以保证数据的一致性。这个过程一般通过主从复制(Master-Slave)的方式实现。
读写分离在数据库集群架构中有很多应用场景,比如当服务器的业务压力过大时,如果对该服务器既读又写,会影响用户体验。这时候就可以采取读写分离的方式,对只读库(配置低一点),对读写库(配置高速存储:固态硬盘等)进行分离。既可以提高查询效率,又可以保证数据的一致性。
上面的方案时一主两从,主节点是写节点,从节点是读节点,当然也可以配置更多的节点,主从同步还有一个关键,就是Master和Slave身份是固定的,如果Master宕机,Slave节点无法升级成写节点,所以,可以加上双向同步。
3. 数据切分
MySQL数据切分是指通过某种特定的条件,将存放在同一个数据库中的数据分散存放到多个数据库(主机)上面,以达到分散单台设备负载的效果。
数据的切分根据其切分规则的类型,可以分为两种切分模式: 一种是按照不同的表(或者Schema)来切分到不同的数据库(主机)之上,这种切分可以称之为数据的垂直(纵向)切分;
另外一种则是根据表中数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库(主机)上,这种切分称之为数据的水平(横向)切分。
二、搭建双主四从MySQL集群(docker版)
1. 搭建docker环境
具体可看:blog.csdn.net/weixin_4431…
2. docker下载mysql5.7版本镜像
docker pull mysql:5.7
3. docker创建MySQL_1节点容器
docker默认的网段是172.17.0.x,为了和别的项目区分,创建新的网段
docker network create --subnet=172.19.0.0/16 mynet
创建容器并且关联MySQL5.7镜像命令,成功后即可连接数据库,访问权限需要在用户管理中将主机修改为%或者新创建一个用户赋予权限(推荐)
docker run -it -d --name mysql_1 -p 7001:3306 \
--net mynet --ip 172.19.0.2 \
-m 400m -v /root/mysql_1/data:/var/lib/mysql \
-v /root/mysql_1/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=abc123456 \
-e TZ=Asia/Shanghai --privileged=true \
mysql:5.7 \
--lower_case_table_names=1
"docker run": "启动一个新的Docker容器。",
"-it": "让容器的shell交互模式启动,即你可以与容器进行交互。",
"-d": "以后台模式运行容器。",
"--name mysql_1": "为容器指定一个名称,名为mysql_1。",
"-p 7001:3306": "端口映射,将主机的7001端口映射到容器的3306端口。",
"--net mynet": "将容器连接到名为mynet的网络。",
"-ip 172.19.0.2": "为容器指定一个IP地址。",
"-m 400m": "限制容器使用的最大内存为400兆字节。",
"-v /root/mysql_1/data:/var/lib/mysql": "挂载卷。将主机上的/root/mysql_1/data目录映射到容器的/var/lib/mysql目录。",
"-v /root/mysql_1/config:/etc/mysql/conf.d": "挂载卷。将主机上的/root/mysql_1/config目录映射到容器的/etc/mysql/conf.d目录。",
"-e MYSQL_ROOT_PASSWORD=abc123456": "设置环境变量。在这里,你设置了MySQL的root用户的密码为abc123456。",
"-e TZ=Asia/Shanghai": "设置环境变量。在这里,你设置了容器的时区为上海。",
"--privileged=true": "以特权模式运行容器,容器内可以执行一些特权操作。",
"mysql:5.7": "指定要运行的Docker镜像,这里是mysql的5.7版本。",
"--lower_case_table_names=1": "设置MySQL的一个特定参数,让MySQL在存储表名时始终使用小写。"
4. 修改配置文件
修改配置文件前,先关闭MySQL容器
docker stop mysql_1
在/root/mysql_1/config目录里创建my.cnf文件
[mysqld]
#数据库字符集
character_set_server = utf8
#MySQL编号(只可以是数字)
server_id = 1
#开启binlog日志,规定日志文件名称
log_bin = mysql_bin
#开启relaylog日志,规定日志文件名称
relay_log = relay_bin
#从库的写操作是否写入binlog日志
log-slave-updates = 1
#采用严格的SQL语句模式
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
随后在重新启动容器
docker start mysql_1
5. docker创建MySQL_2节点容器
创建容器
docker run -it -d --name mysql_2 -p 7002:3306 \
--net mynet --ip 172.19.0.3 \
-m 400m -v /root/mysql_2/data:/var/lib/mysql \
-v /root/mysql_2/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=abc123456 \
-e TZ=Asia/Shanghai --privileged=true \
mysql:5.7 \
--lower_case_table_names=1
停止容器
docker stop mysql_2
在/root/mysql_2/config目录里创建my.cnf文件
[mysqld]
#数据库字符集
character_set_server = utf8
#MySQL编号(只可以是数字)
server_id = 2
#开启binlog日志,规定日志文件名称
log_bin = mysql_bin
relay_log = relay_bin
#限制普通账户无法INSERT、DELETE、UPDATE语句,但是该配置对管理员账户无效
read-only = 1
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
启动容器
docker start mysql_2
同步操作
在mysql_2的数据库中操作
# 停止数据同步服务
stop slave;
#设置与MySQL_1同步数据
change master to master_host='172.19.0.2',master_port=3306,master_user='root',master_password='abc123456';
#开启数据同步服务
start slave;
#查询数据同步状态
show slave status;
结果如下即成功
6. docker创建MySQL_3节点容器
创建容器
docker run -it -d --name mysql_3 -p 7003:3306 \
--net mynet --ip 172.19.0.4 \
-m 400m -v /root/mysql_3/data:/var/lib/mysql \
-v /root/mysql_3/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=abc123456 \
-e TZ=Asia/Shanghai --privileged=true \
mysql:5.7 \
--lower_case_table_names=1
停止容器
docker stop mysql_3
在/root/mysql_3/config目录里创建my.cnf文件
[mysqld]
#数据库字符集
character_set_server = utf8
#MySQL编号(只可以是数字)
server_id = 3
#开启binlog日志,规定日志文件名称
log_bin = mysql_bin
relay_log = relay_bin
#限制普通账户无法INSERT、DELETE、UPDATE语句,但是该配置对管理员账户无效
read-only = 1
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
在mysql_3的数据库中操作
# 停止数据同步服务
stop slave;
#设置与MySQL_1同步数据
change master to master_host='172.19.0.2',master_port=3306,master_user='root',master_password='abc123456';
#开启数据同步服务
start slave;
#查询数据同步状态
show slave status;
结果如下即成功
7. docker创建MySQL_4节点容器
创建容器并且关联MySQL5.7镜像命令,成功后即可连接数据库,访问权限需要在用户管理中将主机修改为%或者新创建一个用户赋予权限(推荐)
docker run -it -d --name mysql_4 -p 7004:3306 \
--net mynet --ip 172.19.0.5 \
-m 400m -v /root/mysql_4/data:/var/lib/mysql \
-v /root/mysql_4/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=abc123456 \
-e TZ=Asia/Shanghai --privileged=true \
mysql:5.7 \
--lower_case_table_names=1
修改配置文件前,先关闭MySQL容器
docker stop mysql_4
在/root/mysql_4/config目录里创建my.cnf文件
[mysqld]
#数据库字符集
character_set_server = utf8
#MySQL编号(只可以是数字)
server_id = 4
#开启binlog日志,规定日志文件名称
log_bin = mysql_bin
#开启relaylog日志,规定日志文件名称
relay_log = relay_bin
#从库的写操作是否写入binlog日志
log-slave-updates = 1
#采用严格的SQL语句模式
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
随后在重新启动容器
docker start mysql_4
8. docker创建MySQL_5节点容器
创建容器
docker run -it -d --name mysql_5 -p 7005:3306 \
--net mynet --ip 172.19.0.6 \
-m 400m -v /root/mysql_5/data:/var/lib/mysql \
-v /root/mysql_5/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=abc123456 \
-e TZ=Asia/Shanghai --privileged=true \
mysql:5.7 \
--lower_case_table_names=1
停止容器
docker stop mysql_5
在/root/mysql_2/config目录里创建my.cnf文件
[mysqld]
#数据库字符集
character_set_server = utf8
#MySQL编号(只可以是数字)
server_id = 5
#开启binlog日志,规定日志文件名称
log_bin = mysql_bin
relay_log = relay_bin
#限制普通账户无法INSERT、DELETE、UPDATE语句,但是该配置对管理员账户无效
read-only = 1
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
启动容器
docker start mysql_5
同步操作
在mysql_2的数据库中操作
# 停止数据同步服务
stop slave;
#设置与MySQL_4同步数据
change master to master_host='172.19.0.5',master_port=3306,master_user='root',master_password='abc123456';
#开启数据同步服务
start slave;
#查询数据同步状态
show slave status;
结果如下即成功
9. docker创建MySQL_6节点容器
创建容器
docker run -it -d --name mysql_6 -p 7006:3306 \
--net mynet --ip 172.19.0.7 \
-m 400m -v /root/mysql_6/data:/var/lib/mysql \
-v /root/mysql_6/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=abc123456 \
-e TZ=Asia/Shanghai --privileged=true \
mysql:5.7 \
--lower_case_table_names=1
停止容器
docker stop mysql_6
在/root/mysql_6/config目录里创建my.cnf文件
[mysqld]
#数据库字符集
character_set_server = utf8
#MySQL编号(只可以是数字)
server_id = 6
#开启binlog日志,规定日志文件名称
log_bin = mysql_bin
relay_log = relay_bin
#限制普通账户无法INSERT、DELETE、UPDATE语句,但是该配置对管理员账户无效
read-only = 1
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
启动容器
docker start mysql_6
同步操作
在mysql_6的数据库中操作
# 停止数据同步服务
stop slave;
#设置与MySQL_1同步数据
change master to master_host='172.19.0.5',master_port=3306,master_user='root',master_password='abc123456';
#开启数据同步服务
start slave;
#查询数据同步状态
show slave status;
结果如下即成功
10. 配置双向主从同步
配置MySQL_1节点
在MySQL_1节点执行4条SQL语句,以MySQL_4为主节点,订阅日志同步数据
# 停止数据同步服务
stop slave;
#设置与MySQL_4同步数据
change master to master_host='172.19.0.5',master_port=3306,master_user='root',master_password='abc123456';
#开启数据同步服务
start slave;
#查询数据同步状态
show slave status;
在MySQL_4节点执行4条SQL语句,以MySQL_1为主节点,订阅日志同步数据
# 停止数据同步服务
stop slave;
#设置与MySQL_4同步数据
change master to master_host='172.19.0.2',master_port=3306,master_user='root',master_password='abc123456';
#开启数据同步服务
start slave;
#查询数据同步状态
show slave status;
接下来就可以mysql_1和mysql_2两个数据库进行增删改操作进行验证了
提供一个测试表SQL
-- 创建表
CREATE TABLE employees (
employee_id INT PRIMARY KEY,
first_name VARCHAR(50),
last_name VARCHAR(50),
department VARCHAR(50),
salary DECIMAL(10, 2)
);
-- 插入数据
INSERT INTO employees (employee_id, first_name, last_name, department, salary)
VALUES
(1, 'John', 'Doe', 'IT', 5000.00),
(2, 'Jane', 'Smith', 'HR', 6000.00),
(3, 'Mike', 'Johnson', 'Sales', 7000.00),
(4, 'Emily', 'Brown', 'Marketing', 8000.00),
(5, 'David', 'Wilson', 'Finance', 9000.00);
三、使用MyCat管理MySQL集群
1. 什么是MyCat
MyCat是一个彻底开源的,面向企业应用开发的大数据库集群。它是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信,其核心功能是分表分库,即将一个大表水平分割为N个小表,存储在后端MySQL服务器里或者其他数据库里。
2. 主要作用
- 作为分布式数据库中间层使用
- 实现后端数据库的读写分离及负载均衡
- 对业务数据库进行垂直切分
- 对业务数据库进行水平切分
- 控制数据库连接的数量
3. MyCAT的基本元素
逻辑库
- 对应用来说相当于MySQL中的数据库
- 逻辑库可对应后端多个物理数据库
- 逻辑库中并不保存数据
逻辑表的类别
- 分片表与非分片表按是否被分片划分
- 全局表,在所有分片中都存在的表
- ER关系表,按ER关系进行分片的表
4. 安装MyCAT
下载命令(写这篇的时候网站已经挂了)
wget http://dl.mycat.io/1.6.5/Mycat-server-1.6.5-release-20180122220033-linux.tar.gz
wget http://dl.mycat.org.cn/1.6.7.6/20201104174609/Mycat-server-1.6.7.6-test-20201104174609-linux.tar.gz
github下载mycat地址
国内其它地址
安装1.8jdk环境
yum install java-1.8.0-openjdk* -y
mycat环境配置步骤
# 把mycat移动到/usr/local
mv mycat/ /usr/local/
#创建新的用户mycat
adduser mycat
#修改mycat文件夹只能mycat用户使用
chown mycat:mycat -R mycat/
#修改config目录下的wrapper.conf
vi wrapper.conf
#根据自身服务器的内存大小进行修改
wrapper.java.additional.4=-XX:MaxDirectMemorySize=1G
#修改服务器环境变量
vim /etc/profile
export PATH=$PATH:/usr/local/mycat/bin
export JAVA_HOME=/usr/bin/java
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export MyCAT_HOME=/usr/local/mycat
#更新配置
source /etc/profile
#使用mycat命令启动
mycat start
#使用mycat命令关闭
mycat stop
修改conf目录中两个文件server.xml、schema.xml
server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
- you may not use this file except in compliance with the License. - You
may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
- - Unless required by applicable law or agreed to in writing, software -
distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
License for the specific language governing permissions and - limitations
under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
<system>
<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0,设置为1则需要指定默认账户-->
<property name="ignoreUnknownCommand">0</property><!-- 0遇上没有实现的报文(Unknown command:),就会报错、1为忽略该报文,返回ok报文。
在某些mysql客户端存在客户端已经登录的时候还会继续发送登录报文,mycat会报错,该设置可以绕过这个错误-->
<property name="useHandshakeV10">1</property>
<property name="removeGraveAccent">1</property>
<property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 -->
<property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 -->
<property name="sqlExecuteTimeout">300</property> <!-- SQL 执行超时 单位:秒-->
<property name="sequenceHandlerType">1</property>
<!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
INSERT INTO `travelrecord` (`id`,user_id) VALUES ('next value for MYCATSEQ_GLOBAL',"xxx");
-->
<!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
<property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
<property name="sequenceHanlderClass">io.mycat.route.sequence.handler.HttpIncrSequenceHandler</property>
<!-- <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
<!-- <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
<!-- <property name="processorBufferChunk">40960</property> -->
<!--
<property name="processors">1</property>
<property name="processorExecutor">32</property>
-->
<!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
<property name="processorBufferPoolType">0</property>
<!--默认是65535 64K 用于sql解析时最大文本长度 -->
<!--<property name="maxStringLiteralLength">65535</property>-->
<!--<property name="sequenceHandlerType">0</property>-->
<!--<property name="backSocketNoDelay">1</property>-->
<!--<property name="frontSocketNoDelay">1</property>-->
<!--<property name="processorExecutor">16</property>-->
<!--
<property name="serverPort">8066</property> <property name="managerPort">9066</property>
<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
<property name="dataNodeIdleCheckPeriod">300000</property> 5 * 60 * 1000L; //连接空闲检查
<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
<!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志-->
<property name="handleDistributedTransactions">0</property>
<!--
off heap for merge/order/group/limit 1开启 0关闭
-->
<property name="useOffHeapForMerge">0</property>
<!--
单位为m
-->
<property name="memoryPageSize">64k</property>
<!--
单位为k
-->
<property name="spillsFileBufferSize">1k</property>
<property name="useStreamOutput">0</property>
<!--
单位为m
-->
<property name="systemReserveMemorySize">384m</property>
<!--是否采用zookeeper协调切换 -->
<property name="useZKSwitch">false</property>
<!-- XA Recovery Log日志路径 -->
<!--<property name="XARecoveryLogBaseDir">./</property>-->
<!-- XA Recovery Log日志名称 -->
<!--<property name="XARecoveryLogBaseName">tmlog</property>-->
<!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
<property name="strictTxIsolation">false</property>
<!--如果为0的话,涉及多个DataNode的catlet任务不会跨线程执行-->
<property name="parallExecute">0</property>
</system>
<!-- 全局SQL防火墙设置 -->
<!--白名单可以使用通配符%或着*-->
<!--例如<host host="127.0.0.*" user="root"/>-->
<!--例如<host host="127.0.*" user="root"/>-->
<!--例如<host host="127.*" user="root"/>-->
<!--例如<host host="1*7.*" user="root"/>-->
<!--这些配置情况下对于127.0.0.1都能以root账户登录-->
<!--
<firewall>
<whitehost>
<host host="1*7.0.0.*" user="root"/>
</whitehost>
<blacklist check="false">
</blacklist>
</firewall>
-->
<user name="root" defaultAccount="true">
<property name="password">abc123456</property>
<property name="schemas">shop</property>
<property name="defaultSchema">shop</property>
<!--No MyCAT Database selected 错误前会尝试使用该schema作为schema,不设置则为null,报错 -->
<!-- 表级 DML 权限设置 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
<!--
<user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
<property name="defaultSchema">TESTDB</property>
</user>
-->
</mycat:server>
schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="shop" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">
<table name="product_info" primaryKey="id" dataNode="dn1" type="global" />
</schema>
<dataNode name="dn1" dataHost="ds_1" database="shop" />
<dataHost name="ds_1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select 1</heartbeat>
<writeHost host="w1" url="172.19.0.2:3306" user="root" password="abc123456">
<readHost host="w1r1" url="172.19.0.3:3306" user="root" password="abc123456" />
<readHost host="w1r1" url="172.19.0.4:3306" user="root" password="abc123456" />
</writeHost>
<writeHost host="w2" url="172.19.0.5:3306" user="root" password="abc123456">
<readHost host="w2r1" url="172.19.0.6:3306" user="root" password="abc123456" />
<readHost host="w2r1" url="172.19.0.7:3306" user="root" password="abc123456" />
</writeHost>
</dataHost>
</mycat:schema>
再次启动后使用数据库图形工具连接8066端口的数据库即可
四、考虑数据库集群读写一致性的问题
1. 写入和查询间隔时间太短
假设我们要执行的insert语句发送给了MySQL_1节点执行,但是紧接着马上执行了select语句,这个查询语句被MyCat转发给MySQL_2执行。假设insert和select语句之间间隔短到1毫秒,导致MySQL_2还没有同步写入的数据,查询语句就来了,自然是查询不到刚刚插入的数据。
解决方法:redis事务
2. 主从同步失效
假设因为网络不同的问题导致主从同步失效,导致MySQL_1写入的数据没有同步到MySQL_2,这样就可能查不到刚才写入的数据。
解决方法:可以写监控程序,每隔1秒钟执行一次show slave status语句,查看是否包含两个Yes。如果数据同步失效就立即发送邮件告警处理。