一 . 高可用的三种方式
●主从复制:
主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。
●哨兵:
在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制;哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作。
●集群:
通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案。
二.主从复制
1、背景
随着业务的扩展以及数据呈现几何式的增长,之前只是用单个redis已经明显达不到要求了,所以打算采用主从复制,从而降低主服务器的压力
2、主从复制介绍
redis主从复制,是一种常见的数据复制机制,根据配置和策略,自动将数据同步到从机,从而实现数据在不同Redis服务器之间的同步和备份,降低主服务器的压力。
在Redis中,主从复制的是指一个主节点(Master)将自己的数据复制到一个或多个从节点(Slave),从而实现数据的备份和读写分离。主节点负责处理客户端的写操作,而从节点则负责复制主节点的数据并处理客户端的读请求。
一个主节点(Master)下面可以有一个或者多个从节点(slave),但是一个从节点(slave)只能属于一个主节点(Master)
需要注意的是,主从复制是异步的,即主节点将数据发送给从节点后,不会等待从节点的确认。因此,在某些极端情况下,主从节点之间可能会存在数据的不一致性。为了避免数据丢失的情况,可以采用Redis的持久化机制,将数据写入磁盘
3、主从复制的特点
-
读写分离
在redis主从复制机制中,主机(Master)负责写操作,从机(Slave)负责读操作,从而减轻主节点读的压力。
-
数据同步
主节点会将自己的数据异步地复制到从节点,确保数据的一致性。
-
容灾快速恢复
当主节点挂了之后,从机会根据配置的策略,自动转化为主机
-
扩展性好
通过增加从节点,可以实现更好的可扩展性和负载均衡,提高系统吞吐量。
4、主从复制原理
Redis主从复制的原理如下:
-
首次同步:当从节点要进行主从复制时,它会发送一个SYNC命令给主节点。主节点收到SYNC命令后,会执行BGSAVE命令来生成RDB快照文件,并在生成期间使用缓冲区记录所有写操作。
-
快照传输:当主节点完成BGSAVE命令并且快照文件准备好后,将快照文件传输给从节点。主节点将快照文件发送给从节点,并且在发送过程中,主节点会继续将新的写操作缓冲到内存中。
-
追赶复制:当从节点收到快照文件后,会加载快照文件并应用到自己的数据集中。一旦快照文件被加载,从节点会向主节点发送一个PSYNC命令,以便获取缓冲区中未发送的写操作。
-
增量复制:主节点收到PSYNC命令后,会将缓冲区中未发送的写操作发送给从节点,从节点会执行这些写操作,保证与主节点的数据一致性。此时,从节点已经追赶上了主节点的状态。
-
同步:从节点会继续监听主节点的命令,并及时执行主节点的写操作,以保持与主节点的数据同步。主节点会定期将自己的操作发送给从节点,以便从节点保持最新的数据状态.
注意:当slave首次同步或者宕机后恢复时,会全盘加载,以追赶上大部队,即全量复制
5、搭建主从复制
采取主从复制经典模式:一主两从
三台服务器配置如下:
Master节点:192.168.47.100 Slave1节点:192.168.47.102 Slave2节点:192.168.80.103
1.安装 Redis
环境准备
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
修改内核参数主从3台
vim /etc/sysctl.conf
vm.overcommit_memory = 1
net.core.somaxconn = 2048
sysctl -p
安装redis主从3台都需要安装
yum install -y gcc gcc-c++ make
tar zxvf /opt/redis-7.0.9.tar.gz -C /opt/
cd /opt/redis-7.0.9
make
make PREFIX=/usr/local/redis install
#由于Redis源码包中直接提供了 Makefile 文件,所以在解压完软件包后,不用先执行 ./configure 进行配置,可直接执行 make 与 make install 命令进行安装。
创建redis工作目录
mkdir /usr/local/redis/{conf,log,data}
cp /opt/redis-7.0.9/redis.conf /usr/local/redis/conf/
useradd -M -s /sbin/nologin redis
chown -R redis.redis /usr/local/redis/
环境变量
vim /etc/profile
PATH=$PATH:/usr/local/redis/bin #增加一行
source /etc/profile
/定义systemd服务管理脚本
vim /usr/lib/systemd/system/redis-server.service
[Unit]
Description=Redis Server
After=network.target
[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
修改 Redis 配置文件(Master节点操作)
vim /usr/local/redis/conf/redis.conf
bind 0.0.0.0 #87行,修改监听地址为0.0.0.0
protected-mode no #111行,将本机访问保护模式设置no
port 6379 #138行,Redis默认的监听6379端口
daemonize yes #309行,设置为守护进程,后台启动
pidfile /usr/local/redis/log/redis_6379.pid #341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log" #354行,指定日志文件
dir /usr/local/redis/data #504行,指定持久化文件所在目录
#requirepass abc123 #1037行,可选,设置redis密码
appendonly yes #1380行,开启AOF
systemctl restart redis-server.service
修改 Redis 配置文件(Slave节点操作)
im /usr/local/redis/conf/redis.conf
bind 0.0.0.0 #87行,修改监听地址为0.0.0.0
protected-mode no #111行,将本机访问保护模式设置no
port 6379 #138行,Redis默认的监听6379端口
daemonize yes #309行,设置为守护进程,后台启动
pidfile /usr/local/redis/log/redis_6379.pid #341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log" #354行,指定日志文件
dir /usr/local/redis/data #504行,指定持久化文件所在目录
#requirepass abc123 #1037行,可选,设置redis密码
appendonly yes #1380行,开启AOF
replicaof 192.168.80.10 6379 #528行,指定要同步的Master节点IP和端口
#masterauth abc123 #535行,可选,指定Master节点的密码,仅在Master节点设置了requirepass
systemctl restart redis-server.service
验证主从效果
其余上面主节点配置一样
如和查看主从复制是否正常
redis-cli -h 192.168.47.100 -p 6379 -a abc123
info replication