Redis高可用基础主从复制

83 阅读6分钟

一 . 高可用的三种方式

●主从复制:

主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。

●哨兵:

在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制;哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作。

●集群:

通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案。

二.主从复制

1、背景

随着业务的扩展以及数据呈现几何式的增长,之前只是用单个redis已经明显达不到要求了,所以打算采用主从复制,从而降低主服务器的压力

2、主从复制介绍

redis主从复制,是一种常见的数据复制机制,根据配置和策略,自动将数据同步到从机,从而实现数据在不同Redis服务器之间的同步和备份,降低主服务器的压力。

在Redis中,主从复制的是指一个主节点(Master)将自己的数据复制到一个或多个从节点(Slave),从而实现数据的备份和读写分离。主节点负责处理客户端的写操作,而从节点则负责复制主节点的数据并处理客户端的读请求。

一个主节点(Master)下面可以有一个或者多个从节点(slave),但是一个从节点(slave)只能属于一个主节点(Master)

需要注意的是,主从复制是异步的,即主节点将数据发送给从节点后,不会等待从节点的确认。因此,在某些极端情况下,主从节点之间可能会存在数据的不一致性。为了避免数据丢失的情况,可以采用Redis的持久化机制,将数据写入磁盘

3、主从复制的特点

  1. 读写分离

    在redis主从复制机制中,主机(Master)负责写操作,从机(Slave)负责读操作,从而减轻主节点读的压力。

  2. 数据同步

    主节点会将自己的数据异步地复制到从节点,确保数据的一致性。

  3. 容灾快速恢复

    当主节点挂了之后,从机会根据配置的策略,自动转化为主机

  4. 扩展性好

    通过增加从节点,可以实现更好的可扩展性和负载均衡,提高系统吞吐量。

4、主从复制原理

Redis主从复制的原理如下:

  1. 首次同步:当从节点要进行主从复制时,它会发送一个SYNC命令给主节点。主节点收到SYNC命令后,会执行BGSAVE命令来生成RDB快照文件,并在生成期间使用缓冲区记录所有写操作。

  2. 快照传输:当主节点完成BGSAVE命令并且快照文件准备好后,将快照文件传输给从节点。主节点将快照文件发送给从节点,并且在发送过程中,主节点会继续将新的写操作缓冲到内存中。

  3. 追赶复制:当从节点收到快照文件后,会加载快照文件并应用到自己的数据集中。一旦快照文件被加载,从节点会向主节点发送一个PSYNC命令,以便获取缓冲区中未发送的写操作。

  4. 增量复制:主节点收到PSYNC命令后,会将缓冲区中未发送的写操作发送给从节点,从节点会执行这些写操作,保证与主节点的数据一致性。此时,从节点已经追赶上了主节点的状态。

  5. 同步:从节点会继续监听主节点的命令,并及时执行主节点的写操作,以保持与主节点的数据同步。主节点会定期将自己的操作发送给从节点,以便从节点保持最新的数据状态.

    注意:当slave首次同步或者宕机后恢复时,会全盘加载,以追赶上大部队,即全量复制

image.png

5、搭建主从复制

采取主从复制经典模式:一主两从

三台服务器配置如下:

Master节点:192.168.47.100 Slave1节点:192.168.47.102 Slave2节点:192.168.80.103

1.安装 Redis

环境准备

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

image.png

修改内核参数主从3台

vim /etc/sysctl.conf
vm.overcommit_memory = 1
net.core.somaxconn = 2048

 sysctl -p

image.png

image.png

安装redis主从3台都需要安装

yum install -y gcc gcc-c++ make

tar zxvf /opt/redis-7.0.9.tar.gz -C /opt/
cd /opt/redis-7.0.9
make
make PREFIX=/usr/local/redis install
#由于Redis源码包中直接提供了 Makefile 文件,所以在解压完软件包后,不用先执行 ./configure 进行配置,可直接执行 make 与 make install 命令进行安装。

image.png

image.png

image.png

创建redis工作目录

mkdir /usr/local/redis/{conf,log,data}

cp /opt/redis-7.0.9/redis.conf /usr/local/redis/conf/

useradd -M -s /sbin/nologin redis
chown -R redis.redis /usr/local/redis/

image.png

image.png

环境变量

vim /etc/profile 
PATH=$PATH:/usr/local/redis/bin		#增加一行

source /etc/profile

image.png

image.png

/定义systemd服务管理脚本

vim /usr/lib/systemd/system/redis-server.service

[Unit]
Description=Redis Server
After=network.target

[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target

image.png

修改 Redis 配置文件(Master节点操作)

vim /usr/local/redis/conf/redis.conf
bind 0.0.0.0									#87行,修改监听地址为0.0.0.0
protected-mode no								#111行,将本机访问保护模式设置no
port 6379										#138行,Redis默认的监听6379端口
daemonize yes									#309行,设置为守护进程,后台启动
pidfile /usr/local/redis/log/redis_6379.pid		#341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"	#354行,指定日志文件
dir /usr/local/redis/data						#504行,指定持久化文件所在目录
#requirepass abc123								#1037行,可选,设置redis密码
appendonly yes									#1380行,开启AOF


systemctl restart redis-server.service

image.png

image.png

image.png

image.png

image.png

image.png

image.png

修改 Redis 配置文件(Slave节点操作)

im /usr/local/redis/conf/redis.conf
bind 0.0.0.0									#87行,修改监听地址为0.0.0.0
protected-mode no								#111行,将本机访问保护模式设置no
port 6379										#138行,Redis默认的监听6379端口
daemonize yes									#309行,设置为守护进程,后台启动
pidfile /usr/local/redis/log/redis_6379.pid		#341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"	#354行,指定日志文件
dir /usr/local/redis/data						#504行,指定持久化文件所在目录
#requirepass abc123								#1037行,可选,设置redis密码
appendonly yes									#1380行,开启AOF
replicaof 192.168.80.10 6379					#528行,指定要同步的Master节点IP和端口
#masterauth abc123								#535行,可选,指定Master节点的密码,仅在Master节点设置了requirepass


systemctl restart redis-server.service

验证主从效果

其余上面主节点配置一样

image.png

image.png

image.png

如和查看主从复制是否正常

redis-cli -h 192.168.47.100 -p 6379 -a abc123
info replication

image.png

image.png

image.png