这是我参与8月更文挑战的第18天,活动详情查看:8月更文挑战
一、复制的概念
在Redis中,用户可以通过执行SLAVEOF命令或者设置slaveof选项,让一个服务器去复制(replicate)另一个服务器,我们称为被复制的服务器为主服务器(master),而对主服务器进行复制的服务器则被称为从服务器(slave)。如下图所示:
假设现在有两个Redis服务器,地址分别为127.0.0.1:6379和127.0.0.1:12345,如果我们向服务器127.0.0.1:12345发送以下命令:
127.0.0.1:12345> SLAVEOF 127.0.0.1 6379
那么服务器127.0.0.1:12345将成为127.0.0.1:6379的从服务器,而服务器127.0.0.1:6379会成为主服务器。
进行复制中的主从服务器双方的数据库将保存相同的数据,概念上将这种现象称作“数据库状态一致”,或者简称“一致”。
二、复制功能的实现
Redis2.8以前的旧版复制功能的实现不在这聊了。咱们主要来Redsi2.8以后新版复制功能的实现,Redis从2.8版本开始,使用PSYNC命令代替SYNC命令来执行复制时的同步操作。
PSYNC命令具有完整重同步(full resynchronization)和部分重同步(partial resynchronization)两种模式:
- 其中完整重同步用于处理初次复制情况:完整重同步是通过让主服务器创建并发送RDB文件,以下及向从服务器发送保存在缓冲区里面的写命令来进行同步。
- 部分重同步则用于处理断线后重新复制情况:当从服务器在断线后重新连接主服务器时,如果条件允许,主服务器可以将主从服务器连接断开期间执行的写命令发送给从服务器,从服务器只要接收并执行这些写命令,就可以将数据更新至主服务器当前所处的状态。 主从服务器执行部分重同步的过程如下图所示:
2.1 部分重同步的实现
部分重同步功能由以下三个部分构成:
- 主服务器的复制偏移量(replication offest)和从服务器的复制偏移量。
- 主服务器的复制积压缓冲区(replication backlog)。
- 服务器的运行ID(run ID)。
2.1.1 复制偏移量
执行复制的双方——主服务器和从服务器会分别维护一个复制偏移量:
- 主服务器每次向从服务器传播N个字节的数据时,就将自己的复制偏移量的值加上N。
- 从服务器每次收到主服务器传播来的N个字节的数据时,就将自己的复制偏移量的值加上N。
通过对比主从服务器复制偏移量,程序可以很容易地知道主从服务器是否处于一致状态:- 如果主从服务器处于一致状态,那么主从服务器两者的偏移量总是相同的。
- 相反如果主从服务器处于两者的偏移量并不相同,那么说明主从服务器并未处于一致状态。
考虑下图这个例子,从服务器A因为断线而处于不一致状态:
假设从服务器A在断线之后就立即重新连接主服务器,并且成功,那么接下来,从服务器将向主服务器发送PSYNC命令,报告从服务器A当前的复制偏移量为10086,那么这时,主服务器应该对从服务器执行完整重同步还是部分重同步呢?如果执行部分重同步的话,主服务器又如何补偿从服务器A在断线期间丢失的那部分数据呢?以上问题的答案都和下一小节复制积压缓冲区有关。
2.1.2 复制积压缓冲区
复制积压缓冲区是由主服务器维护的一个固定长度(fixed-size)先进先出队列,默认大小为1MB。固定长度先进先出队列的入队和出队规则跟普通的先进先出队列一样,和普通先进先出队列随着元素的增加和减少而动态调整长度不同,固定长度先进先出队列的长度是固定的,当入队元素的数量大于队列长度时,最先入队的元素会被总结出,而新元素会被放入队列。
当主服务器进行命令传播时,它不仅会将写命令发送给所有从服务器,还会将写命令入队到复制积压缓冲区里面,如下图所示:
因此,主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区为会队列中的每个字节记录相应的偏移量。
当从服务器重新连上主服务器时,从服务器会通过PSYNC命令将自己的复制偏移量offset发送给主服务器,主服务器会根据这个复制偏移量来决定对从服务器执行什么样的同步操作:
1、如果offset+1偏移量之后的数据仍然存在于复制积压缓冲区里面,那么主服务器将对从服务器执行部分重同步操作。
2、相反,如果offset+1偏移量之后的数据已经不存在于复制积压缓冲区,那么主服务器将对从服务器执行完整重同步操作。
当然复制积压缓冲区大小,可以根据需要调整合适的大小,至于修改方法,可以参考配置文件中关于repl-backlog-size选项的说明。
2.1.3 服务器运行ID
除了复制偏移量和复制积压缓冲区之外,实现部分重同步还需要用到服务器运行ID(runID):
- 每个Redis服务器,不论主服务器还是从服务器,都会有自己的运行ID。
- 运行ID在服务器启动时自动生成,由40个随机的十六进制字符组成。 当从服务断线并重新连上一个主服务器时,从服务器将向当前连接的主服务器发送之前保存的运行ID:
- 如果从服务器保存的运行ID和当前连接的主服务器的运行ID相同,那么说明从服务器断线之前复制的就是当前连接的这个主服务器,主服务器可以继续尝试执行部分重同步操作。
- 相反,如果从服务与当前连接的主服务器的运行ID并不相同,那么说明从服器断线之前复制的主服务器并不是当前连接的这个主服务器,那么主服务将会执行完整重同步操作。