Redis Cluster原理解析

457 阅读3分钟

一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第10天,点击查看活动详情

前言

Redis 3.0之后,节点之间,通过去中心化的方式提供了完整的水平拆分、复制机制、failover故障转移,称为Redis Cluster

结构拓扑

Redis Cluster 由多个Redis节点组构成。不同节点组的数据独立,每个节点组可以看成拆分的一个分片、节点组本身,又包括,master节点、slave节点。

注意,相关的设计思路,在众多中间件的实现上都是如此的。

节点组内master和slave节点,异步复制,数据实时一致。只有master节点提供写服务,master、slave节点提供读服务。

图片

如图所示,k-v 数据集合,被分为五份,称为slot(Redis Cluster 事实上是分为16384个slot)\

图片

以图示为例,两个节点组,A、B分别为两个master节点,对外提供数据的读写服务。节点组内,双向箭头,代表节点间信息订阅,虚线箭头代表,主从复制 。\

节点间信息订阅,通过发布/订阅功能实现,共享数据分片和节点的对应关系,以及集群中每个节点的状态。

一致性配置

因为上文上述,Redis Cluster是一个去中心化的结构,那么如何保证一致性,是需要解决的问题。Redis Cluster通过引入两个自增变量epoch来处理。

  1. 配置信息数据结构

Redis Cluster每个节点都存储着集群的配置信息,存储在clusterState中,结构如图所示:

图片

clusterState 记录了集群中某节点配置状态\

currentEpoch 表示整个集群当前最大版本号,集群信息随着变更,版本号会自增

nodes列出所有节点的信息

clusterNode记录每个节点的信息,其中包括节点版本epoch,版本描述

nodeId每个节点唯一个的id

  1. 信息交互

去中心化的结构,没有统一的配置中心,各个节点对于整个集群的认知来自信息的交互。如同区块链,去中心化

通过,Redis Cluster Bus进行交互信息。

水平拆分

不同节点分组,数据独立。Redis Cluster提供的方案让客户端能够路由到对应的位置。

  1. 数据分片

Redis Cluster提供分片16384个slot,每个分片负责其中一部分。每一条数据,根据key值通过数据分布算法,映射到16384中的一个,客户端根据slotId完成路由。

  1. 客户端路由

Redis Cluster的客户端,相比较单机客户端,在请求过程中,如果发现当前key不在对应的节点slot中,Redis会返回一个moved命令,告知正确路由信息。

客户端可以通过数次moved找到最终的路由地址。

  1. 分片的迁移

Redis Cluster节点组每个slot是确定的。但是当需要发生迁移时,通过命令原语完成操作。此处不深入,感兴趣可以官网了解下。

failover

同sentinel一样,Redis Cluster也提供了一套failover的完整的故障发现、故障转移、故障状态一致性保证。

  1. 故障发现

Redis Cluster通过bus,不断地节点间发起ping/pong交互,用于发现

  1. 故障确定

当A 和B C D 四个节点间,A,B断开,其余连接正常。A判断B是否正常的过程,是A收到所有的节点对于B的反馈,若包括自己认为B挂了,超过半数,则认为B挂了。

  1. slave选举

slave切换为master经过选举,首先要超过半数同意,如果太平均,就要通过优先级

  1. matser降级

当master机器不过接受信息,告知B已经为master,自己会降级到master

好了,今天就聊到这。更多的可以参考官方网站介绍。