在高水位 HW 机制下,Leader 切换时候会发生哪些问题?
会有两个主要问题:
Leader切换时发生数据丢失问题Leader切换时发生数据不一致问题
为什么会有这两个问题?
因为
Leader副本高水位更新和Follower副本高水位更新在时间上是存在错配的。
图解 Leader 切换时发生数据丢失问题
此问题发生概率极低。
问题重现流程主要是:
# 副本有 2 个,1 个 leader 和 1 个 follower
replication-factor = 2
# 最小同步数为1,1个副本写入数据就认为写入成功
min.insync.replicas = 1
Leader给Follower同步数据Follower宕机了,又重启了Leader宕机了,Follower被选举成Leader
问题重现详细流程:
- 假设一开始:
Leader的LEO = 1, HW = 0,Follower的LEO = 0, HW = 0

- 请求拉取消息(1):
Follower发送fetch请求,Follower写入数据,Leader的LEO = 1, HW = 0,Follower的LEO = 1, HW = 0

- 请求拉取消息(2):
Follower发送fetch请求,Leader的LEO = 1, HW = 1,Follower的LEO = 1, HW = 0,这时候Follower的HW = 1还没更新。这时候,Follower宕机了。

- **截断1:**这时,
Follower宕机后重启了,Follower的LEO会根据HW自动调整为 0,并把那条数据从日志文件中删除。

- 这时,
Leader宕机了

Follower被选举为Leader,副本A 重启了

-
**截断2:**之后根据
Leader(副本B)来同步数据副本A 需要执行相同的日志截断操作,即将高水位调整为与 B 相同的值。

综上就造成了数据丢失。