-
前言：为什么中大型系统一定会出现“数据不一致”？
- 分布式系统没有绝对一致
- 事件丢失、任务失败、双写失序、缓存滞后、补偿延迟
- 数据不一致不是“有没有”，而是“何时出现 & 如何发现”
因此大型企业必须具备——
数据一致性校验平台（Data Consistency Check Platform） -
数据不一致的五大来源（真实企业级场景）
- 双写架构（DB + Cache、DB + MQ）
- 异常重试 + 幂等冲突
- 服务降级后的状态未同步
- 定时任务失败/延迟
- 跨服务数据模型理解不一致（最隐蔽）
-
数据一致性校验平台关键能力
- 数据扫描（Scanner）
读取主表/从表/缓存/索引等数据 - 差异比对（Comparator）
对比字段差异、计数差异、状态差异 - 修复引擎（Fixer）
自动补偿执行（支持幂等） - 任务 orchestration
分片、批处理、限流、失败重跑 - 告警 & 报表
自动推送数据异常情况
- 数据扫描（Scanner）
-
比对策略（难点 + 核心）
- 全量比对
- 增量比对（基于更新时间）
- 双向比对（A→B、B→A）
- 状态机比对：状态不一致自动补偿
- 多维比对（数量、字段、关联度）
-
修复策略设计（最难，也是核心）
- 单字段修复
- 整行修复
- 补偿事件重发（MQ Replay）
- 状态机驱动修复（适用于订单类业务）
- 人工审批修复（高风险字段）
- 多步骤修复（复合业务）
-
平台架构方案（企业级水平）
- Scheduler（调度任务）
- Worker（执行扫描与比对）
- Storage（存放差异快照）
- Repair Engine（可配置修复逻辑）
- Admin Console（可视化操作）
还必须具备：
- 分片处理（Shard）
- 断点续跑
- 多租户隔离
- 风险等级（高危修复需审批）
-
案例：订单系统的数据一致性校验闭环构建
- 子系统 A 与 B 的订单状态不同步
- 自动比对 → 自动补偿 → 失败重试
- 最终达到 “系统无人工参与，数据自动自愈”
-
总结
- 数据一致性校验平台是大型企业的“隐形生命线”
- 系统越大，不一致越多，越需要自动化治理
- 这是成熟后端架构中的顶级能力之一
