一、概念
CDC(Change Data Capture,变更数据捕获)是一种实时同步技术。
CDC 不做定时全表扫描,而是持续消费数据库变更日志,逐条把变化同步到下游(数仓、搜索索引、缓存、另一个数据库)。
binlog 是 MySQL 的二进制日志,记录数据库内容发生了哪些修改。插入、更新、删除都会写进去,SELECT 不记录。CDC 读的就是它。
对账是同步链路跑起来之后,检查源库和目标库的数据一不一样。CDC 把变更“发出去”了,不等于目标库“正确应用”了,所以需要一道校验兜底。
整条链路是:MySQL 写 binlog → CDC 读 binlog 发往下游 → 下游重放到目标库 → 对账检查两边是否一致。
二、binlog 与 CDC 读取机制
2.1 binlog 的三种格式
binlog 有三种格式:
- statement:记 SQL 语句。遇到
NOW()这类函数,重放结果可能和源库不一样。 - row:记每一行变更前后的完整内容。CDC 场景要求这种格式。
- mixed:默认 statement,特定情况切 row。
CDC 读的就是 row 格式,因为它带着“这行改之前是什么、改之后是什么”,下游才能精确重放。
注:MySQL 5.7.7 起默认格式已是
ROW,但会话级别可以临时改掉,生产环境仍建议显式确认。
2.2 CDC 怎么读 binlog
以 Flink CDC 为例,核心机制三步。
第一步,伪装成从库。 CDC 连接 MySQL 时带一个 server_id,MySQL 把它当成一个副本。如果并行度大于 1,每个 reader 需要不同的 server_id,否则可能从错误的位点读 binlog。
第二步,解析事件。 binlog 里每条记录叫一个事件。row 格式的事件带着变更前后的列值。CDC 把它转成结构化格式,比如 {type: UPDATE, table: users, before: {name:"A"}, after: {name:"B"}}。
第三步,发往下游。 通常先到 Kafka,再由消费端写到目标库。Debezium 的标准架构是:源库 → Kafka Connect → Kafka topic → Sink → 目标库。
为什么过 Kafka:解耦与缓冲。
- CDC 只管可靠发出变更,不必关心下游有多少消费者、各自处理快慢。
- 多个下游(搜索索引、缓存、数仓)可独立订阅同一份变更,不必各自再读一遍 binlog。
- 下游短暂故障或消费延迟时,Kafka 保留事件,不阻塞整条同步链路。
- 源库只承受 CDC 一个读取方的压力,而不是多个应用叠加。
Debezium Server 也支持 Kinesis、Pub/Sub、Pulsar、RabbitMQ 等目标。单下游场景下 CDC 直写目标库也可行,使用 Kafka 换取的是扩展性和容错性。
Sink 是什么? Sink 是数据流的终点/接收端,负责把上游发来的变更事件写进目标存储。
这里的 Sink 具体指 Kafka Connect 的 Sink Connector——从 Kafka topic 消费消息再写入目标库(如 JDBC Sink 写 MySQL、Elasticsearch Sink 写 ES);对应地,把源库变更写进 Kafka 的那一端叫 Source Connector。
Source 是“从源读出来发到 MQ”,Sink 是“从 MQ 读出来写到目标”。
Sink 不限于 Kafka Connect,Flink CDC 写入下游的算子、Debezium Server 的输出端,广义上都算 sink。
2.3 CDC 到底“复制”了什么
这里容易让人误解:CDC 是不是像 Git 那样,把数据的完整历史一并搬走?不是的。
CDC 只做三件事:捕获(读源库日志)、格式化(解析成结构化消息)、投递(发往下游)。发出去之后,它的活基本就完了。它不保证目标端写成功,不做回滚,也不做跨端的事务协调。它留下的是变更事件的短期流,不是源表的完整历史账本。流有保留期限,过期就没了。
所以更准确的说法是:CDC 是一个变更捕获与投递层,解决的是“变更怎么可靠地流出去”。应用、存储、一致性校验、回滚,都在下游。能不能“回滚”,要看下游把历史存成了什么样:只存当前状态,历史在落库那一刻就丢了;要保留历史,得显式做 SCD Type 2 这类设计。
这也是为什么对账要单独拎出来讲:CDC 管不到“两边真的一样”。
三、为什么 CDC 投递之后仍会出现数据不一致
CDC 把变更“发出去”了,不等于目标库“正确应用”了。链路中间的断点可以归成三类:消费端语义、快照机制、schema 演进。
3.1 消费端语义:重复消费
Flink CDC 的 binlog 位点作为 Flink state 的一部分,在 checkpoint 完成时才被持久化。如果 checkpoint 间隔是 3 分钟,任务在这期间挂了,恢复后会从最近一次成功 checkpoint 的位点重新消费,这 3 分钟内的数据就会被重复处理。任务频繁重启,重复就越多。
3.2 快照机制:边界重复与切换空窗
先看增量快照怎么工作。Flink CDC 2.x 的增量快照按主键区间切 chunk,每个 chunk 的读取算法是:记录低位点 → 读 chunk 数据 → 记录高位点 → 回放低位点到高位点之间的 binlog 来修正 chunk 内的变更。全程不加全局读锁(不需要 FLUSH TABLES WITH READ LOCK)。
这个机制下有两个固有风险点:
其一,chunk 边界附近的数据可能被重复处理。 边界附近的数据在快照读取和 binlog 回追阶段可能被重复处理。这是增量快照机制的固有特征,不是简单的 SQL 区间重叠——问题不在于“某个主键值在两个 chunk 的 SQL 条件里都出现”。
其二,快照与增量的切换空窗。 所有 chunk 读完之后,binlog 读取要等到一个完整的 checkpoint 完成后才开始,以确保快照数据已被下游消费。如果这个切换点处理不当或 checkpoint 迟迟不完成,下游可能短暂处于“快照已完、增量未接上”的状态。
3.3 schema 演进:DDL 没跟上
源库加了一列,binlog 事件带了新字段,目标库表结构没改,写入报错或字段被丢弃。
四、对账怎么做
4.1 前提:用 binlog 位点对齐时间点
对账最容易踩的坑是:你比的不是同一个时间点。
源库在 t1 时刻的数据,目标库在 t2 时刻的数据。如果 t1 到 t2 之间源库有变更且已同步,两边当然不一样,但这不代表同步有问题。
正确做法是用 binlog 位点对齐。对账的基准是 binlog 位点:CDC 读到某个位点,目标库声称也应用到了这个位点。理论上,源库在这个位点之前的数据,和目标库当前数据应该一致。对账时只比对“目标库位点之前的、源库位点之前的数据”。
4.2 精度维度:三层比对
成本和精度递增,逐层下钻:
第一层,行数比对。 两边各 count(*)。最快,能发现“一批数据完全没同步”。发现不了行数一样但内容不同。
第二层,校验和比对。 对核心字段算 CRC32 或 MD5,两边比。按主键范围分块算,避免全表扫。
第三层,逐行比对。 按主键拉出两边数据逐字段比。只在第二层发现差异块之后做,用来定位具体哪一行不对。
4.3 范围维度:增量对账与全量对账
这与上面的精度层次是正交的两个维度,配合使用:
- 增量对账只看最近变更过的数据,可以高频跑。
- 全量对账扫所有数据,频率低。
五、发现差异之后
如果是目标库缺了数据,从源库拉当前行覆盖写入就行。
如果是字段值不对,要先判断:是 CDC 漏了某次更新,还是目标库被其他写入污染了。如果是后者,直接覆盖可能把正确的数据冲掉。
修不了的进人工队列。金额差异、状态机跳转异常,不是覆盖能解决的。
对账的频率取决于数据重要程度。资金类可以做到分钟级增量对账,日志类行数比对每周一次就够了。
关键是:对账发现的问题要能反馈到同步链路。如果总是同一类差异,说明同步配置或消费端逻辑有系统性 bug,修链路比修数据更根本。
学习资料
- MySQL binlog 格式官方文档(
ROW默认、三种格式差异):dev.mysql.com/doc/refman/… - Flink CDC MySQL Connector 文档(增量快照、chunk 读取算法、无锁机制、心跳事件):nightlies.apache.org/flink/flink…
- Flink CDC Sources 总览(版本兼容表、特性矩阵):nightlies.apache.org/flink/flink…
- Debezium 架构文档(Kafka Connect 标准部署、Server、Engine 三种方式):debezium.io/documentati…
- Debezium 中文文档(同上,中文版):debezium.cn/documentati…
- AWS Keyspaces CDC 迁移指南(含对账与去重考量):docs.aws.amazon.com/keyspaces/l…