在 CDC（Change Data Capture） 同步MySQL Binlog时，选择从主库还是从库同步是一个至关重要的问题。这涉及到数据库的运行机制、数据一致性、性能以及运维复杂性。以下从原理、机制、优劣势等方面进行下详细分析。
1. MySQL Binlog 工作原理
MySQL Binlog 是记录数据库事务操作的日志，支持主从复制和增量数据同步。其工作机制如下：
- 事务提交：
- 当事务提交时，MySQL 将其变更记录写入 Binlog 文件。
- 主从复制：
- 主库的 Binlog 被发送给从库，从库通过 I/O 线程接收并写入 Relay Log，然后通过 SQL 线程回放，应用到从库数据中。
- master库在提交事务完成数据更新前将变更写入到binlog
- slave库发起dump连接请求到master，获取指定的binlog文件
- master创建dump线程，推送binlog到slave(推送模式)
- slave会启动一个IO线程读取master上的binlog事件，并且记录到自己的relay log中
- slave还会启动一个sql线程，从relay log中读取事件执行，完成数据同步
- slave同时记录自己的binlog
- CDC 数据消费：
- CDC 工具（如 Flink CDC、Debezium）通过 MySQL Replication 协议直接消费 Binlog 日志，连接 MySQL 主库或从库，作为一个“伪从库”注册到 MySQL，伪从库会向 MySQL 请求 Binlog 数据。
2. 主库同步 vs 从库同步的机制差异
主库同步机制
- CDC 工具直接连接到主库，通过 Replication 协议读取最新的 Binlog 数据。
- 主库生成 Binlog 后，CDC 工具第一时间消费这些日志。
从库同步机制
- 从库通过主从复制协议获取 Binlog 并存储为 Relay Log。
- CDC 工具连接从库，消费其 Relay Log 中的 Binlog 数据。
3. 主库同步的优劣分析
优点
- 实时性高：
- 主库生成 Binlog 后立即被消费，无主从复制延迟。
- 数据一致性强：
- 主库是事务提交的唯一源头，直接同步能够保证数据完全一致。
- 避免从库问题：
- 从库可能因延迟或配置问题导致数据不完整，而主库同步无需担忧这些问题。
缺点
- 增加主库负载：
- CDC 工具的读取操作会占用主库资源，尤其在高并发写入场景中，可能影响主库性能。
- 主库高可用性要求：
- 主库若发生故障或切换，可能需要重新配置同步，增加运维复杂度。
- 风险更高：
- 若同步任务配置不当，可能对主库生产环境产生干扰。
适用场景
- 需要极低延迟的实时场景，例如实时推荐、风控监控。
- 数据一致性要求极高的场景，例如金融、交易系统。
4. 从库同步的优劣分析
优点
- 降低主库压力：
- 从库承担同步任务，主库专注于处理生产业务，减轻主库负载。
- 增强系统稳定性：
- 若 CDC 工具同步出现问题，仅对从库造成影响，主库运行不受干扰。
- 高可用性：
- 多从库部署时，可配置备用从库进行冗余同步，提高系统容灾能力。
缺点
- 可能存在延迟：
- 从库需要从主库拉取并应用 Binlog，存在一定的主从复制延迟，尤其在高并发写入时更明显。
- 数据一致性风险：
- 若从库延迟或未及时应用 Binlog，可能导致同步数据与主库不一致。
- 复杂的同步配置：
- 从库切换或主从架构调整后，CDC 工具同步任务可能需要重新配置，增加运维复杂性。
适用场景
- 数据实时性要求不高，但对系统稳定性有较高要求的场景。
- 主库压力较大，需分离同步任务的场景。
5. 主库 vs 从库：对比总结
| 维度 | 主库同步 | 从库同步 |
|---|---|---|
| 实时性 | 极低延迟 | 存在主从复制延迟 |
| 数据一致性 | 与主库完全一致 | 可能存在延迟或不一致 |
| 对主库的影响 | 增加主库负载 | 对主库无直接影响 |
| 可用性 | 依赖主库稳定性 | 可通过从库冗余增强可用性 |
| 适用场景 | 实时性和一致性要求高的场景 | 高可用性和性能要求高的场景 |
6. 常见开源工具支持
- Debezium：支持 MySQL 主库和从库同步，推荐场景灵活。
- Flink CDC：广泛用于实时数据同步，支持主库和从库两种模式。
- Maxwell：轻量级 Binlog 同步工具，适合从库使用。
- Canal：阿里开源 Binlog 解析工具，支持高性能从库同步。
7. 总结
- 主库同步：适合对实时性和一致性要求极高的场景，但需关注主库压力和风险。
- 从库同步：适合希望降低主库负载、增强稳定性的场景，但需监控主从延迟和一致性问题。
结合业务需求，选择合适的同步架构，并通过监控、容灾等措施提升整体系统可靠性和性能。
