用户627060073319

近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系…

# 简述 **CloudCanal** 近期实现了 MySQL（RDS） 到 ClickHouse 实时同步的能力，功能包含全量数据迁移、增量数据迁移、结构迁移能力，以及附带的监控、告警、HA等能

介绍 环境 MySQL Binlog 开启 其他命令 Kafka Kafka 安装 修改Kafka、zookeeper 配置 启动Kafka 与Zookeeper 统一启动脚本 集群配置 其他命令 异

在早期的时候，阿里巴巴公司因为杭州和美国两个地方的机房都部署了数据库实例，但因为跨机房同步数据的业务需求 ，便孕育而生出了canal，主要是基于trigger(触发器)的方式获取增量变更。从 2010 年开始，阿里巴巴公司开始逐步尝试数据库日志解析，获取增量变更的数据进行同步，…

# 作者介绍 **Ceven**，德勤乐融(北京)科技有限公司 **邮箱**：likailin@deqinyuerong.com # 前言 CloudCanal 近期提供了自定义代码构建宽表能