之前公司开发社交APP的时候 在开发和初上线阶段，我们一直采用的是 MySQL 来存储用户的各种数据，满足基本的查询需求。当时系统业务量小，数据规模有限，因此 MySQL 能很好地支持查询操作，

在面对复杂条件查询时，MYSQL往往显得力不从心，一般公司的做法会通过将mysql中的数据同步到ES，之后的查询就通过ES进行查询，ES在面对多条件复杂查询时，能较快的查询出结果集。 在MYSQL数据

需求 我想要在SpringBoot中采用一种与业务代码解耦合的方式，来实现数据的变更记录，记录的内容是新数据，如果是更新操作还得有旧数据内容。 经过调研发现，使用Canal来监听MySQL的binlo

目前关于数据同步的组件开源社区有很多，如：Flink CDC, DataX, seaTunel，Kattle 等等，大体上可以分为两种：基于日志的和基于 JDBC 的。这些同步组件在进行整库同步或者

我们不生产数据，我们只是数据的搬运工；一个疏忽搬不好，还会炸到自己的脚。在进行双方数据同步时需要考虑：数据防重，数据防乱序；如何保证数据不丢失；数据同步及时性上的设计

系统运行过程中日积月累产生大量业务数据，并且查询条件也随着业务细分更加精细。通过传统关系型数据库查询严重拖慢系统响应速度，尤其是模糊查询时更是力不从心。

在公司的实际业务场景中，初始化数据是个避不过去的话题。比如项目上线初期，将数据库的商品数据同步到搜索引擎 ElasticSearcgh 、缓存 Redis 或者其它的数据库。

随着复杂度越来越高，业务线与系统也越来越多，这些系统或业务之间的数据同步需求也越来越频繁。公司亟需一套灵活易用的系统间数据同步与处理方案，让数据可以很方便的在业务或组件间流转，助推业务快速迭代。

canal 是阿里知名的开源项目，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 这篇文章，我们手把手向同学们展示使用 canal 将 MySQL 增量数据同步到 ES 。