老王76

客户要求实时同步表的数据到mysql，但这个表在tidb。 测试直接通过tidb cdc写入到mysql，有些字段是null，所以中间加了一个kafka实现 #### 客户库中创建表 ```SQL

应客户要求，需要同步数据到他们自己的数据库用于简单的数据分析，但这部分数据在postgresql，客户又不想再建pg，想直接同步到他们现有的mysql库，实时性倒是不要求。 考虑到 1、异构数据库

测试了多个方案同步，最终选择oceanu产品，底层基于Flink cdc 1、实时性能够保证，binlog量很大时也不产生延迟 2、配置SQL即可完成，操作上简单 下面示例mysql的100张分表

所有业务都放在一个mongo实例，导致一个业务出问题，影响所有业务。于是进行拆分。 拆分通过在原来副本集添加节点，数据同步好之后，然后进行切换。 副本集名称以业务命名，为了和业务保持一致，修改副

### SQL如下 ``` SELECT DISTINCT a.id, a.num FROM a LEFT JOIN d ON a.id = d.stockId WHERE a.cid

### 起引 订单表的扩展表，在配货转发货过程中会删除配货库数据后，插入到发货库。但一直有数据在没有转移的情况下也被删除。 ### 查找 通过解析binlog和审计，最终查到 ```sql DEL

## 方案说明 canal是阿里云开源的解析binlog组件，同步到ES需要deployer和adapter两部分： deployer解析MySQL binlog，adapter将数据写入到ES

### mysql引擎 create table t_mysql ( id Int32, name String, ) engine = MySQL('127.

#### 原始SQL（执行时间80s+） SELECT count(id) as id FROM task WHERE cid=100015 AND sid IN(112310,112316,