获得徽章 8
公司没买OGG直推TIDB的服务,现在在弄Oracle->TIDB的数据转移,算是小数仓雏形。目前采用Oracle->OGG->Kafka->Flink->TiDB的技术方案,Oracle和OGG外采,其他自建。目前问题重重,主要就是数据不准的问题,数据同步问题定位结果初版如下:
1.结构变动问题,需要OGG推送DDL语句,但是不兼容MySQL,放弃。临时解决方案,ERP变更表时通知PTM手动传输数据变更新表--这段时间内数据存在问题
2.科学计数法导致部分DML语句失效--已定位待解决,初步通过放弃精度截断数据的方式控制,1.341068923615803367779017269385769286725E-57疑似ERP默认值,无特殊意义,多表频繁出现--与ERP相关人沟通中
3.SQL顺序问题,导致部分SQL影响行数为0--怀疑是OGG推送数据问题,已写程序手动保存数据验证中,顺道开始进行TIDB插入的优化
4.根据3的记录发现转SQL的工具类有问题,不是所有消费的数据都能被正常转为SQL,导致数据丢失
展开
评论
准备下一篇文章来喽,目标是周末肝出来,希望这周不要太多活,忙死我啦
2
云雨雪的头像
Java菜恐龙 @ 锦鲤🐟协会
今天发生了一件特别特别好的事情,泰裤辣!!!
2
下一页
个人成就
文章被点赞 1,236
文章被阅读 59,687
掘力值 3,846
收藏集
1
关注标签
12
加入于