首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
异构数据源同步
青石路
创建于2024-05-06
订阅专栏
从源数据源同步数据到目标数据源
等 2 人订阅
共8篇文章
创建于2024-05-06
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
异源数据同步 → DataX 同步启动后如何手动终止?
如何优雅的终止任务,是我们需要考虑的重点,直接杀进程的方式,简单粗暴,但不够优雅,一旦错杀,问题可大可小,不到万不得已不推荐;适用单节点的终止方式不一定适用于集群,需要考虑全面
异源数据同步 → 如何获取 DataX 已同步数据量?
如果目标源支持事务,那么 `已同步数据量` 可以实现的很准确,如果目标源不支持事务,那么 `已同步数据量` 实现的就不会很准确,或者说实现难度非常高;文中讲到的日志方式,只是实现方式之一
异源数据同步 → DataX 为什么要支持 kafka?
拓展 DataX 插件,支持 kafka;实现比较容易,但还是有一些细节需要注意;虽说实现了,但不推荐使用,kafka 更偏向于做实时同步
异构数据源数据同步 → 从源码分析 DataX 敏感信息的加解密
DataX 支持敏感信息 RSA 加解密,但官网文档说的不是很清楚,本文从源码的角度分析如何配置 RSA 加密,以及 DataX 是如何进行 RSA 解密的
异构数据源同步之数据同步 → DataX 使用细节
DataX 使用细节,包括: column 数量、顺序需要保持一致 table 可以配置多个,但不推荐 splitPk 用于分片 where 可用于实现增量 querySql实现自定义 SQL
异构数据源同步之数据同步 → datax 再改造,开始触及源码
异构数据源同步 DataX 简单改造 包括 core.json 的调整、日志输出的优化、DataX 的集成
异构数据源同步之数据同步 → datax 改造,有点意思
DataX 支持的源类型有很多,基本满足我们日常需要 再加上 datax-web,能够实现各种调度的数据同步
异构数据源同步之表结构同步 → 通过 jdbc 实现,没那么简单
通过 jdbc 实现关系型数据库表的同步 先将源数据源的表元数据转成 jdbc 类型,然后通过 jdbc 类型放大列类型兼容到目标数据源中 很多细节需要注意