Tapdata数据库同步过程举例

135 阅读3分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第23天,点击查看活动详情

举例:Oracle 数据实时同步到 Elasticsearch

一般需要做全文检索的时候,会将 Oracle 数据实时同步到 Elasticsearch。

第一步:配置 Oracle 连接

  1. 点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择Oracle 在这里插入图片描述

  1. 在打开的连接信息配置页面依次输入需要的配置信息 在这里插入图片描述


【连 接 名 称】:设置连接的名称,多个连接的名称不能重复 【数据库地址】:数据库 IP / Host 【端 口】:数据库端口 【数据库名称】:tapdata 数据库连接是以一个 db 为一个数据源。这里的 db 是指一个数据库实例中的 database,而不是一个 schema。 【账 号】:可以访问数据库的账号 【密 码】:数据库账号对应的密码 【时 间 时 区】:默认使用该数据库的时区;若指定时区,则使用指定后的时区设置

第二步:配置 Elasticsearch 连接

  1. 同第一步操作,点击左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择Elasticsearch 在这里插入图片描述

  1. 在打开的连接信息配置页面依次输入需要的配置信息,配置完成后测试连接保存即可。 在这里插入图片描述

第三步:建立同步任务,以全量+增量同步举例 进入Tapdata Cloud 操作后台任务管理页面,点击添加任务按钮进入任务设置流程 在这里插入图片描述


根据刚才建好的连接,选定源端与目标端。 在这里插入图片描述


根据数据需求,选择需要同步的库、表,如果你对表名有修改需要,可以通过页面中的表名批量修改功能对目标端的表名进行批量设置. 在这里插入图片描述


在以上选项设置完毕后,点击下方的全量+增量选项并点击确定按钮即可完成本次全量同步任务的配置,在点击确定后将自动返回任务管理页面,在任务管理页面中,点击右侧的启动按钮即可使Tapdata Agent 开始执行本次任务。在全量任务执行完毕后,Tapdata Agent 会自动进入增量同步状态。在该状态中,Tapdata Agent 会持续监听源端的数据变化(包括:写入、更新、删除),并实时的将这些数据变化写入目标端。

在这里插入图片描述


点击任务监控可以打开任务执行详情页面,可以查看任务执行的具体信息。 在这里插入图片描述


同理,其他数据库的同步操作也跟上面步骤一致,比如几个常用的场景是: • 从业务数据库到缓存数据库的实时同步 • 不停机迁移数据库 • 将主业务中心的数据实时同步至次业务中心 • 构建只读实例 • 构建异地灾备中心 • 构建异地多活