1、背景
由于目前CloudCanal的免费版数据源的限制性(5个数据源),需要寻找新替代品用来替换CloudCanal这个中间件。无意间从一篇技术博客中发现了Bifrost这个中间件,用起来的计较简单。2、Bifrost简介
Bifrost ---- 面向生产环境的 MySQL,MariaDB 同步到Redis,ClickHouse,Elasticsearch等服务的异构中间件GitHub:github.com/brokercap/B…
Gitee:gitee.com/jc3wish/Bif…
Github上的已经获得了2K的star,支持的异构数据源也不少,主流的消息中间件、MPP分布式数据库以及http协议的服务。
3、Bifrost的版本
目前最新的版本:`2.3.8-beta` 公测版目前稳定版版本:1.8.8-release
自从发布2.x版本以后都是公测版,目前还没有2.x的稳定版。
从最新的公测版来看,该中间件支持windows版和linux版。因为部署比较简单,下面采用windows版。
4、部署安装
直接点击Bifrost.exe即可启动。
默认用户名密码:Bifrost/Bifrost123
登录进入的首页:
5、添加数据源
定义任务名称->选择数据源填写数据源链接->测试>提交
这里就数据源的添加。
6、目标数据源的添加
添加好数据源以后,会自动跳转目标数据源。
该中间件没有Starrocks的专门插件,但是官网说可以使用mysql的插件。所以这里选择mysql插件。然后提交即可。
目标数据源:
首页就可以看到概况:
7、数据同步配置
数据同步的配置,从数据源端配置。 选择需要同步的数据库 > 选择库表 > ADD
8、选择接受的目标数据源
点击需要变更的库表(变成绿色) > 选择目标源的库 > 提交提交以后就会出现任务同步的任务
这个时候同步任务就已经全部设置完成,但是任务并没有开启。
9、全量数据的同步
> 由于第一次同步的时候没有数据表结构,所以需要做一次全量数据的同步。 >可以添加同步的条件、表名。然后保存即可。全量任务就已经完成。
start 即可同步全量数据。
首页即可看到同步数据的记录数
10、 增量数据的同步
全量数据的同步完成之后,并不会自动同步增量数据。需要我们手动开启增量的开关。全量数据同步之后的数据都会自动回到Starrocks中。