GBASE南大通用技术分享:GBase 8a数据库 kafka 数据集成简介

43 阅读1分钟

南大通用GBase 8a数据库数据同步系统,通过 Oracle Golden Gate(OGG)、GBase RTSync 等工具复制 Oracle、GBase 8s 等数据库的业务数据,通过 kafka 同步到 GBase 8a MPP Cluster。为了应对业务系统可能的峰值,在系统中加入 Kafka 消息队列作为缓 冲区。总体流程如下:

OGG 发送端(GoldenGate Extract)从 Oracle 的在线日志和归档日志中抽 取事务信息,生成 Trail 文件。OGG 接收端(GoldenGate Replicat)收到 Trail 文件抽取事务信息转换为目标格式,并生产事务消息到 Kafka。Consumer 从 Kafka 中消费事务消息,将数据更新到 8a MPP Cluster 中。 

Kafka consumer 的主要功能就是同步 Kafka 数据到 8a MPP Cluster: 

1) 根据配置,可以指定需要同步的业务; 

2) 在同步过程中,提供同步状态查询功能; 

3) 实现数据同步的高可用性和事务数据一致性。