8月14日打卡，今日阅读《Apache Pulsar 在自研数据管道中的技术实践》：在需要同步大量增量数据的场景下，采用了 Maxwell + Pulsar 的自研解决方案，Pulsar Key_Shared 订阅模式能否很好解决分布式消息消费过程中的顺序问题，在数据管道数据链路中增设过滤器，能保证消息不重不漏。
后续我们计划基于现有的解决方案，充分利用 Pulsar 的特性，将数据管道做成可视化的数据同步中台，接入更多的数据库扩展、完善的监控和日志体系。
后续我们计划基于现有的解决方案，充分利用 Pulsar 的特性，将数据管道做成可视化的数据同步中台，接入更多的数据库扩展、完善的监控和日志体系。
展开
评论
点赞