新的Kafka适配器:用Apache Kafka连接Diffusion 6.6

247 阅读3分钟

随着Diffusion 6.6 Preview 1的发布,新的Kafka适配器的测试版本已经可以用于内部Diffusion。

Kafka适配器可以翻译Diffusion主题和Apache Kafka事件之间的数据。我们设计它的目的是为了使Kafka与Diffusion的集成变得快速而简单。

Kafka是一个广泛使用的事件流工具,具有高性能、坚实的可扩展性和数据中心内的弹性。Diffusion利用delta流和可靠的会话重连,在不可靠的网络中提供最后一英里的数据交付,非常高效。新的Kafka适配器作为这两个强大系统之间的桥梁,使你能够建立一个完整的实时数据分发解决方案。

早期用于Diffusion的独立的Kafka适配器使用Kafka Connect框架,并通过GitHub提供。新的适配器不使用Kafka Connect,而是基于Kafka Producers和Consumers。

这个新的Kafka适配器的一个版本从8月份开始在Diffusion Cloud上可用。

对于on-prem预览版,该适配器更加完善,具有更多的功能和改进的配置选项。该适配器包含在Diffusion服务器的安装中,可以独立于主服务器停止和启动。

功能。

发布-sub

通过适配器的发布功能,来自不同Kafka主题的消息可以在Diffusion中进行聚合,并使用主题视图提取到独立的参考主题中,或者使用新的主题视图插入子句进行修改。新改造的数据可以发布到另一个Kafka主题(使用适配器的订阅者功能)或发布到Diffusion客户端。

你可以将更新从一个特定的Diffusion主题路径发布到Kafka。如果你愿意,你可以将多个Diffusion主题路径的更新映射到一个Kafka主题。这些都是可以在适配器中配置的。

支持多个Kafka集群

在这个版本的适配器中,用户可以将Diffusion与多个Kafka集群连接,并在它们之间传输消息。有了这个功能,来自不同Kafka集群的数据可以发布到Diffusion主题。适配器可以被配置为从一个Kafka集群消费消息,并将消息发布到其他集群。下面是一个用例的示意图。

Kafka安全支持

你可以配置适配器以安全地连接到Kafka集群。支持SSL连接和SASL认证机制。在这个版本中,对于SASL认证,支持SASL/GSSAPI(Kerberos)和SASL/PLAIN。

可配置的Kafka客户端

Apache Kafka提供各种配置选项来配置Kafka消费者和生产者。这些可以在适配器配置中作为键值对自由添加,所以你可以微调消费者和生产者的能力。

时间序列主题

适配器支持发布和订阅Diffusion时间序列主题。要发布到一个时间序列主题,请在配置中使用 "mapToTimeSeriesTopic "标志。

监测

适配器使用Prometheus来公开其指标。除了Prometheus提供的默认JVM级别的指标外,还增加了发布者和订阅者特定的计数器,让你更深入地了解适配器处理的消息。

原文来源:https://bit.ly/3xvw2rj


新的Kafka适配器。将Diffusion 6.6与Apache Kafka连接起来》最初发表在《Nerd For Tech》杂志上,人们通过强调和回应这个故事来继续对话。