我们很高兴地宣布我们新的Kafka连接器。Ably Kafka连接器在Kafka和Ably之间提供了一个现成的集成，帮助企业以快速、简单、可靠和安全的方式将数据从Kafka分发到互联网连接的客户端设备。作为我们与Confluent合作的一部分，该连接器可在Confluent Hub上作为黄金标准连接器使用。
Ably Kafka连接器是Confluent上经过验证的金牌连接器。
到2025年，预计30%的数据将是实时的。在公司内部创建的数据 ，并将达到实时数据领域的一半，另一半是由消费者产生。在未来5年内，市场上的现有企业和挑战者的相关性将取决于如何很好地利用实时数据，以提供所有客户所期望的个性化、即时、随行的体验。
当涉及到流媒体和处理大量关键任务、时间敏感的事件数据时，Kafka是大多数公司事实上的选择。但Kafka并不是为在内部系统和公共互联网上的消费者之间分配事件而设计的。构建将实时事件数据流向数百万用户设备的产品的工程团队面临着寻找将Kafka扩展到边缘的解决方案的挑战。
这个解决方案需要在Kafka和客户端设备之间使用一个面向互联网的消息传递层。构建这样一个层在技术上具有挑战性，而且非常耗时，因为它需要大量的DevOps和工程资源用于构建和维护面向公众的接口，以及为负载平衡和高可用性配置应用服务器。然而，有一些方法可以解决从Kafka到客户端设备的消息分发问题，而且开发人员越来越多地转向它们。Ably就是这样一种方式。
拓展Kafka，不惧痛苦
新的Ably Kafka连接器是一个建立在Apache Kafka Connect基础上的同步连接器，它可以自我托管或由第三方供应商托管--最常见的是Confluent平台。这个连接器现在已经发布了测试版，被Confluent验证为黄金标准，遵循Confluent的验证集成计划所规定的准则。
Ably旨在通过一个容错的、动态弹性的全球边缘网络，以极高的规模向网络、移动和物联网设备传输信息。我们的许多客户使用Ably作为Kafka面向互联网的扩展，实时向消费者发送关键任务的事件数据，跨越网络边界。
使用Ably Kafka连接器，您可以实现Ably和您现有设置之间的无缝集成，轻松发布Kafka实时事件数据。
- 通过互联网向大量的、快速变化的终端用户设备发布
- 在不危及您公司数据安全的情况下
- 以类似于Kafka所提供的可靠的高标准
使用Ably从Kafka到边缘的事件分发
Ably是Kafka的天然补充，它提供了同样的保证、消息语义和特性。
在我们看到的将Kafka扩展到边缘的最常见的用例中，包括。
- 金融和银行业基于云的移动产品向客户发送时间敏感的信息，如股票数据或货币汇率。
- 医疗保健和紧急服务 ，工作人员必须在多个地点接收可靠的、即时的紧急情况信息，以便将紧急任务组部署到最需要的地方。
- 观众参与的应用程序和平台向数以百万计的设备发送实时分数、更新和评论。
将数据流扩展到数以百万计的终端用户，而无需配置基础设施
Kafka在主题数量少，生产者和消费者数量有限且可预测的情况下效果最好。此外，它不是为细粒度的数据分发而设计的，也没有一个机制来确保当客户端设备通过互联网连接时，它只接收与该用户/设备相关的消息。
另一方面，Ably每月通过15个数据中心和205个边缘加速点向超过2.5亿的终端用户提供超过5500亿条信息，速度低于65ms。我们的平台可以快速横向扩展到无限数量的频道和数百万并发用户--不需要手动配置容量，并且有50%的容量余量用于即时激增。
Ably的通道（相当于Kafka主题）针对跨网络通信进行了优化，并允许对来自Kafka主题的消息进行灵活路由，确保通过互联网连接的客户只订阅相关信息。
将Kafka的主题和分区直接映射到你需要的任何数量的Ably通道中
在边缘为用户创造可靠的数字体验
在你的网络内部，Kafka保证了交付和消息排序、高可用性、无单点故障、耐久性和低延迟。但是，为了提供这些保证，Kafka需要可靠、持续的网络条件。在公共互联网上发送数据时，这是根本不可能的，因为数据网络的质量是不可靠的。
Ably的设计是为了在不同可靠性的网络中大规模地提供关键功能，并能保证。
- 从消息发布到Ably，一直到其交付给消费者，都能保证消息的排序、保证交付和精确的一次语义。
- 可预测的65毫秒的往返延迟为99%。
- 区域和全球层面的容错，即使在多个基础设施发生故障的情况下，也能保证服务的连续性，消息的存活率为99.999999%。
- 一个99.999%的正常运行时间SLA。
保持你的公司网络完全安全
允许你公司的数据处理组件通过互联网直接访问会带来严重的安全风险。找到一种方法，以安全的方式在边缘暴露你的Kafka数据，是工程团队在构建通过公共互联网扩展Kafka的解决方案时所面临的部分挑战。
使用Ably作为Kafka的边缘扩展，可以将后端Kafka的部署与终端用户完全解耦。客户端永远不会直接连接到Kafka。相反，他们只被允许订阅与他们相关的Ably通道。
与Kafka不同的是，Ably的设计具有多种安全机制，用于跨网络边界的数据分发，从网络级攻击缓解到单个消息级加密。
- SSL/TLS加密
- 256位AES加密
- 基于令牌和基本密钥的认证
- 基于权限的访问
- DoS保护和速率限制
- 符合ISO 27001、HIPAA和欧盟GDPR标准
- 通过SOC2 Type 2认证
查看Ably Kafka连接器的运行情况
了解一个东西是如何工作的最好方法就是看它的运行情况，所以Ben Gamble在一个票务预订解决方案中使用了这个连接器，该解决方案处理大量的票务数据并将其分配给大量的客户。为了构建这个解决方案，他使用了FastAPI、Kafka和Ably以及其他一些技术--所有这些都可以免费获得。要看它是如何工作的，如果你想跟着做，请看这个分步骤指南。
技术指南。用Kafka、FastAPI和Ably构建一个实时票务预订解决方案
开始使用Ably Kafka连接器
Ably Kafka连接器适用于任何类型的包含Kafka Connect的Kafka部署，无论是自我托管、完全管理、内部部署还是云端部署。目前，Ably Kafla连接器允许你。
- 从一个或多个Kafka主题发布Kafka记录到一个Ably通道中
- 使用API密钥连接到Ably
Ably Kafka连接器是Confluent平台上的一个黄金标准连接器。它也可以使用Docker在本地部署。关于部署和配置的更多信息，请查看文档。
该连接器在Apache 2开源许可下可用，我们正计划继续扩展和改进它，所以我们鼓励反馈和功能请求；如果你想讨论贡献或功能请求，请提出问题或拉动请求。你也可以在任何时候联系我们。
如果你想了解更多关于Aply平台上的各种方法和功能，你可以创建一个免费的Aply账户来开始，并看看我们的一般文档。如有任何问题或反馈，请与我们联系。
