Confluent 22年第一季度发布会正在进行中,它充满了新的功能,使企业能够通过运动中的数据推动的实时体验继续快速创新。我们的季度发布会提供了一个单一的资源,以了解我们为Confluent Cloud(我们的云原生数据流平台)带来的越来越多的新功能。
以下是你将在这个博客中找到的一切概述。
简化的实时数据集成和巨大的吞吐量弹性与Confluent Q1 '22启动
云原生、完整和无处不在。这三个支柱对于一个移动的数据平台来说是最重要的,也是我们每季度发布的结构。
完整。通过50多个完全管理的连接器简化实时数据集成
为客户和内部决策团队提供实时体验需要整合整个企业的数据系统和应用程序,这是一个不断发展的挑战。凭借对建立和管理一个定制的源或汇集成所需的第一手资料--~3-6个工程月和深厚的Kafka专业知识--我们很高兴地宣布Confluent Cloud上有50多个完全管理的连接器。这是市场上最大的完全管理的连接器组合,包括自我们上一季度发布以来的30多个新连接器我们的全托管连接器消除了操作上的开销,并包含了诸如单一消息转换和数据预览等生产力功能,使团队能够加速他们的数据运动之旅,并降低他们对Apache Kafka®的总拥有成本(TCO)。
通过我们对Datadog和Prometheus的新的一流集成,从你已经使用的监控工具中获得对Confluent云的深度可视性。
云原生。大规模的吞吐量弹性与专用集群的扩展和缩小
每个行业中使用Apache Kafka的团队都面临着确保他们的服务在任何时候都保持高度可用的挑战,不管是什么时候。这是一项非常昂贵、耗时和有风险的工作,特别是对于高吞吐量的用例。Confluent的专用集群现在可以让客户以更高的成本效益来运行他们最大的工作负载,在之前已有的容量扩展的同时,还可以进行自助式、程序化的容量缩减。通过Confluent云用户界面、CLI和API的控制,以及自动负载再平衡等内置保障措施,您可以动态地扩大容量以处理任何工作负载,然后再缩小容量以控制成本,而无需更新客户端。
ksqlDB内新的单CSU应用规模提供了适合任何预算的定价选项,这意味着更多的团队可以利用流处理的力量。
无处不在。通过模式链接实现全球范围内的数据质量控制
全球一致的数据质量控制对于保持高度兼容的Kafka部署,适合整个组织的长期、标准化使用至关重要。有了模式链接,你现在有了一种操作上的简单手段,可以通过实时同步的共享模式在云和混合环境中维护可信、兼容的数据流。与集群链接一起使用,模式可以在任何需要的地方共享,为在整个业务中保持高数据完整性提供了一种简单的手段。
此外,通过新的Confluent v2 CLI,从一个单一的界面管理所有Confluent,跨越云和企业内部。
开始使用Confluent 22年第一季度发布的功能进行构建
准备好开始了吗?请务必注册参加Q1 '22 Launch演示网络研讨会,您将学习如何使用这些新功能。
如果您还没有这样做,请注册Confluent Cloud的免费试用。新注册的用户在最初的60天内可获得400美元的Confluent Cloud消费。使用代码CL60BLOG ,可以获得额外的60美元的免费使用。*
完整。通过50多个完全管理的连接器实时无缝连接您的整个业务
为了提供实时体验,企业需要在其所有的业务系统和应用程序之间建立高性能的流式数据管道。
我们很高兴地宣布,在Confluent Cloud上有超过50个(而且还在不断增加)完全管理的连接器,这是市场上最大的完全管理的连接器组合的里程碑。我们最新增加的连接器包括ActiveMQ源、Databricks Delta Lake汇、Google BigTable汇、IBM MQ源、MQTT源、MQTT汇、PagerDuty汇、RabbitMQ源、RabbitMQ汇、Redis汇、SFTP源、SFTP汇、Splunk汇和Zendesk源连接器。
有了Confluent的完全管理的连接器,你就能够。
- 消除自我管理连接器的操作负担,并通过市场上唯一由50多个专家构建的、完全管理的连接器组合来降低总拥有成本
- 通过将高性能、流式数据管道引入数据仓库、数据库和数据湖,打破数据孤岛,实时运营您的业务
- 通过丰富的、开箱即用的功能改善数据的可移植性和开发人员的工作流程,在连接器内而不是在下游系统中无缝转换和监控数据。
我们有50多个完全管理的连接器组合,只需点击几下就能与流行的数据系统和应用程序进行实时集成。
"我们是一个小团队,负责在我们的数据仓库和数据湖中提供实时的用户互动数据,以便立即进行分析和洞察。通过使用Confluent完全管理的Amazon S3、Elasticsearch、Salesforce CDC和Snowflake连接器,我们能够快速、轻松地建立高性能的流数据管道,通过Confluent云连接我们的业务,而没有任何操作负担,加速了我们整个项目的时间。"
-Joe Burns,首席信息官,TeePublic
我们实现完全管理的连接器的旅程
我们正在继续对我们的完全管理的连接器组合进行重大投资,因为我们已经亲眼看到在构建和管理连接器时出现的挑战。例如,开发人员可以使用开源的Kafka Connect框架来构建自定义连接器。这需要大量的Kafka知识、Connect工作者管理,以及平均3-6个月的工程时间来严格设计、构建和测试_每个_连接器。
Confluent提供了一个由120多个连接器组成的预建生态系统,可供生产使用,以避免开发连接器所带来的挑战。我们的下一个目标是进一步推进预建连接器,在Confluent云上提供完全管理的连接器,以消除您所有的操作和低层次的基础设施负担。有了完全管理的连接器,您现在可以毫不费力地整合您的数据系统,并将您的注意力转移到业务差异化的项目上。只有Confluent提供50多个连接器,这些连接器在整个堆栈中被完全管理,并丰富了开箱即用的功能,由世界上最重要的Kafka专家构建。
-
全面管理整个堆栈
Confluent通过管理内部主题、工作者配置、监控和安全,抽象出围绕Connect工作者的复杂问题,同时让您能够控制灵活地增加和减少任务数以适应您的业务需求。虽然其他云托管的Kafka产品可能也会管理底层的Connect worker,但它们并没有提供大量的完全管理的连接器组合。如果没有它们,你仍然需要开发、测试、维护和支持你架构中的每一个连接器--错过了完全卸载无差别的开发和运营负担的机会。此外,Confluent提供您所需要的持续支持、维护和连接器更新,以支持持续的、关键任务的应用程序和用例。
只有Confluent在整个堆栈中提供专家构建的、完全管理的连接器,以消除运营负担和风险。 -
现代化你的数据系统
Connectors 在实现广泛的流媒体用例方面发挥了关键作用,其中最受欢迎的是为数据仓库、数据库和数据湖构建流式ETL管道。通过摆脱批处理,你开始实时地操作你的业务。Confluent的全面管理连接器组合使您能够通过实时数据管道实现您的数据仓库、数据库和数据湖的现代化。
-
丰富、增值的功能。单一消息转换、数据预览和连接日志
除了源和汇的覆盖,同样重要的是,我们完全管理的连接器带有丰富的功能,可以免费提供额外的价值,提高你的生产力。在过去的一个季度里,我们将Connect日志事件和单一消息转换(SMTs)带到了云端,这样你就可以监控连接日志以获取上下文信息,也可以执行轻量级的数据转换,例如在连接器内对飞行中的消息进行屏蔽和过滤。这些SMT提高了可扩展性,并通过消除对下游系统中昂贵的大容量数据处理的需求来降低总拥有成本。Confluent也是唯一提供数据预览功能的供应商,让您在启动连接器之前用实际的连接器配置测试源连接器的输出。这有助于迭代测试,为您节省宝贵的时间,使您能够自信地将连接器投入生产。
完整。与Datadog和Prometheus集成监控
保持对整个IT堆栈的深入、自信的了解,对于持续提供客户要求和期望的高质量服务至关重要。然而,随着分布式系统的兴起和卸载到管理服务中的技术的日益普及,现代堆栈正变得越来越复杂。
Confluent云客户现在可以使用Datadog来直接监控他们的数据流和他们的技术栈的其他部分。这种整合为企业提供了一个单一的真相来源,用于监控和管理整个企业的关键任务系统,而且只需简单地点击几下就可以完成设置。与手动解决方案的设置相比,这使他们能够极大地减少操作的复杂性,并将时间集中在更高附加值的项目上。DevOps团队可以在他们已经使用的监控工具中轻松获得Confluent Cloud的端到端可视性,为识别、解决或完全避免可能发生的任何问题提供了一种更简单的手段。
"为世界各地的房主和住房专业人士提供一流的体验需要对我们的业务有一个全面的了解。Confluent与Datadog的集成可以快速地将实时数据流与我们选择的监控工具同步,不需要复杂的操作或中间件。我们的团队现在可以看到我们所有系统的健康状况,以获得可靠的、永远在线的服务。"-Mustapha Benosmane, ADEO产品负责人
新的Datadog集成包括。
- 统一监控。将Confluent云资源的健康状况与您的技术栈的其他部分一起监控,以便在单一平台上获得一个整体的、端到端的视图。
- **无服务器操作。**在几分钟内配置您的集成,只需点击几下,操作负担为零
- **开箱即用的仪表盘。**可视化关键的集群健康和性能指标,包括专门设计的仪表盘中的i/o记录数
- 主动警报。根据用户定义的服务水平目标(SLO)的性能来设置警报
从Datadog专门设计的仪表盘中获得Confluent云的深度可见性,并将包括i/o记录数在内的关键集群指标可视化。
对于在Datadog内表示定制的数据流用例和仪表盘,Confluent通过我们完全管理的Datadog Metrics水槽连接器,使您能够简单地访问所需的数据。
除了我们新的Datadog集成,Confluent客户现在可以通过使用Confluent Cloud Metrics API中新的/export端点,将Confluent Cloud与Prometheus集成,以便在他们选择的开源平台中对数据流进行统一的监控。
Datadog和Prometheus的集成是我们为客户在他们选择的第三方工具中监控Confluent而建立的众多选项中的第一个。
- 通过静态出口IP安全地连接到公共互联网上的数据系统(AWS)
我们完全管理的连接器现在支持AWS上Confluent云集群的静态出口IP地址。静态出口IP提供了一个额外的安全层,极大地减少了您的数据源和汇入系统的攻击面。 - 谷歌云的BYOK在所有地区的无限存储中可用
自带密钥(BYOK),提供了用自己的自定义密钥对静态数据进行加密的能力,现在可用于所有支持无限存储的谷歌云地区的专用集群。 - ksqlDB在Private Link集群上可用
采用ksqlDB的流处理现在在Private Link联网集群上得到支持,提供了安全和设置简单的独特组合。 - 新的云审计日志事件可用
在消费我们定期更新的审计日志时,密切关注谁在接触你的数据以及他们在用它做什么。
云原生。通过新的控制措施增强弹性,以扩大和缩小GBps+集群容量
在过去的假期中,9000万美国人在黑色星期五上网购物,几乎是前一天网上购物量的三倍。系统被加固和超额配置,为不可想象的情况做准备--这种准备既费钱又费时,但考虑到风险,不可能争论。在这些日子里,DevOps团队全员出动,以确保流量的高峰得到顺利处理。因此,我们很高兴地宣布,Confluent现在允许客户通过自助式集群扩展和缩减,自信地运行他们最大规模的用例,并提高成本效益。
除了完全无服务器的基本和标准集群支持高达100MBps的用例外,我们更新的专用集群使客户能够。
- 通过GBps以上的弹性扩展、云原生Apache Kafka集群处理任何工作负载和吞吐量高峰
- 毫不犹豫地扩大容量,并通过始终提供的自助服务、程序化收缩来实现成本效益的运作
- 通过内置的保障措施和自动负载再平衡,自信地调整集群,操作简单
不管为什么会出现流量激增,人们都希望数据系统能够无缝扩展:在我们需要的时候上升,在我们不需要的时候回落。然而,使用Apache Kafka的团队历来对如何做到这一点选择有限。
- 当自我管理的开源Apache Kafka。
- 容量调整需要一个复杂的过程,包括新集群的大小和配置、网络设置、新经纪商和分区的流量平衡等等。
- 一旦流量下降,这个过程就必须反向重复,以削减成本。
- 然而,为了避免任何停机的风险,通常会保持远远超过定期预期吞吐量水平的昂贵容量。
- 当使用大多数其他Apache Kafka的管理服务时。
- 增加的容量不能被移除,需要仔细规划和决策。扩展的集群将保持在与峰值吞吐量要求一致的价位上。
- 一旦获得了扩大的容量,负载平衡就是一项手工工作。
对于寻求管理高度可用的Kafka部署的企业来说,既要有成本效益,又要有操作的简单性,上述两种情况都不是一个选项。
"确保我们的电子商务平台始终处于可用状态是一项复杂的、跨职能的、昂贵的工作,特别是考虑到我们在一年中看到的在线流量的重大波动。我们的团队面临的挑战是在任何时候提供我们需要的确切容量,而不过度提供昂贵的基础设施。Confluent提供了一种自助服务手段来扩大和缩小云原生Apache Kafka集群,使我们能够以简单的操作和成本效益为每个客户提供实时体验。"
-Cem Küççük,Hepsiburada(纳斯达克:HEPS)产品工程高级经理
Confluent的专用集群现在可以让客户通过自助服务、程序化的容量缩减来轻松管理成本。Confluent Unit for Kafka(CKUs)的标准是50MBps的入口和150MBps的出口容量,可以通过云端UI、CLI或API随时添加或删除。这为企业提供了他们所需的选择,以高可用性、操作简单和成本效益来运行他们最敏感的高吞吐量工作负载。
具有约50MBps入口和约150MBps出口容量的CKU,可根据需要通过云用户界面、CLI或API从专用集群中添加或删除。
成功地扩大和缩小CKU的数量依赖于自动负载再平衡,以优化IO、吞吐量,并利用额外的资源。这对你和你的客户来说是透明的。在扩大集群时,新配置的容量会立即分配给需求最大的数据,减少现有CKU的负载。相反,缩小集群,只能在需求足够低的时候进行,这样新减少的容量就不会影响到现有的工作负载。我们首先重新平衡集群,以帮助确保在剩余的基础设施上均匀地平衡负载,然后删除不必要的机器。
通过我们新的负载指标API,也就是这次发布的另一个监控更新,你可以对你的专用集群的利用率保持一个永远在线的脉搏,以便对何时扩展和何时缩减做出即时的、明智的决定。有了可用于利用率监测和集群容量调整的API,由于容量限制而导致的停机时间可以通过程序化扩展来支持不可预见的流量高峰而消除。当流量恢复到正常水平时,缩小规模以管理成本。
通过自助式集群扩展和缩减,以低成本大规模运行。
除了我们的专用集群,我们的基本集群和标准集群提供即时和弹性的扩展,最高可达100MBps,基本集群可扩展到0美元的成本。
云原生。ksqlDB的单一CSU定价
ksqlDB应用是按线性扩展的Confluent流单元(CSU)的每小时使用量定价的。为了让任何组织更容易获得流处理,Confluent推出了新的定价选项,只用一个或两个CSU来配置ksqlDB应用,而之前的最小值是四个。这使企业能够以具有成本效益的价格开始使用流处理,并可选择随着工作负载的增长而增加CSU--可设置1、2、4、8或12个CSU。客户现在可以通过适合任何预算的定价选项轻松利用流处理的力量。
除AWS US-West-2外,所有地区都有新的一个和两个CSU选项,该选项将在未来几周内提供。
- 自动调配、配置和管理集群
集群管理API提供了列表、创建、读取、更新和删除Confluent环境中任何集群的操作。 - 通过API管理主题、消费者、ACL等
集群管理API提供了一种简单、熟悉和通用的方式,用你选择的语言建立复杂的、自定义的工作流程的无服务器解决方案。你现在可以通过以下方式以编程方式管理你的集群,包括公共互联网端点和VPC-peered集群。- 创建、管理和删除主题
- 集群配置的管理
- 访问控制列表(ACL)的管理
- 群集链接配置的管理(用于公共互联网终端群集)
- 利用公共REST APIs自动化用户、服务账户和环境生命周期
用于编程管理用户、服务账户和环境的新的公共REST APIs现在普遍可用,可以实现任务的自动化,包括环境创建、服务账户供应,甚至在用户离开组织时删除用户账户。
无处不在。通过全局模式链接,在云和混合环境中保持可信的数据流
随着Kafka的使用增长,以支持企业内更多的关键任务工作负载,也需要维护和确保高数据质量。有了Confluent Cloud现在普遍提供的Schema Linking,你就有了一个简单的方法来确保整个云和混合环境中一致的模式和数据质量。您可以。
- 通过共享模式和完美的镜像数据建立一个全球连接和高度兼容的Kafka部署
- 通过利用集群链接和实时同步的共享模式,确保各地的数据兼容,操作简单。
- 共享模式以支持每一个集群链接的使用情况,包括经济高效的数据共享、用于灾难恢复的多区域数据镜像和集群迁移。
Cluster Linking使团队能够轻松地跨地区、跨云和跨混合环境连接独立的集群,以便用无处不在的、可靠的实时数据供应来推动其全球业务。然而,跨环境的连接集群的操作带来了对全球执行的数据质量标准的更大需求。每一个新的连接集群都会带来保持数据兼容性和信息安全政策的监管合规性的挑战。确保不断发展的模式始终是最新的,并在不同的环境中保持同步,这是一个需要解决的挑战。然而,找到一个解决方案是必要的,因为每次出现故障时,在模式管理和解决上花费专家开发人员的时间是不可接受的。
"运动中的数据在我们的业务中和跨团队中传播,引入了与数据质量和合规性有关的新挑战。Confluent在全球集群中链接了模式,并实时同步,使我们的团队能够扩大对Apache Kafka的使用,并迅速进行创新,而不会绕过我们需要的控制,以确保始终保持长期、一致的高质量数据供应。"
-Rikus Swanepoel,Woolworths集成架构师
作为我们的数据流治理套件的最新更新,模式链接现在为企业提供了一种操作上的简单手段,可以通过共享模式在云和混合环境中维护可信的、兼容的数据流,这些模式可以在主动-被动和主动-主动设置中实时同步。模式在任何需要的地方都可以共享,在部署关键用例(包括全球数据共享、集群迁移以及在灾难恢复情况下的实时故障转移准备)时,提供了一种维持高数据完整性的简便方法。
通过实时同步的共享模式,保持跨环境的可信数据流
在模式注册中引入了两个新的概念,以实现实时模式链接。
- 模式导出器将模式从一个集群移动到另一个集群,将它们与数据质量的共享规则联系起来。这个导出器就像两个环境之间的一个小型连接器,执行模式更新的实时变化数据捕获,以确保两者始终保持同步。模式导出器可以通过API轻松管理模式链接的创建、暂停、恢复和删除。
- 模式上下文允许在一个模式注册中心集群内创建任意数量的独立子注册中心,以方便模式导出。像命名空间一样,每个模式上下文是模式ID和主题名称的独立分组,允许不同上下文中的相同模式ID代表完全不同的模式。这使得在向一个新的集群导入模式时,可以保留原有的模式ID和主题名称。此外,模式上下文允许你将用于测试或预生产的模式与用于生产的模式分开,所有这些都在同一个集群中。
无处不在。一个Confluent CLI
随着管理服务和第三方技术在IT堆栈中的日益普及,对于工程组织来说,有效地使用和管理他们的整个系统变得越来越有挑战性。
Confluent的新CLI,confluent v2 ,为团队提供了一个一站式的解决方案,从一个单一的界面来管理他们所有的数据流--跨云和内部的。无论是管理企业内部的部署,还是在云中配置一个新的集群,甚至是将两者联系在一起,所有这些以及更多的事情现在都可以通过一个工具来处理。
- 群集链接的自动创建镜像主题
根据流行的客户反馈进行优先排序和构建,自动创建镜像主题意味着DevOps团队不再需要为他们想要用群集链接创建的每个镜像主题运行API调用。用户可以配置他们的集群链接,为源集群上存在的任何主题自动创建镜像主题,节省时间和脚本工作。
开始使用Confluent Q1 '22发布会上的功能
准备好开始了吗?注册参加Confluent Q1 '22 Launch演示网络研讨会,以获得关于如何启动和运行这些新功能的快速指导。这个演示网络研讨会将为您提供开始使用我们的云原生数据流平台Confluent Cloud的所有最新功能所需的一切。
如果您还没有这样做,请注册Confluent Cloud的免费试用。新注册的用户在最初的60天内可获得400美元的Confluent Cloud消费。使用代码CL60BLOG ,可以获得额外的60美元的免费使用。*
在我们的发布说明中了解更多关于Confluent Cloud的更新。
_
前面的内容概述了我们的总体产品方向,并不是对提供任何材料、代码或功能的承诺。所描述的任何特性或功能的开发、发布、时间和价格都可能发生变化。客户应根据目前可用的服务、特点和功能来做出购买决定。_
Confluent和相关标志是Confluent公司的商标或注册商标。
Apache®和Apache Kafka®是Apache软件基金会在美国和/或其他国家的注册商标或商标。使用这些商标并不意味着Apache软件基金会的认可。所有其他商标是其各自所有者的财产。
Ben Echols是Confluent云的核心产品和平台的高级产品经理。在Confluent之前,他曾在Atlassian和HouseCanary从事数据密集型SaaS产品。
Greg Murphy在Confluent从事产品营销工作,负责围绕Confluent的Apache Kafka云原生服务Confluent Cloud的市场推广活动。在加入Confluent之前,Greg曾在Salesforce和Google从事产品营销和产品管理。他来自马萨诸塞州,现在居住在加利福尼亚州的旧金山。