事件自动化管理:解决 Kafka 蔓延问题

43 阅读5分钟

事件管理作为混合集成战略的一部分,应对挑战的关键见解包括:及时数据是成功的关键,Kafka蔓延代价高昂,集中式可见性和控制有助于释放开发人员的敏捷性,以及事件管理跨越每个行业。IBM Event Automation 提供事件端点管理功能,助力企业充分利用实时数据。

译自:How To Overcome Kafka Sprawl With Event Automation and Management

作者:Matt Sunley

我经常听到公司说他们需要在资源有限的情况下更快地采取行动——最好是实时行动。他们告诉我,他们对使用事件驱动架构以更快地行动并提高敏捷性的可能性感到兴奋。许多公司已经采用了 Kafka 或其他事件流技术,但在执行过程中遇到了瓶颈。

在事件自动化领域工作了几年,并与处于事件流不同阶段的公司合作后,我发现将事件管理作为混合集成战略的一部分,可以帮助解决这些常见挑战。以下是我收集到的四个关键见解。

见解 1:及时的数据是成功的关键

挑战

在当今快节奏的商业环境中,拥有 实时数据 至关重要。数据的价值会随着时间的推移而迅速下降,尤其是在客户行为、交易、供应链活动和安全事件等领域。

解决方案

事件作为刚刚发生的事情的离散记录,是最新和上下文最丰富的数据形式。当集成到业务流程中或在 AI 上下文中利用 时,它们可以帮助实现强大的功能,如实时欺诈检测、库存预测、个性化客户互动以及运营中的自动异常检测。

见解 2:Kafka 蔓延代价高昂

挑战

许多组织发现自己在扩展使用 Apache Kafka 和其他事件流技术时,陷入了运营和治理的挑战。这些问题通常源于独立部署的 Kafka 集群(通常来自多个供应商),导致冗余或重复的事件流,从而增加了基础设施成本。此外,由于访问控制的分散,还会出现安全漏洞。

解决方案

事件自动化提供了一种集中式方法来管理混合多云环境中多个供应商的 Kafka 主题。功能可能包括:

  • AsyncAPI 支持 实现了标准化的、机器可读的主题,使它们易于发现,并有助于统一和一致地管理 API 和事件资产
  • 可重用的事件目录 允许团队搜索和自助服务事件流,从而促进重用而不是重新发明,并有助于加速开发和提高应用程序之间的一致性,从而提高投资回报率 (ROI)。
  • 事件网关 实施安全策略、数据验证和订阅者控制。
  • 主题虚拟化 为不同的消费者创建同一主题的多个受控视图,从而简化管理和治理并优化资源利用率。
  • 互操作性 支持管理来自任何 Kafka 兼容供应商(包括 IBM、Confluent 和 Cloudera)的 Kafka 主题。

这些功能可帮助组织驯服事件蔓延,鼓励重用并建立强大的治理层——帮助企业解决不必要的成本和效率低下问题。

见解 3:集中式可见性和控制有助于释放开发人员的敏捷性

挑战

随着事件流越来越受欢迎,团队通常担心实施治理功能会扼杀开发人员的速度。

解决方案

事件端点管理 (EEM) 帮助您建立强大的治理层,而不会影响开发人员的敏捷性。通过为 Kafka 主题提供集中式可见性、治理和控制,它可以帮助用户安全地大规模管理事件流,防止架构变得脆弱和孤立。它不是限制访问,而是通过安全、自助服务功能为开发人员和团队赋能,使他们能够安全有效地发现、订阅和重用事件流。有用的功能可以包括:

  • 集中式订阅控制 确保适当的访问,而不会降低团队的速度。
  • 安全模式注册表集成 促进一致性和兼容性。
  • 自助服务事件编目,以便开发人员可以发现和重用主题。
  • 跨 API 和事件的统一治理,消除集成层之间的孤岛。

这些功能有助于开发人员快速行动,同时优先考虑治理或合规性。

见解 4:事件管理跨越每个行业

在各行各业中,企业都在应用事件管理功能,以有效地获得实时洞察、简化运营并提高 AI 和机器学习 (ML) 的有效性,而无需在成本、安全性或治理方面做出妥协:

  • 零售商 正在使用事件流进行实时库存管理并分析购买行为。端点管理使这些数据可以在销售、营销和分析团队之间共享,从而提高安全性和一致性。
  • 银行 通过端点管理应用策略控制,以保护用于欺诈检测和预防的 Kafka 主题中的敏感数据。
  • 医疗保健提供商 在患者入院、出院或转院时生成事件,提醒工作人员和保险公司协调护理过渡。端点管理与需要编辑的敏感个人信息一起使用。
  • 政府机构 使用事件驱动的分析来根据各种来源(例如传感器、社交媒体和公众反馈)做出明智的决策。

实时企业不仅仅是一种愿景。它正在成为标准。借助正确的工具和事件管理实践,您可以快速实现目标。