【Kafka】企业级应用实践

112 阅读2分钟

1. 背景

首先小范围的项目应用,想怎么用都可以。但是真正的企业级应用就不一样了,其中并不仅仅只是读/写数据那么简单,还需要各种周边配套设施,本文的主要目的是介绍一下 在企业级应用中,主要包含哪些配套设施,来保障Kafka的稳定性

2. 周边配套

13417372-b9871123909d4be3.webp

3. 配套详解

  • 运维平台
    Kafka集群的日常运维操作,主要包括Leader切换、磁盘均衡、分区扩容、服务部署与下线、磁盘损坏自动化处理、Topic限流、Topic删除等
  • 用户平台
    面向用户的Topic信息操作,主要包括读/写流量查询、磁盘量与分区数查询、Topic注册、Topic流量报警配置等
  • 监控平台
    基础环境与Kafka相关的监控数据方便问题排查与性能优化,主要包括服务器硬件(CPU、网卡、磁盘)指标、Kakfa集群指标、ZK指标等
  • 版本维护
    无论使用任何Kafka版本都免不了遇到Bug,所以需要团队内部维护一个版本主要用于Bug修复、二次开发、性能优化等
  • 报警平台
    结合监控指标配置报警级别,主要分电话、短信、邮箱等,报警项可分磁盘IO、磁盘存储、Broker端口、Broker读/写延迟、集群副本同步等
  • 实时计算
    面向用户实时计算的平台,通过平台提供的标准化读/写组件(Storm、Flink、Spark),用户只需要关心业务代码即可,通过平台用户可一键部署、停止、回溯消费等操作
  • 日志收集
    通过Socket收集、磁盘收集等,规范化用户接入方式,可主动发现日志丢失、日志收集拥堵等问题
  • 社区跟踪
    主要关注Kafka社区的新功能、版本中存在的Bug,便于提前发现问题