这是我参与「第四届青训营」笔记创作活动的的第12天

从 Kafka 到 Pulsar：数据流演进之路

消息队列概述

消息队列的应用场景

1. MQ消息通道
2. EventBridge事件总线
3. Data Platform流数据平台

主流消息队列的相关介绍

Kafka详解

Kafka架构介绍

Kafka高可用

• 副本同步机制

  • 提供lsr副本复制机制，提供热备功能
  • 写入端提供ack=0,-1,1机制，控制副本同步强弱

• 副本切换机制

  • 提供clean/unclean副本选举机制

Kafka集群扩缩容

• Kafka集群扩缩容之后的目标
• Topic维度
  • partition在各个broker之间分布是均匀的
  • 同一个partition的replica不会分布在一台broker
• Broker维度
  • Broker之间replica的数量是均匀的

Kafka未来演进之路

• Kafka去除ZooKeeper依赖
• Kafka依赖KRaft

Kafka运维/调优经验介绍

• 单机吞吐
• 参数配置

zookeeper session.timeout.ms = 30000 log.segment.bytes =536870912 log.retention.hours = 36 log.retention.bytes =274877906944 num.network. threads = 32 num.io.threads = 200 auto.create.topics.enable = false auto.leader. rebalance enable = false unclean.leader.election.enable = false advertised.listeners = SASL_PLAINTEXT://,PLAINTEXT://: security.inter.broker.protocol = SASL_ PLAINTEXT

• 指标可视化
• 扩缩容优化

Pulsar详解

Pulsar架构介绍

Pulsar Vs Kafka

• 存储架构

  • 存储计算分离之后带来的优劣势
  • 多层架构，状态分离之后的优势

• 运维操作

  • 应对突发流量变化，集群扩缩容是否便捷
  • 运维任务是否影响可用性
  • 集群部署是否灵活

• 功能特性

  • 多语言&多协议
  • 多租户管理
  • 生产消费模式

• 生态集成

周边和生态

课程总结：

• 消息队列概述
  • 应用场景(从消息到消息、事件、流融合的处理平台)主流消息队列
• Kafka
  • 集群架构、高可用、集群扩缩容、运维调优
• Pulsar
  • 集群架构，存储层分析，特性介绍，HA &集群扩缩容
• 周边和生态
  • SQL、1O、Schema