不想说话

spark计算入口 DAG图 上图为线上任务的DAG图，如图有3个stage，按照FIFO的taskset调度顺序执行。 stage 56241 和stage 56242 为 ShuffleMapTa

流程简单介绍 RDD转换以及DAG构建 DAGScheduler: 划分stage 创建并提交task TaskScheduler: 调度task，按照调度池优先级，本地性等进行任务调度 4. 执行任

# broker网络通信模型 ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/833f4bb60dc8444184de66

一句话，kafka 的 controller 在 zookeeper 的协助下管理整个 kafka 集群。   首先回顾下 zookeeper 的目录结构：   Controller 的职责主要是：

Kafka作为一个分布式的消息系统，最大的瓶颈在于磁盘I/O以及网络I/O,Kafka实现高性能主要在这两个方面进行优化。   首先在生产者生产消息时是批量发送（参数batch.size），加上粘性分

Kafka的zookeeper依赖演进 clients对zk的依赖 从0.8.x版本到0.11.x版本，clients端已经基本移除对zk的依赖 目前新版本采用kraft替代zk写入效率和切换效率提升

需求 一个给客户实时回传数据的需求，需要从kafka消费并http发送给客户，采用了kafka consumer多线程消费的方式。kafkaConsumer多线程消费模型 rebalance的参数设置

首先，从kafka 2.4版本开始，支持follower对外提供读服务，可以设定哪些follower副本可以对外提供服务，主要是为了避免跨机房的数据消费。kafka从设计理念上来讲并不支持读写分离原因

案例 在网上看到有人分享一个案例: 之前做车辆实时定位(汽车每10s上传一次报文)显示的时候，发现地图显示车辆会突然退回去，开始排查怀疑是后端处理的逻辑问题导致的，但是后台保证了一台车只被一个线程处理