不想说话

从DAG图介绍spark shuffle的入口，介绍了shuffle的类型在什么情况下使用哪种类型的shuffle，在shuffle write的过程中如果进行迭代计算，怎...

spark计算入口 DAG图 上图为线上任务的DAG图，如图有3个stage，按照FIFO的taskset调度顺序执行。 stage 56241 和stage 56242 ...

流程简单介绍 RDD转换以及DAG构建 DAGScheduler: 划分stage 创建并提交task TaskScheduler: 调度task，按照调度池优先级，本地性...

# broker网络通信模型 ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/833f4bb6...

一句话，kafka 的 controller 在 zookeeper 的协助下管理整个 kafka 集群。   首先回顾下 zookeeper 的目录结构：   Contr...

Kafka作为一个分布式的消息系统，最大的瓶颈在于磁盘I/O以及网络I/O,Kafka实现高性能主要在这两个方面进行优化。   首先在生产者生产消息时是批量发送（参数bat...

Kafka的zookeeper依赖演进 clients对zk的依赖 从0.8.x版本到0.11.x版本，clients端已经基本移除对zk的依赖 目前新版本采用kraft替...

需求 一个给客户实时回传数据的需求，需要从kafka消费并http发送给客户，采用了kafka consumer多线程消费的方式。kafkaConsumer多线程消费模型 ...

首先，从kafka 2.4版本开始，支持follower对外提供读服务，可以设定哪些follower副本可以对外提供服务，主要是为了避免跨机房的数据消费。kafka从设计理...

案例 在网上看到有人分享一个案例: 之前做车辆实时定位(汽车每10s上传一次报文)显示的时候，发现地图显示车辆会突然退回去，开始排查怀疑是后端处理的逻辑问题导致的，但是后台...

本篇文章分析了在实际的生产环境中，kafka是否需要换SSD。分析了SSD和HDD的性能对比，kafka读写特性。结合美团技术分享的文章，对于pagecache污染的情况设...

spark根据宽窄依赖划分stage,那么如何区分宽窄依赖呢？ 概念 很多资料上讲宽窄依赖：窄依赖指父RDD的每个分区只被子RDD的一个分区所使用，宽依赖指父RDD的每个分...

问题发现 在测试集群新建了一个ReplicatedMergeTree,插入多条相同的数据，发现每个分片只有一条 clickhouse zk的目录结构说明 同个shard基于...

线上HDFS写失败问题分析；写失败现象；HDFS源码分析；线上写失败的原因和分析过程；最后的解决方案；...

写错误流程 ResponsorProcessor设置errorIndex以及restartingNodeIndex，hasError标记为true，关闭response线程...

HDFS写流程介绍；HDFS写入流程图；HDFS block packet chunk关系；hdfs写入源码分析...

介绍LSM存储引擎和其他存储引擎的对比，其应用场景。ClickHouse使用LSM存储引擎和列存。按照分区键分成不同的目录，达到阈值后压缩落盘生成block。...

User class threw exception: org.apache.kafka.common.errors.TimeoutException 消费kafka超时故...

最近从蚂蚁离职了，很多朋友都来问我为什么离职，其实最主要的原因还是在这里呆的太久了，进入了舒适圈，时间久了之后会很迷茫。所以希望能换个环境，继续攀登人生高峰。...