thpffcj

1. Kafka 存储在文件系统上 是的，您首先应该知道 Kafka 的消息是存在于文件系统之上的。Kafka 高度依赖文件系统来存储和缓存消息。 现代的操作系统针对磁盘的读写已经做了一些优化方案来加快磁盘的访问速度。比如，预读会提前将一个比较大的磁盘快读入内存。后写会将很多小…

1. Kafka 简介 1. 简介 Apache Kafka 是一个分布式的流处理平台。它具有以下特点： 2. 基本概念 Kafka 的基本数据单元被称为 message(消息)，为减少网络开销，提高效率，多个消息会被放入同一批次 (Batch) 中后再写入。 Kafka 的消…

1. 初识Flink 1. Flink概述 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded da…

1. 请求处理 1. 会话创建请求 Zookeeper服务端对于会话创建的处理，大体可以分为请求接收，会话创建，预处理，事务处理，事务应用和会话响应6大环节。 I/O层接收来自客户端的请求：NIOServerCnxn实例维护每一个客户端连接，客户端与服务端的所有通信都是由NIO…

1. Leader选举 1. Leader选举概述 每个Server发出一个投票。由于是初始情况，Server1和Server2都会将自己作为Leader服务器来进行投票，每次投票会包含所推举的服务器的myid和ZXID，使用(myid, ZXID)来表示，此时Server1的…

1. 客户端 Zookeeper：客户端的入口。 ClientWatchManager：客户端watcher管理器。 HostProvider：客户端地址列表管理器。 ClientCnxn：客户端连接核心类，包含SendThread和EventThread两个线程。SendTh…

假期闲来无事，记录下前段时间阅读 Zookeeper 源码的一些笔记，主要参考了《从Paxos到Zookeeper》这本书和一些博客，从高层看了一些代码，详细阅读以后有时间会继续学习总结。 1. 系统模型 1. 数据模型 Znode是Zookeeper中数据的最小单元。 ZK的…