【Kafka】优秀架构介绍

40 阅读1分钟

一、高性能写

基于服务端内存映射、服务端磁盘顺序写、客户端数据压缩、客户端数据批量发送,实现的高性能写,关键代码实现列表:

  1. MappedByteBuffer;
  2. LogAppend;
  3. CompressionType;
  4. RecordAccumulator;

二、高性能读

基于零拷贝、稀疏索引实现的高性能读,关键代码实现列表:

  1. FileChannel;
  2. OffsetIndex;

三、网络模型

基于Java Nio实现的网络服务,关键代码实现列表:

  1. SocketServer;
  2. Acceptor;
  3. Processor;
  4. RequestChannel;
  5. KafkaRequestHandlerPool;
  6. KafkaRequestHandler;
  7. ApiRequestHandler;
  8. KafkaApis;
  9. ControllerApis;

四、分布式一致性

基于Raft协议实现的分布式一致性,关键代码实现列表:

  1. KafkaRaftServer;
  2. KafkaRaftManager;
  3. 待续;