在我们实际开发过程中，应用场景很多... Redis由于其自身的Zset数据结构，也同样可以实现延时的操作。 Zset本质就是Set结构上加了个排序的功能，除了添加数据value之外，还提供另一属性score，这一属性在添加元素时候可以指定，每次指定score后，Zset会自动…

RabbitMQ是一个消息队列，主要是用来实现应用程序的异步和解耦，同时也能起到消息缓冲，消息分发的作用。消息中间件最主要的作用还是解耦，中间件最标准的用法是生产者生产消息传送到队列，消费者从队列中拿取消息并处理，生产者不用关心是谁来消费，消费者不用关心谁在生产消息，从而达到解…

虽然这是一个源码的预热篇同样这也是插曲篇的一个总结，我们从一开始的集群的各个角色，到集群的设计，到网络模型，到生产者，消费者都已经提了个遍。这一篇会把最后的一个内核提一下，然后对以往的概念三篇做一个总结，把流程梳理一下，增加记忆的同时，也让后面的源码变得更加轻松愉快，好的这是最…

上一篇文章我们主要介绍了什么是 Kafka，Kafka 的基本概念是什么，Kafka 单机和集群版的搭建，以及对基本的配置文件进行了大致的介绍，还对 Kafka 的几个主要角色进行了描述，我们知道，不管是把 Kafka 用作消息队列、消息总线还是数据存储平台来使用，最终是绕不过…

近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系…

AMQP，即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准,为面向消息的中间件设计。 RabbitMQ，是一个消息代理和队列服务器，它实现了AMQP标准协议。 分布式消息队列有很多…

为了理解Kafka是如何做到这些的，让我们从下到上探究Kafka的能力。 Kafka作为一个集群运行在一个或多个可以跨多个数据中心的服务器上。 Kafka集群将记录流存储在称为主题的类别中。 每个记录由一个键、一个值和一个时间戳组成。 生产者API(Producer API)允…