Kafka学习一:消息队列

119 阅读3分钟

Messaging System

极客时间胡老师的专栏中说他理解的应该是消息引擎系统,根据维基百科的定义,消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递。

从消息引擎系统的定义中,我理解消息队列应该有一下功能:

  • 传输:两个系统间可以用消息队列传输数据
  • 异步:用户注册 -> 先发通知短信,然后用户信息初始化
  • 解耦:订单系统 -> 物流系统
  • 削峰:个人理解是异步解耦能力带来的场景运用,秒杀、日志等

消息引擎系统的两种模型

点对点模型

系统A和系统B,系统A会发送消息到消息队列,系统B会接收消息队列中的消息,当B接收到消息后,消息会被删除,并且消息只能在A、B之间传输。

发布/订阅模型

发布/订阅模型,老生常谈的现实生活类比就是订阅报纸了,一个用户可以订阅多家报社的报纸,一家报社的报纸也可以有多个用户订阅,报纸存放的邮局就是消息队列了;这个模型中出现了主题(topic)的概念,topic代表了存放同一类或者同一种消息的容器,一个topic的发布者和订阅者都可以是多个。

对比当下主流的消息队列和选择问题

下面内容转自大佬的文章wylong.top/

  • 业界主流的消息队列:Apache ActiveMQ、Kafka、RabbitMQ、RocketMQ

    • ActiveMQ:activemq.apache.org/

      • Apache出品,历史悠久,支持多种语言的客户端和协议,支持多种语言Java, .NET, C++ 等
      • 基于JMS Provider的实现
      • 缺点:吞吐量不高,多队列的时候性能下降,存在消息丢失的情况,比较少大规模使用
    • Kafka:kafka.apache.org/

      • 是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理大规模的网站中的所有动作流数据(网页浏览,搜索和其他用户的行动),副本集机制,实现数据冗余,保障数据尽量不丢失;支持多个生产者和消费者
      • 类似MQ,功能较为简单,主要支持简单的MQ功能
      • 缺点:不支持批量和广播消息,运维难度大,文档比较少, 需要掌握Scala
    • RocketMQ:rocketmq.apache.org/

      • 阿里开源的一款的消息中间件, 纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点, 性能强劲(零拷贝技术),支持海量堆积, 支持指定次数和时间间隔的失败消息重发,支持consumer端tag过滤、延迟消息等,在阿里内部进行大规模使用,适合在电商,互联网金融等领域
      • 基于JMS Provider的实现
      • 缺点:社区相对不活跃,更新比较快,纯java支持
    • RabbitMQ:www.rabbitmq.com/

      • 是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、C、用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不错
      • 缺点:使用Erlang开发,阅读和修改源码难度大