springboot高级课程笔记

Li_Yi
199 阅读9分钟

spring boot与消息

JMS、AMQP、RabbitMQ

一、概述

MQ 应用场景:

  • 一对多，多对多异步解耦，基于发布订阅模型，对分布式应用进行异步解耦，增加应用的水平扩展能力。
  • 削峰填谷，大促等流量洪流突然来袭时，MQ 可以缓冲突发流量，避免下游订阅系统因突发流量崩溃。
  • 日志监控，作为重要日志的监控通信管道，将应用日志监控对系统性能影响降到最低。
  • 消息推送，为社交应用和物联网应用提供点对点推送，一对多广播式推送的能力。
  • 金融报文，发送金融报文，实现金融准实时的报文传输，可靠安全。
  • 电信信令，将电信信令封装成消息，传递到各个控制终端，实现准实时控制和信息传递。

1.大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力。

2.消息服务中两个重要概念： 消息代理（message broker）和目的地（destination）

当消息发送者发送消息以后，将由消息代理接管，消息代理 保证消息传递到指定目的地。

3.消息队列主要有两种形式的目的地

  • 队列（queue）：点对点消息通信（point-to-point）
  • 主题（topic）：发布（publish）/订阅（subscribe）消息通信

4.点对点式：

  • 消息发送者发送消息，消息代理将其放入一个队列，消息接收者从队列中获取消息内容，消息读取后被移出队列
  • 消息只有唯一的发送者和接受者，但并不是说只能有一个接收者

5.发布订阅式：

  • 发送者（发布者）发送消息到主题，多个接收者（订阅者）监听（订阅）这个主题，那么就会在消息到达时同时收到消息

6.JMS（Java Message Service）JAVA消息服务：

  • 基于JVM消息代理的规范。ActiveMQ、HornetMQ是JMS实现

7.AMQP（Advance Message Queuing Protocol）

  • 高级消息队列协议，也是一个消息代理的规范，兼容JMS
  • RabbitMQ是AMQP的实现

  1. Spring支持
  • spring-jms提供了对JMS的支持
  • spring-rabbit提供了对AMQP的支持
  • 需要ConnectionFactory的实现来连接消息代理
  • 提供JmsTemplate、 RabbitTemplate来发送消息
  • @JmsListener（JMS）、 @RabbitListener（AMQP）注解在方法上监听消息代理发布的消息
  • @EnableJms、 @EnableRabbit开启支持
  1. Spring Boot自动配置
  • JmsAutoConfiguration
  • RabbitAutoConfiguration

二、RabbitMQ

简介RabbitMQ简介：

  • RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。
  • RabbitMQ是一个开源的消息代理软件（面向消息的中间件），它的核心作用就是创建消息队列，异步接收和发送消息，MQ的全程是：Message Queue中文的意思是消息队列。

核心概念

Message

消息，消息是不具名的，它由消息头和消息体组成。

消息体是不透明的，而消息头则由一系列的可选属性组成。

这些属性包括routing-key（路由键）、 priority（相对于其他消息的优先权）、 delivery-mode（指出该消息可能需要持久性存储）等。

Publisher

消息的生产者，也是一个向交换器发布消息的客户端应用程序。

Exchange

交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。

Exchange有4种类型： direct(默认)， fanout, topic, 和headers，不同类型的Exchange转发消息的策略有所区别。

Queue

消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。

一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。

Binding

绑定，用于消息队列和交换器之间的关联。

一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。

Exchange 和Queue的绑定可以是多对多的关系。

Connection

网络连接，比如一个TCP连接。

Channel

信道，多路复用连接中的一条独立的双向数据流通道。

信道是建立在真实的TCP连接内的虚拟连接， AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。

因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。

Consumer

消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。

Virtual Host

虚拟主机，表示一批交换器、消息队列和相关对象。

虚拟主机是共享相同的身份认证和加密环境的独立服务器域。

每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。

vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。

Broker

表示消息队列服务器实体

三、 RabbitMQ运行机制

（一）消息发送原理

首先你必须连接到Rabbit才能发布和消费消息，那怎么连接和发送消息的呢？

你的应用程序和Rabbit Server之间会创建一个TCP连接，一旦TCP打开，并通过了认证，认证就是你试图连接Rabbit之前发送的Rabbit服务器连接信息和用户名和密码，有点像程序连接数据库，使用Java有两种连接认证的方式，后面代码会详细介绍，一旦认证通过你的应用程序和Rabbit就创建了一条AMQP信道（Channel）。

信道是创建在“真实”TCP上的虚拟连接，AMQP命令都是通过信道发送出去的，每个信道都会有一个唯一的ID，不论是发布消息，订阅队列或者接收消息都是通过信道完成的。

（二）为什么不通过TCP直接发送命令？

对于操作系统来说创建和销毁TCP会话是非常昂贵的开销，假设高峰期每秒有成千上万条连接，每个连接都要创建一条TCP会话，这就造成了TCP连接的巨大浪费，而且操作系统每秒能创建的TCP也是有限的，因此很快就会遇到系统瓶颈。

如果我们每个请求都使用一条TCP连接，既满足了性能的需要，又能确保每个连接的私密性，这就是引入信道概念的原因。

（三）AMQP 中的消息路由

AMQP中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别，AMQP 中增加了Exchange 和 Binding 的角色。

生产者把消息发布到 Exchange 上，消息最终到达队列并被消费者接收，而 Binding 决定交换器的消息应该发送到那个队列。

（四）Exchange（交换器） 类型

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、 fanout、 topic、 headers 。

headers 匹配 AMQP 消息的 header而不是路由键， headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了，所以直接看另外三种类型：

  • Direct Exchange：

    消息中的路由键（routing key）如果和 Binding 中的 binding key 一致， 交换器就将消息发到对应的队列中。

    路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发 routing key 标记为“dog”的消息，不会转发“dog.puppy”，也不会转发“dog.guard”等等。

    它是完全匹配、单播的模式。

  • Fanout Exchange:

    每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。

    fanout 交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。 很像子网广播，每台子网内的主机都获得了一份复制的消息。

    fanout 类型转发消息是最快的。

  • Topic Exchange:

    topic 交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。

    topic路由器的关键在于定义路由键，定义routingKey名称不能超过255字节，使用“.”作为分隔符，例如：com.mq.rabbit.error。

    “*”匹配一个分段(用“.”分割)的内容； “#”匹配所有字符；

四、 RabbitMQ整合

  1. 引入 spring-boot-starter-amqp
  2. application.yml配置
  3. 测试RabbitMQ
  4. AmqpAdmin：管理组件
  5. RabbitTemplate：消息发送处理组件

五、为什么使用RabbitMQ？

  1. Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输。0.8版本开始支持复制，不支持事务，对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。

  2. RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。

  3. RocketMQ是阿里开源的消息中间件，它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka，但并不是Kafka的一个Copy，它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。

简单总结：

  • Kafka的性能最好，适用于对消息吞吐量达，对消息丢失不敏感的系统；
  • RabbitMQ性能略低于Kafka，并实现了AMQP（Advanced Message Queuing Protocol）高级消息队列协议的标准，有非常好的稳定性。
  • RocketMQ借鉴了Kafka并提高了消息的可靠性，修复了Kafka的不足；

支持语言对比:

  • Kafka 支持语言：Java、Scala
  • RabbitMQ 支持语言：C#、Java、Js/NodeJs、Python、Ruby、Erlang、Perl、Clojure、Golang
  • RocketMQ 支持语言：Java、C++、Golang
avatar
文章
阅读
粉丝