分布式高级篇(八) - 商城业务 - 消息队列

dcmstrk
933 阅读10分钟

消息队列 - RabbitMQ

消息中间件

异步处理

  • 用户注册 --> 写入数据库 --> 发送注册邮件 --> 发送注册短信

    image-20210204145105502

应用解耦

image-20210204145651975

流量控制

  • 流量削峰

image-20210204145710055

简介

概述

  • 大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力

  • 消息服务中两个重要概念：

    • 消息代理（message broker）
    • 目的地（destination）

    当消息发送者发送消息后，将由消息代理接管，消息代理保证消息传递到指定目的地

目的地的两种形式

  • 1、队列（queue）：点对点消息通信（point-to-point）
  • 2、主题（topic）：发布（publish）/订阅（subscribe）消息通信

点对点式

  • 消息发送者发送消息，消息代理将其放入一个队列中，消息接收者从队列中获取消息内容，消息读取后被移出队列
  • 消息只有唯一的发送者和接收者，但并不是说只能有一个接受者

发布订阅式

  • 发送者（发布者）发送消息到主题，多个接收者（订阅者）监听（订阅）这个主题，那么就会在消息到达的同时接收到消息

JMS（Java Message Service）Java消息服务

  • 基于JVM消息代理的规范，ActiveMQ、HornetMQ是JMS实现

AMQP（Advanced Message Queuing Protocol）

  • 高级消息队列协议，也是一个消息代理的规范，兼容JMS
  • RabbitMQ是AMQP的实现
JMS(Java Message Service)AMQP(Advanced Message Queuing Protocol)
定义Java api网络线级协议
跨语言否是
跨平台否是
Model两种消息模型
peer-2-peer
Pub/Sub		五种消息模型
direct exchange
fanout exchange
topic exchange
headers exchange
system exchange
本质来讲，后四种和JMS的Pub/Sub模型没有太大差别
仅是在路由机制上做了更详细的划分
支持消息类型多种消息类型
TextMessage
MapMessage
ByteMessage
StreamMessage
ObjectMessage
Message(只有消息头和属性)		byte[]
当实际应用时，有复杂消息，可以将消息序列号后发送
综合评价JMS定义了Java API层面的标准
在java体系中多个client均
可以通过JMS进行交互
不需要应用修改代码
但是其对跨平台的支持较差		AMQP定义了wire-leve层的协议标准；天然具有跨平台、跨语言特性

Spring支持

  • spring-jms提供了对JMS的支持
  • spring-rabbitmq提供了对AMQP的支持
  • 需要ConnectionFactory的实现来连接消息代理
  • 提供JmsTemplate、RabbitTemplate来发送消息
  • @JmsListener（JMS）、@RabbitListener（AMQP）注解在方法上监听消息代理发布的消息
  • @EnableJms、@EnableRabbit开启支持

Spring Boot自动配置

  • JmsAutoConfiguration
  • RabbitAutoConfiguration

主流MQ产品

  • ActiveMQ
  • RabbitMQ
  • RocketMQ
  • Kafka

RabbitMQ核心概念

  • RabbitMQ是一个由erlang开发放入AMQP(Advanced Message Queue Protocol)的开源实现

  • RabbitMQ工作流程

    image-20210205100740387

Message（消息）

  • 消息是不具名的，它有消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可能需要持久性存储）等

Publisher（生成者）

  • 消息的生产者，也是一个向交换器发布消息的客户端应用程序

Exchange

  • 交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列；Exchange有4种类型：direct（默认），fanout、topic和headers，不同类型的Exchange转发消息的策略有所区别

Queue

  • 消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点，一个消息可投入一个或多个队列，消息一直在队列里面，等待消费者连接到这个队列将其取走

Binding

  • 绑定，用于消息队列和交换器之间的关联，一个绑定就是基于路由键交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表
  • Exchange和Queue的绑定可以是多对多的关系

Connection

  • 网络连接，比如一个TCP连接

Channel

  • 信道，多路复用连接中的一条独立的双向数据流通道，信道是建立在真实的TCP连接内的虚拟连接，AMQP命令都是通过信道发出去的，不管是发布消息、订阅队列还是接受消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁TCP都是非常昂贵的开销，所以引入信道的概念，以复用一条TCP连接

Consumer

  • 消息的消费者，表示一个从消息队列中取得消息的客户端应用程序

Virtual Host

  • 虚拟主机，表示一批交换机、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个vhost本质上就是一个mini版的RabbitMQ服务器，拥有自己的队列、交换器、绑定和权限机制。vhost是AMQP概念的基础，必须在连接时指定RabbitMQ默认的vhost是 /

Broker

  • 表示消息队列服务器实体

    image-20210205100501854

Docker安装RabbitMQ

  • 运行容器命令

    docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management

    4369,25672(Erlang发现&集群端口)
5672,5671（AMQP端口）
15672（web管理后台端口）
61613,61614（STOMP协议端口）
1883、8883（MQTT协议端口）
https://www.rabbitmq.com/networking.html

    image-20210205101720439

    浏览器访问 http://ip:15672 用户名密码都是guest

    image-20210205101923379

RabbitMQ运行机制

  • AMQP中消息的路由过程和Java开发者熟悉的JMS存在一些差别，AMQP中增加了Exchange和Binding的角色

    生产者把消息发布到Exchange上，消息最终到达队列并被消费者接收，而Binding决定交换器的消息应该发送到那个队列

    image-20210205103008329

Exchange类型

  • Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers，headers匹配AMQP消息的header而不是路由键，headers交换器和direct交换器完全一致，但性能差很多，目前几乎用不到了，所以直接看另外三种类型：
Direct Exchange

  • 消息中的路由键（routing-key）如果和Binding中的binding key一致，交换器就将消息发送到对应的队列中，路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键与队列名完全匹配，如果一个队列帮助到交换机要求路由键为“dog”,则只转发routing-key标记为“dog”的消息，它是完全匹配、单播的模式

    image-20210205103727067

Fanout Exchange

  • 每个发送到fanout类型交换器的消息都会分到所有绑定的队列上去，fanout交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。像子网广播，每台子网内的主机都获得了一份复制的消息，fanout类型转发消息是最快的

    image-20210205104515958

Topic Exchange

  • topic交换器通过模式匹配分配路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上，它将路由键和绑定键的字符串切分成单词，这些单词直接用点隔开，它同样也会识别两个通配符：符号“#”和符号“”，“#”匹配0或多个单词， “*”匹配一个单词

    image-20210205105202790

RabbitMQ整合

  • 引入依赖

    <dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

    image-20210207164108618

  • application.yml配置

    spring:
  rabbitmq:
    port: 5672
  	username: guest
  	password: guest
 	host: 192.168.83.133
  	virtual-host: /

AmqpAdmin：管理组件

  • 创建交换机

    image-20210208085252020

    image-20210208085322951

  • 创建队列

    image-20210208090844332

    image-20210208090804662

  • 创建绑定关系

    image-20210208091009534

    image-20210208091053966

RabbitTemplate：消息发送处理组件

  • 发送消息

    image-20210208091713691

    image-20210208091724083

    image-20210208091753350

    • 发送对象 -- 对象必须实现序列化接口

      image-20210208092945094

      image-20210208093003676

  • 发送json对象

    • 消息转换器

      image-20210208092927495

      image-20210208093111592

  • 接收消息（@RabbitListener）

    监听消息：使用@RabbitListener；必须使用@EnableRabbit,开启功能

    • 1、Message message：原生消息详细信息：头+体

    image-20210208094314614

    • 2、T<发送的消息类型> OrderReturnReasonEntity orderReturnReasonEntity

    image-20210208095451833

    • 3、Channel channel：当前传输数据的通道

  • Queue：可以很多人都来监听，只要收到消息，队列删除信息，而且只能有一个收到此消息

    • 场景：订单服务启动多个：同一个消息，只能有一个客户端收到
    • 场景：只有一个消息完全处理完，方法运行结束；才会接收下一个消息
@RabbitListener与@RabbitHandler

  • @RabbitListener：类＋方法上 （监听哪些队列）

  • @RabbitHandler：标在方法上（重载区分不同的消息）

  • 场景：一个队列中，有两种不同类型的消息

    image-20210208102216378

可靠投递

  • 官方文档 - 可靠投递

  • 消息确认机制

    • 保证消息不丢失，可靠抵达，可以使用事务消息，性能下降250倍，为此引入确认机制
    • publisher：confirmCallback 确认模式
    • publisher：returnCallback 未投递到 queue 退回模式
    • consumer：ack机制

    image-20210208103411404

发送端确认

  • 生产者确认文档

    publisher-confirms

  • ConfirmCallback（设置确认回调 -- 服务器收到消息就回调）

    • yml：publisher-confirm-type: correlated

    • 在创建 connectionFactory 的时候设置 PublisherConfirms(true)选项，开启 confirmcallback

    • CorrelationData：用来表示当前消息唯一性

    • 消息只有被broker接收就会执行 confirmCallback，如果是cluster模式，需要所有broker接收才会调用 confirmCallback

    • 被broker接收到只能表示message已经到达服务器，并不能保证消息一点会被投递到目标queue中，所以需要用接下来的returnCallback

      image-20210208114259912

  • returnCallback （消息正确抵达队列就进行回调）

    • yml：

      #开启发送端消息抵达队列的确认
publisher-returns: true
#只要抵达队列，以异步方式优先回调 returnConfirm
template:
      mandatory: true

    • confirm模式只能保证消息到达broker，不能保证消息准确投递到目标queue里，在有些业务场景下，我们需要保证消息一定要投递到目标queue里，我们需要保证消息一定要投递到目标queue里，此时就需要用到return退回模式

    • 这样如果未能投递到目标queue里将调用returnCallback,可以记录下详细的投递数据，定期的巡检或者自动纠错都需要这些数据

      image-20210208132709639

      image-20210208132649283

消费端确认

  • 保证每个消息都被正确消费，此时才可以broker删除这个消息

    channel.basicAck(deliveryTag,false); 确认ack,业务成功完成就确认
channel.basicNack(deliveryTag, false, true); 拒绝确认，业务失败，消息回退队列或者直接丢弃

  • 消费者获取到消息，成功处理，可以回复Ack给Broker

    • basic.ack：用于肯定确认；broker将移除此消息
    • basic.nack：用于否定确认；可以指定broker是否丢弃此消息，可以批量
    • basic.reject：用于否定确认，同上，但不能批量

  • 默认，消息被消费者收到，就会从broker的queue中移除

  • queue无消费者，消息依然会被存储，直到消费者消费

  • 消费者收到消息，默认会自动ack，但是如果无法确定此消息是否被处理完成，或者成功处理，我们可以开启手动ack模式

    • 消息处理成功，ack()，接受下一个消息，此消息broker就会移除
    • 消息处理失败，nack()/reject()，重新发送给其他人进行处理，或者容错处理后ack
    • 消息一直没有调用ack/nack方法，broker任务此消息正在被处理，不会投递给别人，此时客户端断开，消息不会被broker移除，会投递给别人

  • yml

    # auto自动ack 改为手动确认
listener:
  simple:
    acknowledge-mode: manual

    只有没有手动确认消费，就会出现如下情况

    image-20210208140057733

    当程序关闭或者宕机，只要没有手动确认消费，消息会重新回到ready状态，下一次有新的consumer连接，就发给它

    image-20210208140156004

  • 监听到消息，ack确认

    image-20210208141209627

  • 监听到消息，部分确认，部分否定确认

    basicNack --> requeue：true 发回服务器，服务器重新入队 requeue：false 丢弃

    image-20210208143246786

    监听关闭：剩下5条直接丢弃，因为 requeue=false

    image-20210208143318689

  • requeue = true 重新入队之后，继续被消费

    image-20210208143513196

avatar
文章
阅读
粉丝