消息队列

队列

队列的是一种先进先出的数据结构，下面用python演示一下队列的作用

import queue
q=queue.Queue(maxsize=10)
q.put(111)
q.put(222)
q.put(333)
print(q.get())
print(q.get())
print(q.get())
print(q.get())

输出结果

111
222
333

如果再获取一次，程序就会阻塞q.get(),直到有新的数据 如果获取的时候传递一个参数，block=False,那么程序就会直接报错

Traceback (most recent call last):
  File "<pyshell#4>", line 1, in <module>
    q.get(block=False)
_queue.Empty

什么是消息队列（MQ）

MQ全称为Message Queue 消息队列（MQ）是一种应用程序对应用程序的通信方法。MQ是消费-生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取队列中的消息。这样发布者和使用者都不用知道对方的存在。

消息队列的作用

消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。

解耦

这个还是比较好理解的，不同模块或者系统之间，通过消息队列作为中间者，只需要通过消息队列传递信息。彼此之间并不强关联，只要存储和获取消息，至于消息怎么处理彼此并不关心。

异步消息

这个也很好理解，系统之间传递和接收消息，彼此之间并不需要等待响应。

流量消峰

将请求放入消息队列，对于系统的多个服务器，每个服务器从消息队列获取请求并处理，这样就避免了服务器崩溃

查看下面外卖这个例子

• 解耦
• 异步 不同系统之间通过消息队列通信，不关心彼此的处理，不需要返回
• 流量消峰

有哪些消息队列

目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。

RabbitMQ

RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。

rabbitMQ是一款基于AMQP协议的消息中间件，它能够在应用之间提供可靠的消息传输。在易用性，扩展性，高可用性上表现优秀。使用消息中间件利于应用之间的解耦，生产者（客户端）无需知道消费者（服务端）的存在。而且两端可以使用不同的语言编写，大大提供了灵活性。

官方文档 RabbitMQ tutorial - "Hello world!" | RabbitMQ

RabbitMQ常用的几种模式

• 简单模式
• 交换机模式
  • 发布订阅
  • 关键字模式
  • 模糊匹配

简单模式

生产者消费者

操作步骤

• 生产者：
  • 1 连接rabbitmq
  • 2 创建队列
  • 3 向指定队列插入数据
• 消费者
  • 1 链接rabbitmq
  • 2 监听模式
  • 3 确定回调函数

### 生产者
import pika

# 连接rabbitmq
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
# 连接通道
channel = connection.channel()
# 创建队列，参数队列名称
channel.queue_declare(queue='hello')
# 向指定队列插入数据 
channel.basic_publish(exchange='',   # 简单模式，交换机为空
                      routing_key='hello',  # 指定队列
                      body='Hello World!')  # 指定数据

print(" [x] Sent 'Hello World!'")

### 消费者

import pika

# 连接rabbitmq
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
# 连接通道
channel = connection.channel()
# 创建队列，生产者和消费者无法确定启动的先后，但是需要有一个队列
channel.queue_declare(queue='hello')
# 回调函数
def callback(ch, method, properties, body):
    # ch, method, properties属性参数
    # body 从消息队列中获取到的数据
    print(" [x] Received %r" % body)

# 确定监听队列
channel.basic_consume(queue='hello', # 监听hello队列
                      auto_ack=True, # 自动应答
                      on_message_callback=callback) # 获取到消息后执行的回调函数
                     

print(' [*] Waiting for messages. To exit press CTRL+C')
# 开始消费（监听）
channel.start_consuming()

交换机模式

发布订阅fanout

生产者会创建一个交换机，每个生产者会创建一个队列，队列绑定到交换机，每当交换机有数据就会发送给所有订阅者相同的数据。也就是一对多发送消息

# 生产者
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()
# 声明一个名为logs类型为fanout交换机
channel.exchange_declare(exchange='logs',  # 交换机名称
                         exchange_type='fanout') # 发布订阅模式
# logs交换机插入数据
message = "info: Hello World!"
channel.basic_publish(exchange='logs', # 交换机名称
                      routing_key='',
                      body=message)
print(" [x] Sent %r" % message)
connection.close()

# 消费者
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
# 声明一个交换机，无法确定生产者和消费者谁先启动，先创建一个交换机
channel.exchange_declare(exchange='logs',
                         exchange_type='fanout')
# 创建一个队列，exclusive随机生成队列名字
result = channel.queue_declare("",exclusive=True)
# 获取队列名字
queue_name = result.method.queue
# 将指定队列绑定对交换机上
channel.queue_bind(exchange='logs',
                   queue=queue_name)

print(' [*] Waiting for logs. To exit press CTRL+C')

def callback(ch, method, properties, body):
    print(" [x] %r" % body)


channel.basic_consume(queue=queue_name,
                      auto_ack=True,
                      on_message_callback=callback)

channel.start_consuming()

关键字模式

这个模式是对发布订阅模式的增强，使得可以根据关键字筛选消息。

与普通的发布订阅模式不同的是，生产者在发布数据的时候会绑定一个关键字，消费者获取的时候也会绑定关键字

# 生产者
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()
# 声明一个名为logs类型为fanout交换机
channel.exchange_declare(exchange='logs2',  # 交换机名称
                         exchange_type='direct') # 关键字模式
# logs交换机插入数据
message = "info: Hello World!"
channel.basic_publish(exchange='logs2', # 交换机名称
                      routing_key='info', # 相比多了这么一个参数
                      body=message)
print(" [x] Sent %r" % message)
connection.close()

# 消费者
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
# 声明一个交换机，无法确定生产者和消费者谁先启动，先创建一个交换机
channel.exchange_declare(exchange='logs2',
                         exchange_type='direct')
# 创建一个队列，exclusive随机生成队列名字
result = channel.queue_declare("",exclusive=True)
# 获取队列名字
queue_name = result.method.queue
# 将指定队列绑定对交换机上
channel.queue_bind(exchange='logs2',
                   queue=queue_name,
                   routing_key='error')# 多了这么一步绑定一个关键字
#绑定多个关键字
channel.queue_bind(exchange='logs2',
                   queue=queue_name,
                   routing_key='info')

channel.queue_bind(exchange='logs2',
                   queue=queue_name,
                   routing_key='warnning')
                   
print(' [*] Waiting for logs. To exit press CTRL+C')

def callback(ch, method, properties, body):
    print(" [x] %r" % body)


channel.basic_consume(queue=queue_name,
                      auto_ack=True,
                      on_message_callback=callback)

channel.start_consuming()

交换机之通配符

通配符交换机”与之前的路由模式相比，它将信息的传输类型的key更加细化，以“key1.key2.keyN....”的模式来指定信息传输的key的大类型和大类型下面的小类型，让消费者可以更加精细的确认自己想要获取的信息类型。而在消费者一段，不用精确的指定具体到哪一个大类型下的小类型的key，而是可以使用类似正则表达式(但与正则表达式规则完全不同)的通配符在指定一定范围或符合某一个字符串匹配规则的key，来获取想要的信息。

“通配符交换机”（Topic Exchange）将路由键和某模式进行匹配。此时队列需要绑定在一个模式上。符号#匹配一个或多个词，符号*仅匹配一个词。因此“audit.#”能够匹配到“audit.irs.corporate”，但是“audit.”只会匹配到“audit.irs”。（这里与我们一般的正则表达式的“”和“#”刚好相反，这里我们需要注意一下。）
下面是一个解释通配符模式交换机工作的一个样例

上面的交换机制类似于一个国际新闻讯息网站的机制。

# 看起来使不出差别不大，就是交换机的类型和路由的关键字不一样

# 生产者
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='logs3',
                         exchange_type='topic')   # 交换机类型topic

message = "info: Hello ERU!"
channel.basic_publish(exchange='logs3',
                          routing_key='europe.weather',   # 路由关键字
                      body=message)
print(" [x] Sent %r" % message)
connection.close()

# 消费者

import pika
import sys

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='logs3',
                         exchange_type='topic')  # 交换机类型topic

result = channel.queue_declare("",exclusive=True)
queue_name = result.method.queue



channel.queue_bind(exchange='logs3',
                   queue=queue_name,
                   routing_key="#.news")   # 路由关键字

print(' [*] Waiting for logs. To exit press CTRL+C')

def callback(ch, method, properties, body):
    print(" [x] %r" % body)


channel.basic_consume(queue=queue_name,
                      auto_ack=True,
                      on_message_callback=callback)

channel.start_consuming()

参数的使用

应答参数

是否自动应答，参数默认为True，也就是说消费者程序获取完之后就自动应答了，消息就从消息队列中移除了。是否启用自动应答看场景需求。

那么想想这么一种情况，在消费者程序中的回调函数执行出错了，程序未处理完成，消息不见了，这种时间手动应答的作用就体现出来了，当程序崩溃了，处理完bug重启消费者程序就还能获取到消息。

设置为手动应答auto_ack=False

手动确认应答 ch.basic_ack(delivery_tag=method.delivery_tag)

持久化参数

持久化，数据存储到硬盘中，其作用是希望rabbitmq中途崩溃了，能够从持久化数据中恢复。

在生产者和消费者声明队列的使用需要加上参数durable=True,将队列变成可持久化队列。然后生产者在发布消息basic_publish的时候，需要添加一个参数delivery_mode=2,使当前这条消息持久化

#声明queue
# 声明一个可持久化队列，durable=True
channel.queue_declare(queue='hello2', ，durable=True)  # 若声明过，则换一个名字

channel.basic_publish(exchange='',
                      routing_key='hello2',
                      body='Hello World!',
                      properties=pika.BasicProperties(
                          delivery_mode=2,  # make message persistent，对当前这条消息起作用
                          )
                      )

分发参数

有两个消费者同时监听一个的队列。其中一个线程sleep2秒，另一个消费者线程sleep1秒，但是处理的消息是一样多。这种方式叫轮询分发（round-robin）不管谁忙，都不会多给消息，总是你一个我一个。想要做到公平分发（fair dispatch），必须关闭自动应答ack，改成手动应答。使用basicQos(perfetch=1)限制每次只发送不超过1条消息到同一个消费者，消费者必须手动反馈告知队列，才会发送下一个。

channel.basic_qos(prefetch_count``=``1``)

基于rabbitmq的RPC实现

rpc的实现

如图我们可以看出生产端client向消费端server请求处理数据，他会经历如下几次来完成交互。

• 1.生产端 生成rpc_queue队列，这个队列负责帮消费者 接收数据并把消息发给消费端。
• 2.生产端 生成另外一个随机队列，这个队列是发给消费端，消费这个用这个队列把处理好的数据发送给生产端。
• 3.生产端 生成一组唯一字符串UUID，发送给消费者，消费者会把这串字符作为验证再发给生产者。
• 4.当消费端处理完数据，发给生产端，时会把处理数据与UUID一起通过随机生产的队列发回给生产端。
• 5.生产端，会使用while循环 不断检测是否有数据，并以这种形式来实现阻塞等待数据，来监听消费端。
• 6.生产端获取数据调用回调函数，回调函数判断本机的UUID与消费端发回UID是否匹配，由于消费端，可能有多个，且处理时间不等所以需要判断，判断成功赋值数据，while循环就会捕获到，完成交互。

client

import pika
import uuid
import time

# 斐波那契数列 前两个数相加依次排列
class FibonacciRpcClient(object):
    def __init__(self):
        # 赋值变量，一个循环值
        self.response = None
        # 链接远程
        self.connection = pika.BlockingConnection(pika.ConnectionParameters(
                host='localhost'))
        self.channel = self.connection.channel()

        # 生成随机queue
        result = self.channel.queue_declare("",exclusive=True)
        # 随机取queue名字，发给消费端
        self.callback_queue = result.method.queue

        # self.on_response 回调函数:只要收到消息就调用这个函数。
        # 声明收到消息后就 收queue=self.callback_queue内的消息


        self.channel.basic_consume(queue=self.callback_queue,
                                   auto_ack=True,
                              on_message_callback=self.on_response)

    # 收到消息就调用
    # ch 管道内存对象地址
    # method 消息发给哪个queue
    # body数据对象
    def on_response(self, ch, method, props, body):
        # 判断本机生成的ID 与 生产端发过来的ID是否相等
        if self.corr_id == props.correlation_id:
            # 将body值 赋值给self.response
            self.response = body

    def call(self, n):


        #　随机一次唯一的字符串
        self.corr_id = str(uuid.uuid4())

        # routing_key='rpc_queue' 发一个消息到rpc_queue内
        self.channel.basic_publish(exchange='',
                                   routing_key='rpc_queue',
                                   properties=pika.BasicProperties(

                                         # 执行命令之后结果返回给self.callaback_queue这个队列中
                                         reply_to = self.callback_queue,
                                         # 生成UUID 发送给消费端
                                         correlation_id = self.corr_id,
                                         ),
                                   # 发的消息，必须传入字符串，不能传数字
                                   body=str(n))
        # 没有数据就循环收
        while self.response is None:
            # 非阻塞版的start_consuming()
            # 没有消息不阻塞
            self.connection.process_data_events()
            print("no msg...")
            time.sleep(0.5)
        return int(self.response)

#　实例化
fibonacci_rpc = FibonacciRpcClient()


response = fibonacci_rpc.call(50)
print(" [.] Got %r" % response)

server

#_*_coding:utf-8_*_
import pika
import time
# 链接socket
connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()

# 生成rpc queue
channel.queue_declare(queue='rpc_queue')

#　斐波那契数列
def fib(n):
    if n == 0:
        return 0
    elif n == 1:
        return 1
    else:
        return fib(n-1) + fib(n-2)


# 收到消息就调用
# ch 管道内存对象地址
# method 消息发给哪个queue
# props 返回给消费的返回参数
# body数据对象
def on_request(ch, method, props, body):
    n = int(body)

    print(" [.] fib(%s)" % n)
    # 调用斐波那契函数 传入结果
    response = fib(n)

    ch.basic_publish(exchange='',
                     # 生产端随机生成的queue
                     routing_key=props.reply_to,
                     # 获取UUID唯一 字符串数值
                     properties=pika.BasicProperties(correlation_id = \
                                                   props.correlation_id),
                     # 消息返回给生产端
                     body=str(response))
    # 确保任务完成
    # ch.basic_ack(delivery_tag = method.delivery_tag)

# rpc_queue收到消息:调用on_request回调函数
# queue='rpc_queue'从rpc内收
channel.basic_consume(queue="rpc_queue",
                      auto_ack=True,
                      on_message_callback=on_request)
print(" [x] Awaiting RPC requests")
channel.start_consuming()

参考文章 消息队列之真知灼见 - Mr·Yuan - 博客园 (cnblogs.com)