消息队列全文

消息中间件

Message Queue，MQ，主要为了实现异步功能

传统分布式项目，通过RPC调用，需要等待回复

异步与解耦，不同的系统直接通过消息沟通，不直接互相调用，容错性变高
流量削峰，通过MQ堆积请求，消费系统根据固定的速率来处理请求，确保系统稳定

时间换空间

数据分发，通过MQ，不需要管谁用到了这个生产的数据，增加或去除消费端时，不需要修改业务代码

基本概念

角色

NamseServer，服务注册与发现中心
Brober Cluster，消息的存储，消息中转和持久化

主从架构

Producer，消息生产者，发送消息

集群架构

Consumer，消息消费者，处理消息

概念

主题，一个Broker，有唯一的topic
分组，标识同一类消息

生产者角度，用于事务消息

消费者角度，对同一个主题的消息，不同分组进行不同处理

消息队列，MQ，一个主题有若干个队列，同一个分组的消费者，订阅不同的队列

提高消息并发度

标签，tag，同一个主题的消息，可以根据标签做分类
偏移量，offset

生产者角度，队列中已有的消息数量

消费者角度，下次拉去的消息的序号

基于docker的安装

参考了这篇
电脑是mac
获取本机ip

ifconfig | grep "inet " | grep -v 127.0.0.1

docker下载注册中心和控制台

// 注册中心
docker pull rocketmqinc/rocketmq
// 控制台
docker pull pangliang/rocketmq-console-ng

需要提前在本地创建文件夹

XX是自己的目录自定义的文件夹

// 注册中心相关
mkdir -p  XX/docker/rocketmq/data/broker/logs   XX/docker/rocketmq/data/broker/store /docker/rocketmq/conf
// broker相关
mkdir -p  XX/docker/rocketmq/data/broker/logs   XX/docker/rocketmq/data/broker/store XX/docker/rocketmq/conf

启动注册中心

docker run -d \
--restart=always \
--name rmqnamesrv \
-p 9876:9876 \
-v XX/docker/rocketmq/data/namesrv/logs:/root/logs \
-v XX/docker/rocketmq/data/namesrv/store:/root/store \
-e "MAX_POSSIBLE_HEAP=100000000" \
rocketmqinc/rocketmq \
sh mqnamesrv

创建节点

docker run -d  \
--restart=always \
--name rmqbroker \
--link rmqnamesrv:namesrv \
-p 10911:10911 \
-p 10909:10909 \
-v  XX/docker/rocketmq/data/broker/logs:/root/logs \
-v  XX/docker/rocketmq/data/broker/store:/root/store \
-v XX/docker/rocketmq/conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf \
-e "NAMESRV_ADDR=namesrv:9876" \
-e "MAX_POSSIBLE_HEAP=200000000" \
rocketmqinc/rocketmq \
sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf

节点的配置文件XX/docker/rocketmq/conf/broker.conf

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = ASYNC_MASTER
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# 设置broker节点所在服务器的ip地址
brokerIP1 = 上面获取的ip地址
# 磁盘使用达到95%之后,生产者再写入消息会报错 CODE: 14 DESC: service not available now, maybe disk full
diskMaxUsedSpaceRatio=95

启动控制台

docker run -d \
--restart=always \
--name rmqadmin \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=上面获取的ip:9876 \
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \
-p 9999:8080 \
pangliang/rocketmq-console-ng

通过ip:9999访问即可

Java-第十九部分-消息队列-RocketMQ入门

消息队列全文

消息中间件

基本概念

角色

概念

基于docker的安装