分布式事务第七弹——数据最终一分布式事务(一)

95 阅读4分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第15天,点击查看活动详情

每日英语:

Youth is not a time of life, it is a state of mind.

翻译:青春不是年华,而是心境。 ——塞缪尔·厄尔曼

数据最终一分布式事务

之前说到的借呗借钱数据最终一致分布式事务解决方案可以采用RocketMQ,其实除了RocketMQ之外,其他MQ也可以实现分布式事务,但实现原理不一样,其他MQ采用的几乎都是ACK机制,只有RocketMQ支持事务消息,我们来讲述一下RocketMQ的事务消息在实战案例中该如何使用。

RocketMQ安装

在安装RocketMQ之前,我们先了解一下RocketMQ的部署架构,了解一下RocketMQ的组件,然后基于当前主流的Docker安装RocketMQ,我们这里安装单台RocketMQ,但为了防止单节点故障、保障高可用,生产环境建议安装RocketMQ集群。

RocketMQ架构

1550671479678.png

上图是RocketMQ的部署架构图:

1:NameServer是一个非常简单的Topic路由注册中心,其角色类似Dubbo中的zookeeper,支持Broker的动态注册与发现。2:Broker主要负责消息的存储、投递和查询以及服务高可用保证。3:Producer消息发布的角色,支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递,投递的过程支持快速失败并且低延迟。4:Consumer消息消费的角色,支持分布式集群方式部署。支持以push推,pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费,它提供实时消息订阅机制,可以满足大多数用户的需求。

Docker安装RocketMQ

安装NameSrv

拉取镜像:

docker pull rocketmqinc/rocketmq

创建namesrv数据存储目录:

mkdir -p  /docker/rocketmq/data/namesrv/logs   /docker/rocketmq/data/namesrv/store

安装NameSrv:

docker run -d \
--restart=always \
--name rmqnamesrv \
--privileged=true \
-p 9876:9876 \
-v /docker/rocketmq/data/namesrv/logs:/root/logs \
-v /docker/rocketmq/data/namesrv/store:/root/store \
-e "MAX_POSSIBLE_HEAP=100000000" \
rocketmqinc/rocketmq \
sh mqnamesrv 

相关参数说明:

参数说明
-d以守护进程的方式启动
- -restart=alwaysdocker重启时候容器自动重启
- -name rmqnamesrv把容器的名字设置为rmqnamesrv
-p 9876:9876把容器内的端口9876挂载到宿主机9876上面
-v /docker/rocketmq/data/namesrv/logs:/root/logs把容器内的/root/logs日志目录挂载到宿主机的 /docker/rocketmq/data/namesrv/logs目录
-v /docker/rocketmq/data/namesrv/store:/root/store把容器内的/root/store数据存储目录挂载到宿主机的 /docker/rocketmq/data/namesrv目录
rmqnamesrv容器的名字
-e “MAX_POSSIBLE_HEAP=100000000”设置容器的最大堆内存为100000000
rocketmqinc/rocketmq使用的镜像名称
sh mqnamesrv启动namesrv服务

安装Broker

border配置:创建broker.conf配置文件vi /docker/rocketmq/conf/broker.conf,配置如下:

# 所属集群名称,如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称,master和slave使用相同的名称,表明他们的主从关系
brokerName = broker-a
#0表示Master,大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作,默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长,单位是小时
fileReservedTime = 48
#有三个值:SYNC_MASTER,ASYNC_MASTER,SLAVE;同步和异步表示Master和Slave之间同步数据的机制;
brokerRole = ASYNC_MASTER
#刷盘策略,取值为:ASYNC_FLUSH,SYNC_FLUSH表示同步刷盘和异步刷盘;SYNC_FLUSH消息写入磁盘后才返回成功状态,ASYNC_FLUSH不需要;
flushDiskType = ASYNC_FLUSH
# 设置broker节点所在服务器的ip地址
brokerIP1 = 192.168.100.130
#剩余磁盘比例
diskMaxUsedSpaceRatio=99

安装Broker:

docker run -d  \
--restart=always \
--name rmqbroker \
--link rmqnamesrv:namesrv \
-p 10911:10911 \
-p 10909:10909 \
--privileged=true \
-v  /docker/rocketmq/data/broker/logs:/root/logs \
-v  /docker/rocketmq/data/broker/store:/root/store \
-v /docker/rocketmq/conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf \
-e "NAMESRV_ADDR=namesrv:9876" \
-e "MAX_POSSIBLE_HEAP=200000000" \
rocketmqinc/rocketmq \
sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf

相关参数说明:

参数说明
-d以守护进程的方式启动
–restart=alwaysdocker重启时候镜像自动重启
- -name rmqbroker把容器的名字设置为rmqbroker
- --link rmqnamesrv:namesrv和rmqnamesrv容器通信
-p 10911:10911把容器的非vip通道端口挂载到宿主机
-p 10909:10909把容器的vip通道端口挂载到宿主机
-e “NAMESRV_ADDR=namesrv:9876”指定namesrv的地址为本机namesrv的ip地址:9876
-e “MAX_POSSIBLE_HEAP=200000000” rocketmqinc/rocketmq sh mqbroker指定broker服务的最大堆内存
rocketmqinc/rocketmq使用的镜像名称
sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf指定配置文件启动broker节点

控制台安装

拉取镜像:

docker pull pangliang/rocketmq-console-ng

控制台安装:

docker run -d \
--restart=always \
--name rmqadmin \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.xxx.xxx:9876 \
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \
-p 8080:8080 \
pangliang/rocketmq-console-ng

关闭防火墙(或者开放端口)

#关闭防火墙
systemctl stop firewalld.service
#禁止开机启动
systemctl disable firewalld.service 

访问:192.168.xxx.xxx:8080/#/ (可以切换中文)

总结

本篇主要介绍了一下基于Docker安装RocketMQ,下一篇我会重点介绍一下RcoketMQ事务消息处理。