RabbitMQ集群的部署

138 阅读3分钟

携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第30天,点击查看活动详情

10.1 clustering

10.1.1 使用集群的原因

最开始我们介绍了如何安装及运行 RabbitMQ 服务,不过这些是单机版的,无法满足目前真实应用的要求。如果 RabbitMQ 服务器遇到内存崩溃、机器掉电或者主板故障等情况,该怎么办?单台 RabbitMQ 服务器可以满足每秒 1000 条消息的吞吐量,那么如果应用需要 RabbitMQ 服务满足每秒 10 万条消息的吞

吐量呢?购买昂贵的服务器来增强单机 RabbitMQ 务的性能显得捉襟见肘,搭建一个 RabbitMQ 集群才是解决实际问题的关键

image-20220316222552467

10.1.2 搭建步骤

1、修改 3 台机器的主机名称

vim /etc/hostname

配置各个节点的 hosts 文件

2、配置各个节点的 hosts 文件,让各个节点都能互相识别对方

[root@node2 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.10.10 node1 192.168.10.20 node2 192.168.10.30 node3

3、以确保各个节点的 cookie 文件使用的是同一个值在 node1 上执行远程操作命令

scp /var/lib/rabbitmq/.erlang.cookie root@node2:/var/lib/rabbitmq/.erlang.cookie scp /var/lib/rabbitmq/.erlang.cookie root@node3:/var/lib/rabbitmq/.erlang.cookie

4、启动 RabbitMQ 服务,顺带启动 Erlang 虚拟机和 RbbitMQ 应用服务(在三台节点上分别执行以下命令)

rabbitmq-server -detached

5、在节点 2 执行

rabbitmqctl stop_app

(rabbitmqctl stop 会将Erlang 虚拟机关闭,rabbitmqctl stop_app 只关闭 RabbitMQ 服务) rabbitmqctl reset

rabbitmqctl join_cluster rabbit@node1 rabbitmqctl start_app(只启动应用服务)

6、在节点 3 执行

rabbitmqctl stop_app rabbitmqctl reset

rabbitmqctl join_cluster rabbit@node2 rabbitmqctl start_app

7、集群状态

rabbitmqctl cluster_status

8、需要重新设置用户创建账号

rabbitmqctl add_user admin 123

9、设置用户角色

rabbitmqctl set_user_tags admin administrator

10、设置用户权限

rabbitmqctl set_permissions -p "/" admin "." "." ".*"

11、解除集群节点(node2 和 node3 机器分别执行)

rabbitmqctl stop_app

rabbitmqctl reset rabbitmqctl start_app rabbitmqctl cluster_status

rabbitmqctl forget_cluster_node rabbit@node2(node1 机器上执行)

image-20220317140451713

10.2 镜像队列

10.2.1 使用镜像的原因

如果 RabbitMQ 集群中只有一个 Broker 节点,那么该节点的失效将导致整体服务的临时性不可用,并且也可能会导致消息的丢失。可以将所有消息都设置为持久化,并且对应队列的durable 属性也设置为true, 但是这样仍然无法避免由于缓存导致的问题:因为消息在发送之后和被写入磁盘井执行刷盘动作之间存在一个短暂却会产生问题的时间窗。通过 publisherconfirm 机制能够确保客户端知道哪些消息己经存入磁盘, 尽管如此,一般不希望遇到因单点故障导致的服务不可用。

引入镜像队列(Mirror Queue)的机制,可以将队列镜像到集群中的其他 Broker 节点之上,如果集群中的一个节点失效了,队列能自动地切换到镜像中的另一个节点上以保证服务的可用性。

10.2.2 搭建步骤

1、启动三台集群节点

2、随便找一个节点添加 policy

image-20220317154356735

3、在 node1 上创建一个队列发送一条消息,队列存在镜像队列

image-20220317154901754

10.3 Haproxy+Keepalive 实现高可用负载均衡

了解即可~

客户端请求VIP,也就是主服务器的地址。主服务器内部有Haproxy(高可用)代理和keepalive(心跳检测)如果主服务器宕机,经过keepalive的检测vip将会漂移到备服务器上

实现高可用的软件还有LVS等...

image-20220317160046739