ApacheRocketMQ消息队列部署与可视化界面安装

625 阅读4分钟

  

图片描述


  一、介绍

  Apache RocketMQ是一个分布式、队列模型的消息中间件,具有低延迟、高性能和高可靠、万亿级容量和灵活的可扩展性。核心组件由四部分组成:Name Servers,Brokers,Producer 和 Consumer;它们中的每一个都可以水平扩展,而没有单一的故障节点。

  

图片描述


  NameServer:是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步

  Broker:部署相对复杂,Broker分为Master与Slave,一个Master可以对应多个Slaver,但是一个Slaver只能对应一个Master,Master与Slaver的对应关系通过指定相同的BrokerName,不同的BrokerId来定义,BrokerId为0表示Master,非0表示Slaver。Master可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接,定时注册Topic信息到所有的NameServer

  Producer:与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master建立长连接,且定时向Master发送心跳。Produce完全无状态,可集群部署

  Consumer:与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slaver建立长连接,且定时向Master、Slaver发送心跳。Consumer即可从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定

  二、MQ安装部署

  2.1. 下载

  直接找最新版下载后解压

  http://rocketmq.apache.org/release_notes

  

图片描述


  2.2. 修改配置

  **修改 conf/broker.conf**添加以下配置

  

图片描述


  brokerIP1:配置broker所在服务器的ip地址,以便Name Server连接

  修改 runserver.sh 和 runbroker.sh (可不改)

  因为rocketMQ默认的启动参数内存占用非常大,如果环境没有这么多内存就必需修改JAVA_OPT参数

  runserver.sh

  


  JAVA_OPT=${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m

  runbroker.sh

  


  JAVA_OPT=${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m

  2.3. 运行Name Server

  nohup sh bin/mqnamesrv

  查看运行日志:tail -f ~/logs/rocketmqlogs/namesrv.log

  2.4. 运行Broker

  nohup sh bin/mqbroker -n localhost:9876 -c conf/broker.conf

  通过-c参数指定配置文件

  查看运行日志:tail -f ~/logs/rocketmqlogs/broker.log

  2.5. 停止服务的方式

  如果需要停止RocketMQ的服务,在生产环境不建议直接用kill,应该使用以下命令

  sh bin/mqshutdown broker

  sh bin/mqshutdown namesrv

  三、安装可视化管理界面

  下载

  https://github.com/apache/rocketmq-externals/tree/master/rocketmq-console

  编译

  mvn clean package -Dmaven.test.skip=true

  运行

  nohup java -jar \

  -Drocketmq.config.namesrvAddr=192.168.28.130:9876 \

  -Drocketmq.config.isVIPChannel=false \

  rocketmq-console-ng-1.0.0.jar

  访问

  http://192.168.28.130:8080/

  


  四、常见异常处理

  4.1. MQClientException: No route info of this topic, TopicTest1

  4.1.1. 异常说明

  在客户端的 Producer 运行起来准备发送消息时抛异常为 “ No route info of this topic ” 异常产生的原因可能是:

  Broker 禁止自动创建 Topic,且用户没有通过手工方式创建 Topic

  Broker 没有正确连接到 Name Server

  Producer 没有正确连接到 Name Server

  4.1.2. 解决办法

  排查1:Broker 禁止自动创建 Topic,且用户没有通过手工方式创建 Topic

  可以在rocketmq所在目录下执行 sh bin/mqbroker -m 来查看 broker 的配置参数

  如下所示,autoCreateTopicEnable=true 证明是没有问题的

  

图片描述


  排查2:Broker 没有正确连接到 Name Server

  通过查看broker的日志 tail -f ~/logs/rocketmqlogs/broker.log 看看有没有错误信息

  排查3:Producer 没有正确连接到 Name Server

  检查程序连接 Name Server 的地址有没有错

  如果在云服务器上,检查安全组的配置9876端口有没有开发

  看看有没有打开防火墙,有的话设置防火墙开放9876端口

  4.2. RemotingTooMuchRequestException: sendDefaultImpl call timeout

  4.2.1. 异常说明

  在客户端的 Producer 运行起来准备发送消息时抛异常如下

  通常因为Name Server连接不上Broker

  

图片描述


  4.2.2. 解决办法

  检查 rocketmq-console 的集群页签,broker 的地址是否正确

  


  broker地址的配置方式请参考 安装部署 中提到的步骤:

  修改 broker.conf 的配置,添加 brokerIP1 参数

  启动 broker 时加上 -c 参数指定配置文件

  4.3. 消费/查看不了死信队列topic的消息

  


  4.3.1. 异常说明

  死信队列默认的 perm 值为2没有查看权限

  4.3.2. 解决办法

  在控制台把队列的 perm 改为6就可以了

  **主题点击 TOPIC配置 **

  


  修改perm