四十三、centos安装storm(集群模式)

112 阅读1分钟

环境准备:

centos

zookeeper正常运行

storm-1.2.4

环境搭建:

        一、下载安装:

                1、storm官方下载地址:

Apache Downloadshttps://www.apache.org/dyn/closer.lua/storm/apache-storm-1.2.4/apache-storm-1.2.4.tar.gz

                2、解压:

tar -zxvf apache-storm-1.2.4.tar.gz -C /home/

                 3、重命名:

mv apache-storm-1.2.4 storm

        二、环境变量

vim /etc/profile

        使环境变量立即生效:

source /etc/profile

        三、修改配置文件

                        1、 修改  ${STORM_HOME}/conf/storm.yaml文件:

vim storm.yaml

        注:该文件可以看到全部为注释行,改为如下配置

# Zookeeper集群的主机列表
storm.zookeeper.servers:
- "master"
- "slave1"
- "slave2"

# Nimbus的节点列表
nimbus.seeds: ["master", "slave1"]

# Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等)
storm.local.dir: "/home/storm/data"

#workers进程的端口,每个worker进程会使用一个端口来接收消息
supervisor.slots.ports:
- 6700
- 6701


#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "master"

#web页面端口号

ui.port: 9999

   注:supervisor.slots.ports 参数用来配置 workers 进程接收消息的端口,默认每个 supervisor 节点上会启动 4 个 worker,当然你也可以按照自己的需要和服务器性能进行设置,假设只想启动 2 个 worker 的话,此处配置 2 个端口即可

        注:文件内容的格式一定要注意,冒号后有空格,格式错误,进程是启动不了的

        四、文件分发

scp -r /home/storm/ slave1:/home/
scp -r /home/storm/ slave2:/home/

        五、启动Zookeeper集群

bin/zkServer.sh start
bin/zkServer.sh status

 

六、启动Storm集群

         在master和slave1节点上进入${STORM_HOME}/bin 目录下:

        1、启动master和slave1的主节点 nimbus服务(注意上面的配置文件):

nohup sh storm nimbus &

        2、启动从节点 supervisor服务:

nohup sh storm supervisor &

        3、启动UI界面 ui:

nohup sh storm ui &

        4、启动日志查看服务 logviewer:

nohup sh storm logviewer &

 

 

        在slave2节点上只需要启动 supervisor 服务和 logviewer 服务:

        1、启动从节点 supervisor:

nohup sh storm supervisor &

        2、启动日志查看服务 logviewer:

nohup sh storm logviewer &

七、监控各节点的状态(web端):

        浏览器输入:

master:9999

        注:这里使用的端口号与 ${STORM_HOME}/conf/storm.yaml配置文件中的相同

 

八、停止进程

        注:对于storm的进程只有使用kill命令来结束进程这一种方式

如下示范:

 

        注:jps命令后为: 进程号 + 进程名称

centos安装storm(集群模式)完成