运维部署

下载解压elasticsearch7.10.2后, 解压到每台服务器的一个位置即可. 因为配置了ES的环境变量到~/.bash_profile 下所以可以直接使用elasticsearch命令. 当然也可以写该脚本的绝对路径即可.

依赖zookeeper,自行安装. 或者见Zookeeper集群搭建 下载后, 解压到每台服务器的一个位置即可. 因为配置了kafka的环境变量到~/.bash_profile 下所以可以直接使用kafka-server-start.sh脚本. 当然也可以写该脚本的绝对路径即可.

下载后, 解压到每台服务器的一个位置即可. 以下是haoop300节点的操作, 其他服务器同理,区别是是myid文件的内容不同即可. 因为配置了zk的环境变量到~/.bash_profile 下所以可以直接使用zkServer.sh脚本. 当然也可以写该脚本的绝对路径即可.

编写DAG文件需要保证在集群每个节点都要同步,因为每个worker都是从本地进行读取执行的, 不像oozie那样上传到HDFS. scheduler仅仅是发送一条要执行哪个DAG下的哪个Task的命令到Queue Broker下, 然后worker再根据命令去指定指定的那个Ta…

Table 1. Required Dependencies 然后注册超级管理员的用户名密码即可. 默认HBase的thrift服务没有开启，所有需要手动额外开启thrift 服务。默认使用的是9090端口

所以当我们把上面的一些操作抽象出来作为构建一个jenkins部署任务的配置信息,以后要部署其他项目时,新建一个jenkins部署任务在填写一些配置信息即可(比如配置源代码地址,配置下载到源代码后要执行什么操作比如上面的执行mvn install,java -jar等操作这些都可…