CDH-Spark2部署

311 阅读1分钟

下载

安装

上传

上传CSD包到所有节点上的/opt/cloudera/csd目录,并且修改文件的用户和组。注意如果本目录下有其他的jar包,把它们删掉或者移到其他目录。csd包放在/opt/cloudera/csd目录才能被识别。

(base) [root@ljw1 ~]# /root/bin/xsync "/opt/cloudera/csd/SPARK2_ON_YARN-2.3.0.cloudera4.jar"


cd /opt/cloudera/csd
chgrp cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera4.jar
chown cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera4.jar

上传3个文件到主节点的/opt/cloudera/parcel-repo目录下,并且重新命名。

重启服务器

重启主节点cloudera-scm-server

/opt/cm-5.15.0/etc/init.d/cloudera-scm-server restart

重启所有节点cloudera-scm-agent

/opt/cm-5.15.0/etc/init.d/cloudera-scm-agent restart

分配并激活parcel

分配-->激活

添加spark2服务

选择spark2

按照提示进行分配。

运行

参考

CDH5.15安装Spark2.3服务