CDH5.16.2-Flink1.10.1-parcel制作

191 阅读1分钟

一.简介

CDH除了能够管理自生所提供的一些大数据相关服务外,还允许将第三方服务添加到CDH集群(托管在CDH上)。你需要做的就是按照一定的规则流程制作相关程序包,最后发布到CDH上。虽然过程并不困难,但是手动操作尤其是一些关键配置容易出错,往往导致最终服务无法正常在CDH上安装运行。

二.cm_ext

url : github.com/cloudera/cm…

validator 验证csd和parcel

validator(验证器) 重新编译 mvn clean package

三.flink

制作flink on yarn parcel

3.1 环境

cdh5.16.2

flink 1.10.1 ( archive.apache.org/dist/flink/…)

centos7

图片

文件url: github.com/77954309/fl…

3.2 生成parcel文件

./build.sh  parcel

3.3 生成csd文件

./build.sh  csd_on_yarn

四. 注意事项

1.parcel 文件可以放到/opt/cloudera/parcels 或者 发布到http 上

图片

2.添加 parcel包

打开CDH管理界面->集群->检查parcel包->flink->分配->激活

图片

图片

3.csd

CM节点下的/opt/cloudera/csd 放FLINK_ON_YARN-1.10.1.jar ,重启CM节点,CM客户端也重启 ,这样添加服务时,可以看到FLINK

图片

图片

4.在如果集群开启了安全,需要配置security.kerberos.login.keytab和security.kerberos.login.principal两个参数才能正正常启动。如未启动kerberos,则在CDH中添加FLINK服务时请清空这两个参数的内容

参考:

blog.csdn.net/tony_328427…

archive.apache.org/dist/flink/

github.com/cloudera/cm…