阅读 1198

在一个新的HDP集群上安装HDF服务


概述

HORTONWORKS DATA PLATFORM (HDP®) 基于集中化架构 (YARN),是业内唯一一款极其安全且可用于企业的开源 Apache Hadoop® 分布式系统。HDP 可满足静态数据的全部需求,助力实时客户应用程序,并提供可加速决策和创新进程的强劲大数据分析。

Hortonworks DataFlow (HDF) 提供了唯一的端到端平台,利用直观的拖放界面,可以在内部或云中实时收集、管理、分析和操作数据。HDF 是 Apache Nifi/MiNifi、Apache Kafka、Apache Storm 和 Druid 集成的解决方案。HDF流实时数据分析平台包含数据流管理系统、流处理和企业服务。

HDP处理静态数据;HDF处理流实时数据。

本文主要介绍如何在一个新的HDP集群上安装HDF服务。

要求环境

  • 操作系统——CentOS7
  • CPU架构——x86
  • 一个新的HDP集群环境,参考部署HDP
  • Java1.8

在新的HDP集群上安装HDF

准备好以上环境以后,就可以开始安装HDF了

下载HDF

下载Hortonworks HDF management pack(mpack),参考你的操作系统,从 HDF Release Nots 下载相应的版本。这里,笔者以适用于 CentOS7 操作系统的 HDF-3.0.1.1 为例。你可以先下载下来,再上传到装有ambari的主机上,或者直接登陆到ambari主机,执行命令下载:

wget http://public-repo-1.hortonworks.com/HDF/centos7/3.x/updates/3.0.1.1/tars/hdf_ambari_mp/hdf-ambari-mpack-3.0.1.1-5.tar.gz
复制代码

安装HDF management pack

如果你还没有登陆到ambari主机上,请先登录,然后切换到 hdf-ambari-mpack-3.0.1.1-5.tar.gz 所在目录。接下来安装management pack,执行如下命令:

ambari-server install-mpack --mpack=./hdf-ambari-mpack-3.0.1.1-5.tar.gz --verbose
复制代码

安装完成后,重启 Ambari Server:

ambari-server restart
复制代码

更新HDF Base URL

安装好HDF management pack并重启 Ambari Server 之后,在浏览器访问Ambari并登陆,然后执行以下步骤:

  1. 点击右上角的 admin,然后选在 Manage Ambari
  2. 找到左边的 Clusters 视图,点击 Versions,然后点击 HDP version 链接;
  3. 参考你的操作系统,从 HDF Release Nots 选择相应的 HDF Base URL,然后配置到对应操作系统的base URL位置;
  4. 点击 Save

这样,HDF就配置完成,下面就可以选择相应服务进行添加了。

添加一个HDF服务到一个HDP集群

到此,已经将HDF服务信息添加到Ambari中,下面就可以添加HDF的服务了:

  1. 在Ambari home页面,点击左边的 Actions,然后选择 +Add Service;

    image

  2. 选择想要安装的HDF服务(NiFi, Storm, Kafka, Streaming Analytics Manager, and Schema Registry);

  3. Assign Masters 环节,使用先前的 Stream Processing 集群部署图分发 master 服务;

  4. Assign Slaves and Clients 环节,使用先前的 Stream Processing 集群部署图分发 slave 服务;

小结

到此为止,已经可以在一个现有的HDP集群上安装HDF服务了,过程并不复杂。HDF服务更多详细的配置步骤,请参考 更多HDF信息

参考:
docs.hortonworks.com/HDPDocument…


原创不易,与君共勉!

文章最新地址