Centos7 搭建CDH5.7.2步骤(二)

245 阅读2分钟

​​本文已参与「新人创作礼」活动,一起开启掘金创作之路。

 三、CDH相关软件的安装

1.安装mysql(主节点)

1.卸载mariadb
[root@cdh01]rpm -qa | grep mariadb
mariadb-libs-5.5.41-2.el7_0.x86_64
2.如存在上述情形,按照下面卸载
[root@cdh01]rpm -e --nodeps mariadb-libs-5.5.41-2.el7_0.x86_64
3.安装mysql
    3.1创建用户及用户组
        #增加用户组mysql:
        groupadd mysql
        #增加用户mysql,加入mysql用户组:
        useradd -r -g mysql mysql
    3.2安装MySQL
        #安装server:
        rpm -ivh MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm
        #安装client:
        rpm -ivh MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm
    3.3添加随机启动
        cp /usr/share/mysql/mysql.server /etc/init.d/mysqld
    3.4启动MySQL
        service mysqld start
    3.5修改密码(单引号内为新密码)(网上方法很多,本人只有这一种尝试成功了,若有问题可以自行百度)
         cat /root/.mysql_secret #此密码只能用来修改密码使用。
        复制获取到的随机密码,在执行下面这行命令后,会要求输入密码,输入刚才获取的随机密码即可
        mysqladmin -u root -p password 'root'
    3.6连接测试
        #连接进入mysql,命令如下:
        mysql -uroot -proot
4.创建CDH用到的相关表
    create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
5.设置mysql数据库远程访问权限
    grant all privileges on *.* to root@'%' identified by 'root' with grant option;

    flush privileges;

2.安装scala(所有)

#解压文件
tar -zxvf scala-2.11.0.tgz -C /opt/
#进入对应目录
cd /opt
#重命名
mv scala-2.12.8/ scala
#配置环境变量
vi /etc/profile

#在文件中追加
export SCALA_HOME=/opt/scala/
export PATH=$PATH:$SCALA_HOME/bin

四、安装Cloudera-Manager

1.使用的内容

cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel

CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1

manifest.json

2.安装CM

  • 解压文件(所有)
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager

  • 创建cloudera-scm用户(所有)
#创建
useradd -r -d /opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm
#查看
id cloudera-scm

3.配置CM

  • 配置主节点指向(所有节点)
#编辑文件
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
#需要修改的内容
server_host=cdh1

  • 配置仓库目录(主节点)
#创建文件夹
mkdir -p /opt/cloudera/parcel-repo
#将文件改为指定的用户组拥有
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
#复制文件
cp CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo
#进入目录
cd /opt/cloudera/parcel-repo
#重命名
mv CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1 CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha

  • 配置CDH从节点目录(所有)

#创建目录
mkdir -p /opt/cloudera/parcels
#更改文件所有权为指定用户
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

  解释:Clouder-Manager将CDH从主节点的/opt/cloudera/parcel-repo目录中抽取出来,分发解压激活到各个节点的/opt/cloudera/parcels目录中。

  • 初始化数据库(主节点)
/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -uroot -proot --scm-host localhost scm scm scm

五、启动服务

  • 启动service服务(主节点)
  /opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start

  • 启动agent服务(所有)
  /opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start