本文已参与「新人创作礼」活动,一起开启掘金创作之路。
三、CDH相关软件的安装
1.安装mysql(主节点)
1.卸载mariadb
[root@cdh01]rpm -qa | grep mariadb
mariadb-libs-5.5.41-2.el7_0.x86_64
2.如存在上述情形,按照下面卸载
[root@cdh01]rpm -e --nodeps mariadb-libs-5.5.41-2.el7_0.x86_64
3.安装mysql
3.1创建用户及用户组
#增加用户组mysql:
groupadd mysql
#增加用户mysql,加入mysql用户组:
useradd -r -g mysql mysql
3.2安装MySQL
#安装server:
rpm -ivh MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm
#安装client:
rpm -ivh MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm
3.3添加随机启动
cp /usr/share/mysql/mysql.server /etc/init.d/mysqld
3.4启动MySQL
service mysqld start
3.5修改密码(单引号内为新密码)(网上方法很多,本人只有这一种尝试成功了,若有问题可以自行百度)
cat /root/.mysql_secret #此密码只能用来修改密码使用。
复制获取到的随机密码,在执行下面这行命令后,会要求输入密码,输入刚才获取的随机密码即可
mysqladmin -u root -p password 'root'
3.6连接测试
#连接进入mysql,命令如下:
mysql -uroot -proot
4.创建CDH用到的相关表
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
5.设置mysql数据库远程访问权限
grant all privileges on *.* to root@'%' identified by 'root' with grant option;
flush privileges;
2.安装scala(所有)
#解压文件
tar -zxvf scala-2.11.0.tgz -C /opt/
#进入对应目录
cd /opt
#重命名
mv scala-2.12.8/ scala
#配置环境变量
vi /etc/profile
#在文件中追加
export SCALA_HOME=/opt/scala/
export PATH=$PATH:$SCALA_HOME/bin
四、安装Cloudera-Manager
1.使用的内容
cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1
manifest.json
2.安装CM
- 解压文件(所有)
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager
- 创建cloudera-scm用户(所有)
#创建
useradd -r -d /opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm
#查看
id cloudera-scm
3.配置CM
- 配置主节点指向(所有节点)
#编辑文件
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
#需要修改的内容
server_host=cdh1
- 配置仓库目录(主节点)
#创建文件夹
mkdir -p /opt/cloudera/parcel-repo
#将文件改为指定的用户组拥有
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
#复制文件
cp CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo
#进入目录
cd /opt/cloudera/parcel-repo
#重命名
mv CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1 CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha
-
配置CDH从节点目录(所有)
#创建目录
mkdir -p /opt/cloudera/parcels
#更改文件所有权为指定用户
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
解释:Clouder-Manager将CDH从主节点的/opt/cloudera/parcel-repo目录中抽取出来,分发解压激活到各个节点的/opt/cloudera/parcels目录中。
- 初始化数据库(主节点)
/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -uroot -proot --scm-host localhost scm scm scm
五、启动服务
- 启动service服务(主节点)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start
- 启动agent服务(所有)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start