Centos7 搭建CDH5.7.2(一)

356 阅读2分钟

​本文已参与「新人创作礼」活动,一起开启掘金创作之路。

 一、准备工作:

1.虚拟机配置:

主节点:8G内存,硬盘100G

从节点:4G内存,硬盘100G,

从节点最低两个 总结点数必须为奇数(zookeeper选举机制)

2.需要的安装包:

  1. JDK1.8
  2. Scale
  3. Mysql安装包,jar包
  4. CDH相关安装包

3.下载地址

  • 网盘地址

百度网盘 请输入提取码

  • 提取码

egzq

二、虚拟机基础配置:

1.配置固定IP(所有)

虚拟机网络配置为NAT模式

  • 方法一:

进入/etc/sysconfig/network-scripts/ 目录,编辑ifcfg-ens33文件,修改内容如下(图为网络图片,个人未才用该方式)

service network restart

其中GATEWAY和DNS1需要和虚拟机中的网关相同查看方式如下

  • 方法二(需要系统安装了桌面):

进入虚拟机(本人使用root用户),点击应用程序-系统设置-网络-有线-右下角齿轮标签-ipv4 详细配置如图,地址需要与网关在同网段内

 手动关闭网络再重新开启 查看是否更改IP成功

2.修改hostname(所有)

vi /etc/sysconfig/network

配置内容如下 每台机器的hostname需要不同

NETWORKING=yes
HOSTNAME=cdh1

3.修改hosts 内容为:IP 主机名(所有)

vi /etc/hosts

192.168.200.131 cdh1
192.168.200.132 cdh2
192.168.200.133 cdh3

4.关闭防火墙(所有)

systemctl stop firewalld   #关闭关闭

systemctl disable firewalld #禁用防火墙

5.禁用selinux(所有)

vi /etc/sysconfig/selinux

修改:SELINUX=disabled

6.NTP服务器设置(可选,节点较少,节点时间偏差不大(5分钟内)可不配置)(所有)

yum -y install ntp

1.在主节点cdh01执行
vi /etc/ntp.conf
2.注释掉所有server *.*.*的指向,新添加一条可连接的ntp服务器
server ntp.sjtu.edu.cn iburst
3.在两个从节点执行
vi /etc/ntp.conf
注释掉所有server *.*.*的指向,新添下面一条把ntp指向master服务器地址(/etc/ntp.conf下)
server cdh01 iburst
4.所有节点启动服务
service ntpd start
5.查看ntp服务状态
ntpq –p


注:在服务器配置时可以选择同一时区并开启自动日期和时间来代替以上操作

7.配置免密登录(所有,以下步骤包含三个节点的所有操作)

ssh-keygen -t rsa #生成密钥
cd /root/.ssh/
cat id_rsa.pub>>authorized_keys #将密钥写入authorized_keys,该操作在master上执行
scp - r authorized_keys node1: /root/.ssh/ #将 authorized_keys传递到node1节点上,该操作在master上执行
cat id_rsa.pub>>authorized_keys  # 在node1 /root/.ssh/路径上执行
scp - r authorized_keys node2: /root/.ssh/ # 在node1 /root/.ssh/路径上执行
cat id_rsa.pub>>authorized_keys  # 在node2 /root/.ssh/路径上执行
scp - r authorized_keys node1: /root/.ssh/  # 在node2 /root/.ssh/路径上执行
scp - r authorized_keys master: /root/.ssh/  # 在node2 /root/.ssh/路径上执行
注:该部分操作时为了让authorized_keys 内能记录所有的节点的id,最后将保存了所有节点id的文件发送给到所有节点上

8.添加其他依赖(所有)


yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi

9.准备mysql连接jar包(主节点)

1.在cdh01上准备mysql的jar包:
mkdir -p /usr/share/java
2.修改jar包的名字,并拷贝到/usr/share/java/目录:
cp mysql-connector-java-5.1.38-bin.jar /usr/share/java/mysql-connector-java.jar

10.安装jdk(所有)

1.卸载jdk
安装之前首先检查一下,你的服务器是否默认安装了OpenJDK,如果系统自带了,就需要卸载,步骤如下:

#检查是否安装
[root@cdh01~]java -version
java version "1.7.0_75"
OpenJDK Runtime Environment     (rhel-2.5.4.2.el7_0-x86_64 u75-b13)
OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
#查看需要卸载的包
[root@cdh01~]rpm -qa | grep jdk
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
#卸载
[root@cdh01~]yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@cdh01~]yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
#再次检查
[root@cdh01~]java -version
bash: /usr/bin/java: No such file or directory
如果没有安装,则可以跳过此步骤。
2.安装jdk

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/jdk

vi /etc/profile


#在文件中追加
export JAVA_HOME=/opt/jdk/
export PATH=$PATH:$JAVA_HOME/bin

#保存退出之后,这里还需要设置一个软连接:
mkdir /usr/java
ln -s /opt/jdk /usr/java/default
注:CDH平台安装的时候默认寻找的jdk路径为/usr/java。