大数据开发之Hadoop前置准备

视频教程：mp.weixin.qq.com/s/sTcyhn5hC…

自行准备：XShell或Putty、VMware、CentOS7虚拟机、Linux基础

1.创建自定义用户

以root用户身份先创建组和用户

[root@xk1181259634]# groupadd [-g 1124] hadoopenv

cat /etc/group

[root@xk1181259634]# useradd -m [-u 1124] -g hadoopenv xiaokang

cat /etc/passwd

让刚创建的普通用户xiaokang拥有超级管理员权限

ll /etc/sudoers(该文件默认权限440)

修改该文件权限并进行内容的修改

[root@xk1181259634]# chomd 640 /etc/sudoers

ll /etc/sudoers

[root@xk1181259634]# vim /etc/sudoers

xiaokang ALL=(ALL) NOPASSWD:ALL

最后将该文件权限改回默认

[root@xk1181259634]# chomd 440 /etc/sudoers

设置登录密码并切换至刚才创建的用户xiaokang，以下所有操作都要以xiaokang用户的身份运行

[root@hadoop01 ~]# passwd xiaokang
[root@hadoop01 ~]# su xiaokang

2.设置虚拟机固定IP

未固定IP时如下图所示：

修改该配置文件如下：

#修改
BOOTPROTO=static
ONBOOT=yes
#添加
DNS1=114.114.114.114
#根据自己的网段进行配置
IPADDR=192.168.239.188
NETMASK=255.255.255.0 或 PREFIX=24
GATEWAY=192.168.239.2

#重启网络服务生效
[xiaokang@xiaokang ~]# sudo systemctl restart network
[xiaokang@xiaokang ~]# ifconfig | grep inet
或者
[xiaokang@xiaokang ~]# ip add | grep inet
	inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
    inet 192.168.239.188/24 brd 192.168.239.255 scope global noprefixroute ens33
    inet6 fe80::7ec3:a08c:b2c5:c3fc/64 scope link noprefixroute

3.修改主机名

查看主机名：hostname

设置新的主机名：

sudo hostname 新主机名

[xiaokang@xiaokang ~]$ sudo vim /etc/sysconfig/network

在文件尾部追加以下内容：

NETWORKING=yes
HOSTNAME=新主机名

[xiaokang@hadoop ~]$ sudo vim /etc/hostname

删除原来的内容，修改成自己想要设置的新主机名即可

4.配置映射

这里的映射就和Windows下的原理一样(C:\Windows\System32\drivers\etc\hosts)

[xiaokang@hadoop ~]$ sudo vim /etc/hosts

在文件尾部追加以下内容：

192.168.239.188 hadoop

5.关闭防火墙

查看防火墙状态：service firewalld status

关闭防火墙：sudo systemctl stop firewalld

关闭防火墙开机自启：sudo systemctl disable firewalld.service

6.配置SSH（自己免密登录自己）

未配置ssh之前，自己登陆自己需要输入密码进行验证

检查是否已经安装了ssh

[xiaokang@hadoop ~]$ rpm -qa | grep ssh

没有安装的话执行以下命令：

[xiaokang@hadoop ~]$ sudo yum -y install ssh

查看ssh服务状态：service sshd status

ssh-keygen是SSH服务下的一个生成、管理和转换认证密钥的命令工具。包括两种密钥类型DSA和RSA
通过公私钥的验证可以使服务器与服务器之间实现无密码通讯。
ssh-keygen常用参数
-t：指定生成密钥的类型，默认使用SSH2d的rsa
-f：指定生成密钥的文件名，默认id_rsa（私钥id_rsa，公钥id_rsa.pub）
-P：提供旧密码，空表示不需要密码（-P ‘’）
-N：提供新密码，空表示不需要密码(-N ‘’)
-b：指定密钥长度（bits），RSA最小要求768位，默认是2048位；DSA密钥必须是1024位（FIPS 1862标准规定）
-C：提供一个新注释
-R hostname：从known_hosta（第一次连接时就会在家目录.ssh目录下生产该密钥文件）文件中删除所有属于hostname的密钥

生成公钥和私钥：

[xiaokang@hadoop ~]$ ssh-keygen -t rsa -C "xiaokang.188@qq.com"

将公钥复制到自己家目录下的.ssh/authorized_keys文件内：

[xiaokang@hadoop ~]$ ssh-copy-id hadoop

测试是否能免密登录：

[xiaokang@hadoop ~]$ ssh hadoop

7.修改指定文件夹权限

[xiaokang@hadoop ~]$ sudo chown -R xiaokang:hadoopenv /opt/moudle
[xiaokang@hadoop ~]$ sudo chown -R xiaokang:hadoopenv /opt/software