这是我参与「第四届青训营」笔记创作活动的的第1天
本文章内容讲述最基本的环境配置需要注意的一些点,分别为虚拟机网络配置、配置ssh免密登录及jdk部署,都是进行大数据学习的基本前置步骤。
虚拟机网络配置
该配置为单网卡NAT模式
如果你的ifcfg-ens33没有分配ip,那你可以到该目录中进行修改
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=8f1fc7b9-c2f7-465f-b640-c5845c5e28d8
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.233.200
NETMASK=255.255.255.0
GATEWAY=192.168.233.2
DNS1=114.114.114.114
给一份已经解决问题的配置(该方法为固定ip)
如果动态ip的可以不IPADDR、NETMASK、GATEWAY、DNS1注释掉,BOOTPROTO修改为hdcp
无论动态ip还是静态ip,ONBOOT都要修改为yes
ssh-keygen -t rsa #一路回车
配置ssh免密登录
ssh-keygen -t rsa #一路回车
此时.ssh文件夹下有3个新文件
id_rsa # 私钥
id_rsa.pub # 公钥
authorized_keys #
cd ~
cd .ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys
jdk部署
以jdk8作为参考样例,Hadoop编译要求jdk版本在1.8
安装过程(本过程在root用户下进行,非root用户目录有轻微变动):
这里提前说明一下,我的linux根目录会设置几个默认文件夹
app # 用于存放hadoop、jdk、anaconda等工具组件应用
downloads # 用于存放下载的软件包
tmp # 用于处理许多临时文件,也作为一个临时的垃圾桶,定时会清理
data # 用于存放数据,包括实验数据集和实战数据
tar -zvxf jdk-8u331-linux-x64.tar.gz -C ~/app/
# 解压的包放置在app文件夹内,根据个人需要选择
把jdk配置在系统环境变量中:
vim ~/.bash_profile
root用户:
export JAVA_HOME=/root/app/jdk1.8.0_331
export PATH=$JAVA_HOME/bin:$PATH
非root用户(假设为pearfl):
export JAVA_HOME=/home/pearfl/app/jdk1.8.0_331
export PATH=$JAVA_HOME/bin:$PATH
之后source一下使其生效:
source .bash_profile
可以通过echo $JAVA_HOME检查是否生效 提示:此处=左右不可有空格