简单易懂：hadoop+hbase安装及环境配置本文已参加「新人创作礼」活动，一起开启掘金创作之路。 hadoop+hb

本文已参加「新人创作礼」活动，一起开启掘金创作之路。

安装Linux系统

有如下几种方式

安装虚拟机
安装双系统
使用服务器
docker容器

这里介绍一下虚拟机方式

预先下载 VMware 软件

Ubuntu20.04镜像文件

在安装完后：

下载一些必要的软件

vim或者其他编辑器软件
```
sudo apt install vim
```
apt 换源

安装 jdk

sudo apt-get  update
sudo apt install openjdk-8-jdk -y

ssh

su hadoop
ssh-keygen -t rsa 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
chmod 640 ~/.ssh/authorized_keys 
ssh localhost

安装Hadoop

Hadoop有三种安装方式

单机：下载就可以用了,用于测试mp等等..
伪分布：用一台机器模拟集群
分布式：顾名思义

下载Hadoop

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz 

#解压
tar -zxf hadoop-3.2.2.tar.gz -C /usr/local/

#重命名
mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop
# 添加权限,
chown -R 777 /usr/local/hadoop/

下载后会得到一个压缩文件

配置伪分布

配置路径

vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

# 退出后保存
#生效
source ~/.bashrc

修改配置信息

cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
vim hdfs.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
        </property>
        <property>
                <name>fs.defaultFS></name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>
<!--hdfs.xml -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

启动Hadoop

格式namenode 会生成一些基本的信息

cd /usr/local/hadoop/bin
hdfs namenode -format

启动Hadoop
```
cd /usr/local/hadoop/sbin
./start-dfs.sh
```
启动成功后应该看到如下的图

hbase安装

下载解压hbase

wget https://mirrors.cnnic.cn/apache/hbase/2.3.6/hbase-2.3.6-bin.tar.gz
tar -zxf hbase-2.3.6-bin.tar.gz -C /usr/local
mv /usr/local/hbase-2.3.6/ hbase

配置hbase

#在bashrc中添加bin的路径，也可以不加
export path=....<:/usr/local/hbase/bin>

# 修改权限,为了简单起见
chmod -R 777 /usr/local/hbase

配置hbase-env.sh.

cd /usr/local/hbase/conf
vim hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HBASE_MANAGES_ZK=false #这里和书上不同设置为false我们自己下载zookeeper进行守护

配置hbase-site.xml

  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value> //这里设置分布
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>./tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
          <name>hbase.rootdir</name>
          <value>hdfs://localhost:9000/hbase</value>
  </property>

下载zookeeper

wget https://mirrors.cnnic.cn/apache/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gz

tar -zxf apache-zookeeper-3.6.3-bin.tar.gz -C /usr/local

mv /usr/local/apache-zookeeper-3.6.3-bin.tar.gz/ /usr/local/zookeeper

配置zookeeper

cp zoo_sample.cfg zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181#默认端口,如果有冲突可以改,但是hbase也得修改

cd zookeeper/bin #目录下
./zkServer.sh start

全部启动后如下所示

注意点

上述描述了大致的操作过程，可以参考书也可以参考这篇文章，没有全部描述过程但是殊途同归，在安装的时候或多或少会出现一些错误需要注意

善于使用log查看错误

cat ../logs/hadoop-hadoop-namenode-VM-4-6-ubuntu.log

善于使用搜索引擎 Google=bing > 百度 有助于提高效率，同时，StackOverflow>csdn
需要虚拟机配置分配的稍微大一点，我的虚拟机配置内存6G，处理器2核。我在腾讯的1核内存2G的轻量服务器上配置，启动就几乎占满了空间。