Hadoop和HBase的伪分布式配置及运行

290 阅读2分钟

1.Hadoop和HBase的版本对应问题

2.2.2版本的hbase需对应3.1.3版本的hadoop

HBase版本的查看

hbase的版本为2.2.2 image.png 其中/usr/local/hbase是我hbase文件夹的存放路径

Hadoop版本的查看

hadoop的版本为3.1.3

image.png 其中/usr/local/hadoop是我hadoop文件夹的存放路径

2.Hadoop伪分布式配置

编辑hadoop/etc/hadoop/core-site.xml文件

<configuration></configuration>中做如下修改并保存

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

编辑hadoop/etc/hadoop/hdfs-site.xml文件

<configuration></configuration>中做如下修改并保存

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>

查看hadoop/etc/hadoop/hadoop-env.sh文件中指定的hadoop运行时jdk的路径是否有误

image.png

查看~/.bashrc文件中的配置是否缺少

image.png 修改完~/.bashrc文件后记得用source命令使上述配置在当前终端立即生效

正确运行结果

如果上面的配置都没问题的话在hadoop目录下执行./sbin/start-dfs.sh则可正常启动伪分布式状态的hadoop。该命令执行完成后再执行jps命令能显示如下图结果则说明启动成功

image.png

3.HBase伪分布式配置

编辑/usr/local/hbase/conf/hbase-env.sh文件

添加这两行代码

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export HBASE_CLASSPATH=/usr/local/hbase/conf 
export HBASE_MANAGES_ZK=true

编辑/usr/local/hbase/conf/hbase-site.xml文件

<configuration></configuration>中做如下修改并保存

<property>
     <name>hbase.rootdir</name>
     <value>hdfs://localhost:9000/hbase</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
     <name>hbase.unsafe.stream.capability.enforce</name>
     <value>false</value>
</property>

接下来切换目录至/usr/local/hadoop ;再启动hadoop,如果已经启动hadoop请跳过此步骤。命令如下:

cd /usr/local/hadoop
./sbin/start-dfs.sh

切换目录至/usr/local/hbase;再启动HBase.命令如下:

cd /usr/local/hbase
bin/start-hbase.sh

启动成功,输入命令jps,看到以下界面说明hbase启动成功

image.png

最后切换目录至/usr/local/hbase;执行bin/hbase shell命令,即可进入到shell界面,对hbase数据库进行操作

image.png