hadoop伪分布式配置的全部流程!!!

367 阅读6分钟

这是我参与8月更文挑战的第18天,活动详情查看:8月更文挑战

准备工作

1,准备虚拟机,我准备的centOS 6.5 (可能有点老)!!

2,所需 软件 Oracle VM VirtualBox ,FZ ,Xshell

**3,环境,我搞得 jdk 1.7 /hadoop 2.6.5 **

配置ssh免密

修改vm 网络配置

在这里插入图片描述

查看linux IP地址

在这里插入图片描述

修改ip地址

1,命令 : sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0 这是6.5的命令!!

生效ip 重启虚拟机

2,修改/etc/hosts 文件 root 权限执行 “ **vi/etc/hosts ** 在末尾加上 # 填写的ip地址与主机名

设置ssh免密登陆

1,启动ssh服务 命令:service sshh start 在这里插入图片描述

检查ssh是否已经安装成功!!

在这里插入图片描述

出现以上信息表示ssh正常启动

** 生成ssh 公钥**

命令 :ssh-keygen -t rsa 在这里插入图片描述 在这里插入图片描述

拷贝密钥到本机的authorized_keys列表

在这里插入图片描述

关闭防火墙

临时关闭 在这里插入图片描述 永久关闭 在这里插入图片描述 xshell连接测试 在这里插入图片描述

无需输入密码表示成功!!

jdk + hadoop 环境安装

所需资料

在这里插入图片描述

我的比较老版本的 ,可以在官网下载新的哈!!!

上传用的工具

在这里插入图片描述 在这里插入图片描述

~~

这两个都可以啊,软件不会用我也救不了了。

~~

设置linux目录结构

在这里插入图片描述 software目录 :放置软件安装包 app目录:所有的软件安装目录 data目录:存放数据 lib目录:存放任务的jar包 shell目录:存放任务的shell脚本 maven-resp目录:存放需要用到的依赖包

拷贝资源到software目录下

用上传工具即可 !!

查看

在这里插入图片描述

配置jdk

查看当前系统的jdk,如果出现openjdk则需要删除!!!

查看命令:rpm -qa | grep jdk 在这里插入图片描述 删除命令: rpm -e --nodeps ...... 在这里插入图片描述

把上传好的解压到app目录下

命令: tar -zxvf jdk-8u201-liunx-x64.tar.gz - C ~/app/

配置环境变量

sudo vi /etc/porfile

注:在最下面修改 按住大写G直接就到了最下面了!!!!

在这里插入图片描述

生效配置文件

命令:source /etc/profile

检查安装成功没!!

命令:java -version 在这里插入图片描述

配置Hadoop

解压

命令 :tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/ 在这里插入图片描述

配置hadoop-env.sh

位置在 cd/etc/hadoop

在末尾加环境变量,java跟hadoop的

在这里插入图片描述

在这里插入图片描述

配置core-site.xml

在这里插入图片描述

修改hdfs-site.xml

在这里插入图片描述

修改slaves文件

在这里插入图片描述

修改配置文件,把HADOOP_HOME追加上去

命令:sudo vi /etc/porfile 在这里插入图片描述

文件生效

source /etc/profile

格式化hadoop

1,进入bin目录在执行命令hadoop namenode-format

不可重复执行

在这里插入图片描述

出现这个为成功!!

启动hadoop

进入sbin目录下执行命令 start-dfs.sh 在这里插入图片描述 检查hadoop 在这里插入图片描述 如果出现以上四个进程表示成功!!!

可以通过在虚拟机浏览器中输入 http://master:50070 或者在windows系统输入 http:虚拟机的ip地址:50070 在这里插入图片描述

配置Yarn

修改yarn-site.xml

在这里插入图片描述

修改mapred-site.xml

在这里插入图片描述

启动yarn查看进程

在这里插入图片描述

安装Mysql ,hive使用会用到mysql所以要安装哈!!

hive在使用的时候会用到mysql数据库的支持,所以在安装hive前必须先安装mysql数据库,由于在安装mysql数据库的时候会使用到yum,所以需要把网络打开,确保可连接互联网

  • 1,安装mysql服务

在这里插入图片描述

**启动&&停止服务

** **1,在mysql配置文件/etc/my.cnf中加入default-character-set=utf8 vim /etc/my.cnf ** 在这里插入图片描述 **2,设置开机自启动 chkconfig mysqld on chkconfig --list mysqld ** 在这里插入图片描述

**3,启动mysql service mysqld start **

4,登陆mysql root用户登陆 mysqladmin -u root password 123456 mysql -u root -p

5,忘记密码 sudo service mysqld stop mysqld_safe --user=root --skip-grant-tables mysql -u root use mysql update user set password=pasword("new_pass") where user="root"; flush privileges;

6,bug处理 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) 密码错误 密码正确还是无法登陆 停止mysql服务器 service mysqld stop 使用mysqld_safe命令在启动mysql,更新root账号的密码 mysqld_safe --user=mysql --skip-grant-tables --skip-networking &: 注:--skip-grant-tables:不启动grant-tables(授权表),跳过权限控制。 --skip-networking :跳过TCP/IP协议,只在本机访问(从网上有些资料看,这个选项不是必须的。可以不用) 执行上面命令后,此会话窗口会出现无反应的状态,需要使用CTRL+C中断会话

7,设置密码 mysql -u root mysql mysql> update user set password=PASSWORD('12345') -> where user='root' and host='root' or host='localhost'; flush privileges

启动mysql服务 命令:service mysqld start 注意:如果启动报错,请重启mysql的服务 sudo service mysqld restart

在这里插入图片描述

安装hive

在安装完mysql以后就可以进行hive的安装

下载hive的压缩包,官网有哈!!!! 在这里插入图片描述

解压hive的压缩文件

tar -zxvf ~/app/hive-1.10-cdh5.7.0.tar.gz

修改hive-site.xml文件

hive解压文件的conf目录中使用hadoop01用户创建文件hive-site.xml cp hive-site.xml.tmplate hive-site.xml

加入下面的配置文件

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
    	<name>javax.jdo.option.ConnectionURL</name>
      	<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>本机用户名</value>
    </property>
<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>本机密码</value>
    </property>
</configuration>

修改hive-env.sh文件 在这里插入图片描述 追加mysql的jdbc驱动jar包!! 在hive 解压的目录下的lib 文件夹下添加mysql的驱动包,注意可以用上传工具哦!!!

在这里插入图片描述 配置环境变量!!

在/etc/profile文件末尾最佳hive的环境变量 在这里插入图片描述

验证安装成功没!!!

启动Hadoop和MySQL,然后执行 hive 进入Hive命令行,执行命令,创建一个名为test的表,并查询该表的记录数 create table test(id int); select count(*) from test;

观察结果,出现下面为成功!!!

在这里插入图片描述

配置zookeeper

下载 archive-primary.cloudera.com/cdh5/cdh/5/ 在这里插入图片描述

解压

tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 复制Zookeeper的zoo_sample.cfg配置文件 进入 zookeeper 的 conf 目录下,找到 zoo_sample.cfg 文件。首先将 zoo_sample.cfg 文件备份,并重命名为 zoo.cfg

在这里插入图片描述 查看/修改zoo.cfg文件 在这里插入图片描述 注意

dataDir 默认是 /tmp/zookeeper,由于 /tmp 是 Ubuntu 的 临时目录,这个路径下的数据不能长久保存,因此需要指定到别的目录。 启动 Zookeeper 进入bin目录,执行sudo ./zkServer.sh start 在这里插入图片描述

使用 status 参数来查看 zookeeper 的状态 在这里插入图片描述 HBase在使用Zookeeper的时候可以有两种方式1、使用本身自带的Zookeeper进行管理2、使用外部的Zookeeper的集群进行管理,在生产环境中一般使用后一种,上面的配置的是只有一个节点的伪分布Zookeeper配置。

Hease安装

下载hbase archive-primary.cloudera.com/cdh5/cdh/5/ 在这里插入图片描述 上传解压

tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz 配置环境变量 sudo vi /etc/profile 在这里插入图片描述 使环境变量生效 source /etc/profile 修改hbase-env.sh

在这里插入图片描述 sudo vi hbase-env.sh 修改hbase-env.sh文件,添加如下配置: export JAVA_HOME=/home/hadoop01/app/jdk1.7.0_79 在这里插入图片描述 export HBASE_CLASSPATH=/home/hadoop01/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop 在这里插入图片描述 export HBASE_MANAGES_ZK=false 在这里插入图片描述

  • hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例。如果你是使用hbase自带的zk就是true,如果使用外部的zk就是false

😂 修改regionservers文件 在这里插入图片描述 如果是完全分布式模式,则regionservers为: slave1 slave2 ….. 如果是伪分布模式,则regionservers为: master 我们试伪分布式所以用下面的啊!!

修改hbase-site.xml

sudo vi hbase-site.xml

在这里插入图片描述 hbase.rootdir hdfs://master:8020/hbase 此参数指定了HRegion服务器的位置,即数据存放位置 hbase.cluster.distributed true hbase.master master:60000 hbase.zookeeper.quorum master

在这里插入图片描述 拷贝zookeeper conf/zoo.cfg到hbase的conf/下 在这里插入图片描述 赋予脚本执行权力 chmod +x ~/app/hbase-1.2.0-cdh5.7.0/bin/start-hbase.sh 启动Hbase 在bin目录下执行 :./start-hbase.sh 在这里插入图片描述

验证 在这里插入图片描述 进入HBase命令行 hbase shell

在这里插入图片描述 执行 hbase(main):001:0>create ‘testtable’,’colfam1’ 如果没有报错即安装成功

总结

  • 1,环境和软件需求
  • 2,ssh免密服务配置
  • 3,jdk+hadoop 环境安装
  • 4,mysql+hive 安装
  • 5,zookeeper+hbase安装