大数据hive部署应用

222 阅读2分钟

「这是我参与2022首次更文挑战的第2天,活动详情查看:2022首次更文挑战」。

最近在学习大数据仓库,尝试部署了hive工具,这是基于hadoop的大数据存储、查询、提取的机制,能够应用于数据分析和展示。

1、部署环境要求

服务器上的jdk、mysql、hadoop已经安装完成。

hadoop的集群启动完成,hdfs必须启动状态。

2、下载hive

mirrors.tuna.tsinghua.edu.cn/apache/hive…  清华镜像,下载速度快

apache.org/dist/hive/  官网,下载速度慢

将安装包下载到以下路径:

/opt/software

解压安装包到/opt/module/路径下:

tar -xvzf apache-hive-2.3.2-bin.tar.gz -C /opt/module/

修改名称为hive:

mv apache-hive-1.2.2-bin/ hive

3、配置hive的环境变量

vi /etc/profile

添加内容:

export HIVE_HOME=/opt/module/hive

export PATH=$PATH:$HIVE_HOME/bin

保存profile

生效profile:

source /etc/profile

验证是否安装成功:

hive --version

4、修改hive的配置

进入/opt/module/hive/conf,复制出一个hive-env.sh文件

cp hive-env.sh.template hive-env.sh

修改hive-env.sh文件内容

vi hive-env.sh

添加下面这句:

export HADOOP_HOME=/opt/hadoop-2.10.1

export HIVE_CONF_DIR=/opt/module/hive/conf

新建一个hive-site.xml文件

touch hive-site.xml

vi hive-site.xml

添加mysql配置:

<configuration> <property> <!-- 元数据库的链接地址 mysql,以及默认的元数据库名称: hivedb --> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://172.16.xxx.xx:9002/hivedb?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> <!-- 如果 mysql 和 hive 在同一个服务器节点,那么请更改 hadoop02 为 localhost --> </property> <property> <!-- 指定mysql驱动 --> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <!-- 指定mysql用户名 --> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <!-- 指定mysql密码 请输入自己的MySQL连接密码 --> <name>javax.jdo.option.ConnectionPassword</name> <value>xxxxxx</value> <description>password to use against metastore database</description> </property> <property> <!-- 指向hdfs上的路径,不设置默认为 /user/hive/warehouse ,初次创建库后,会自动创建该目录--> <name>hive.metastore.warehouse.dir</name> <value>/hivedb</value> <description>hive default warehouse, if nessecory, change it</description> </property> </configuration>

5、安装mysql驱动

下载mysql的驱动包到/opt/software/mysql-libs/ 路径下,并解压完成。

将解压出来的 mysql-connector-java-5.1.27 目录下的mysql-connector-java-5.1.27-bin.jar 复制到 /opt/module/hive/lib路径下

6、初始化元数据库

schematool -dbType mysql -initSchema

会在数据库中创建 【hivedb】库,以及一系列表

7、shell启动并操作

hive的命令结尾必须要有分号 [ ; ] ,否则会报错。

s.png

hive> create database test_hive;

hive> desc database test_hive;

hive> show databases;

hive> use test_hive;

hive> create table dept( deptno int, dname string, loc string ) row format delimited fields terminated by '\t';

hive> show tables;

通过命令创建数据库和创建表,对照着看一下hadoop的hdfs 路径 /hivedb。

/hivedb 这个路径是在刚刚的hive-site.xml文件中配置的。

s2.png

在看下服务器上的数据库中的 “元数据”库中的数据。

s3.png 在DBS表中新增了一条数据,NAME为 test_hive。

以上就是全部的hive安装秘籍啦,开始大数据之旅吧。