「这是我参与2022首次更文挑战的第2天,活动详情查看:2022首次更文挑战」。
最近在学习大数据仓库,尝试部署了hive工具,这是基于hadoop的大数据存储、查询、提取的机制,能够应用于数据分析和展示。
1、部署环境要求
服务器上的jdk、mysql、hadoop已经安装完成。
hadoop的集群启动完成,hdfs必须启动状态。
2、下载hive
mirrors.tuna.tsinghua.edu.cn/apache/hive… 清华镜像,下载速度快
apache.org/dist/hive/ 官网,下载速度慢
将安装包下载到以下路径:
/opt/software
解压安装包到/opt/module/路径下:
tar -xvzf apache-hive-2.3.2-bin.tar.gz -C /opt/module/
修改名称为hive:
mv apache-hive-1.2.2-bin/ hive
3、配置hive的环境变量
vi /etc/profile
添加内容:
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin
保存profile
生效profile:
source /etc/profile
验证是否安装成功:
hive --version
4、修改hive的配置
进入/opt/module/hive/conf,复制出一个hive-env.sh文件
cp hive-env.sh.template hive-env.sh
修改hive-env.sh文件内容
vi hive-env.sh
添加下面这句:
export HADOOP_HOME=/opt/hadoop-2.10.1
export HIVE_CONF_DIR=/opt/module/hive/conf
新建一个hive-site.xml文件
touch hive-site.xml
vi hive-site.xml
添加mysql配置:
<configuration> <property> <!-- 元数据库的链接地址 mysql,以及默认的元数据库名称: hivedb --> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://172.16.xxx.xx:9002/hivedb?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> <!-- 如果 mysql 和 hive 在同一个服务器节点,那么请更改 hadoop02 为 localhost --> </property> <property> <!-- 指定mysql驱动 --> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <!-- 指定mysql用户名 --> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <!-- 指定mysql密码 请输入自己的MySQL连接密码 --> <name>javax.jdo.option.ConnectionPassword</name> <value>xxxxxx</value> <description>password to use against metastore database</description> </property> <property> <!-- 指向hdfs上的路径,不设置默认为 /user/hive/warehouse ,初次创建库后,会自动创建该目录--> <name>hive.metastore.warehouse.dir</name> <value>/hivedb</value> <description>hive default warehouse, if nessecory, change it</description> </property> </configuration>
5、安装mysql驱动
下载mysql的驱动包到/opt/software/mysql-libs/ 路径下,并解压完成。
将解压出来的 mysql-connector-java-5.1.27 目录下的mysql-connector-java-5.1.27-bin.jar 复制到 /opt/module/hive/lib路径下
6、初始化元数据库
schematool -dbType mysql -initSchema
会在数据库中创建 【hivedb】库,以及一系列表
7、shell启动并操作
hive的命令结尾必须要有分号 [ ; ] ,否则会报错。
hive> create database test_hive;
hive> desc database test_hive;
hive> show databases;
hive> use test_hive;
hive> create table dept( deptno int, dname string, loc string ) row format delimited fields terminated by '\t';
hive> show tables;
通过命令创建数据库和创建表,对照着看一下hadoop的hdfs 路径 /hivedb。
/hivedb 这个路径是在刚刚的hive-site.xml文件中配置的。
在看下服务器上的数据库中的 “元数据”库中的数据。
在DBS表中新增了一条数据,NAME为 test_hive。
以上就是全部的hive安装秘籍啦,开始大数据之旅吧。