全网最详细的Hive文章系列，强烈建议收藏加关注！
后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。
目录
1、获取当前UNIX时间戳函数:unix_timestamp
4、指定格式日期转UNIX时间戳函数:unix_timestamp
系列历史文章
2021年大数据Hive（十二）：Hive综合案例！！！
2021年大数据Hive（十一）：Hive调优
2021年大数据Hive（九）：Hive的数据压缩
2021年大数据Hive（五）：Hive的内置函数（数学、字符串、日期、条件、转换、行转列）
2021年大数据Hive（三）：手把手教你如何吃透Hive数据库和表操作（学会秒变数仓大佬）
2021年大数据Hive（二）：Hive的三种安装模式和MySQL搭配使用
前言
2021大数据领域优质创作 博客，带你从入门到精通，该博客每天更新，逐渐完善大数据各个知识体系的文章，帮助大家更高效学习。
有对大数据感兴趣的可以关注微信公众号：三帮大数据
Hive函数
Hive的函数分为三类： 聚合函数、内置函数，表生成函数，聚合函数之前已经学习过了，接下来学习内置函数和表生成函数.
Hive的内置函数
一、数学函数
1、 取整函数: round
语法: round(double a)
返回值: BIGINT
说明:返回double类型的整数值部分（遵循四舍五入）
举例：
hive **> ** select round **( **3 **. **1415926 );
3
2、指定精度取整函数: round
语法: round(double a, int d)
返回值: DOUBLE
说明:返回指定精度d的double类型
举例：
hive **> ** select round **( **3 **. **1415926 **, **4 );
3 **. **1416
3、向下取整函数: floor
语法: floor(double a)
返回值: BIGINT
说明:返回等于或者小于该double变量的最大的整数
举例：
hive **> ** select floor **( **3 **. **1415926 );
3
4、向上取整函数: ceil
语法: ceil(double a)
返回值: BIGINT
说明:返回等于或者大于该double变量的最小的整数
举例：
hive **> ** select ceil **( **3 **. **1415926 ) ** ** ;
4
5、取随机数函数: rand
语法: rand(),rand(int seed)
返回值: double
说明:返回一个0到1范围内的随机数。如果指定种子seed，则会返回固定的随机数
举例：
hive **> ** select rand ();
0 **. **5577432776034763
hive **> ** select rand ();
0 **. **6638336467363424
hive **> ** select rand **( **100 );
0 **. **7220096548596434
hive **> ** select rand **( **100 );
0 **. **7220096548596434
6、幂运算函数: pow
语法: pow(double a, double p)
返回值: double
说明:返回a的p次幂
举例：
hive **> ** select pow **( **2 **, **4 ) ** ** ;
16 **. **0
7、绝对值函数: abs
语法: abs(double a) abs(int a)
返回值: double int
说明:返回数值a的绝对值
举例：
hive **> ** select abs ****(-****3 **. **9 );
3 **. **9
hive **> ** select abs **( **10 **. **9 );
10 **. **9
二、字符串函数
1、字符串长度函数：length
语法: length(string A)
返回值: int
说明：返回字符串A的长度
举例：
hive **> ** select length **( **'abcedfg' );
7
2、字符串反转函数：reverse
语法: reverse(string A)
返回值: string
说明：返回字符串A的反转结果
举例：
hive **> ** select reverse("abcedfg");
gfdecba
3、字符串连接函数：concat
语法: concat(string A, string B…)
返回值: string
说明：返回输入字符串连接后的结果，支持任意个输入字符串
举例：
hive **> ** select concat('hello','world');
helloworld
4、字符串连接函数-带分隔符：concat_ws
语法: concat_ws(string SEP, string A, string B…)
返回值: string
说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符
举例：
hive **> ** select concat_ws **( **',' **, **'abc' **, **'def' **, **'gh' );
abc **, **def **, **gh
5、字符串截取函数：substr,substring
语法: substr(string A, int start),substring(string A, int start)
返回值: string
说明：返回字符串A从start位置到结尾的字符串
举例：
hive> select substr('abcde',3);
cde
hive> select substring('abcde',3);
cde
hive>select substr('abcde',-1);
e
6、字符串截取函数：substr,substring
语法: substr(string A, int start, int len),substring(string A, intstart, int len)
返回值: string
说明：返回字符串A从start位置开始，长度为len的字符串
举例：
hive **> ** select substr **( **'abcde' **, **3 **, **2 );
cd
hive **> ** select substring **( **'abcde' **, **3 **, **2 );
cd
hive **> **select substring **( **'abcde' **, **-2 **, **2 );
de
7、 字符串转大写函数：lower,ucase
语法: lower(string A) ucase(string A)
返回值: string
说明：返回字符串A的大写格式
举例：
hive **> ** select lower **( **'abSEd' );
ABSED
hive **> ** select ucase **( **'abSEd' );
ABSED
8、字符串转小写函数：lower,lcase
语法: lower(string A) lcase(string A)
返回值: string
说明：返回字符串A的小写格式
举例：
hive **> ** select lower **( **'abSEd' );
absed
hive **> ** select lcase **( **'abSEd' );
absed
9、去空格函数：trim
语法: trim(string A)
返回值: string
说明:去除字符串两边的空格
举例：
hive **> ** select trim **( **' abc ' );
abc
10、 左边去空格函数：ltrim
语法: ltrim(string A)
返回值: string
说明：去除字符串左边的空格
举例：
hive **> ** select ltrim **( **' abc ' );
abc
11、右边去空格函数：rtrim
语法: rtrim(string A)
返回值: string
说明：去除字符串右边的空格
举例：
hive **> ** select rtrim **( **' abc ' );
abc
12、正则表达式替换函数：regexp_replace
语法: regexp_replace(string A, string B, string C)
返回值: string
说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。
举例：
hive **> ** select regexp_replace **( **'foobar' **, ** 'oo|ar' **, ** '' );
fb
13、URL解析函数：parse_url
语法: parse_url(string urlString, string partToExtract [, stringkeyToExtract])
返回值: string
说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
举例：
hive **> ** select parse_url **( **'facebook.com/path1/p.php…' **, ** 'HOST' );
facebook **. **com
hive **> ** select parse_url **( **'facebook.com/path1/p.php…' **, ** 'PATH' );
**/ **path1 **/ **p **. **php
hive **> ** select parse_url **( **'facebook.com/path1/p.php…' **, ** 'QUERY' **, **'k1' );
v1
14、分割字符串函数: split
语法: split(string str, stringpat)
返回值: array
说明:按照pat字符串分割str，会返回分割后的字符串数组
举例：
hive **> ** select split **( **'abtcdtef' **, **'t' );
**[ **"ab" **, **"cd" **, **"ef" ]
三、日期函数
1、获取当前UNIX时间戳函数:unix_timestamp
语法: unix_timestamp()
返回值: bigint
说明:获得当前时区的UNIX时间戳
举例：
hive **> ** select unix_timestamp ();
1323309615
2、UNIX时间戳转日期函数:from_unixtime
语法: from_unixtime(bigint unixtime[, string format])
返回值: string
说明:转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式
举例：
hive **> **select from_unixtime **( **1598079966 **, **'yyyy-MM-dd HH:mm:ss' );
2020-08-22 15:06:06
3、日期转UNIX时间戳函数:unix_timestamp
语法: unix_timestamp(string date)
返回值: bigint
说明:转换格式为"yyyy-MM-ddHH:mm:ss"的日期到UNIX时间戳。如果转化失败，则返回0。
举例：
hive **> ** select unix_timestamp **( **'2011-12-07 13:01:03' **) **;
1323234063
4、指定格式日期转UNIX时间戳函数:unix_timestamp
语法: unix_timestamp(string date, string pattern)
返回值: bigint
说明:转换pattern格式的日期到UNIX时间戳。如果转化失败，则返回0。
举例：
hive **> ** select unix_timestamp **( **'20111207 13:01:03' **, **'yyyyMMddHH:mm:ss' **) **;
1323234063
5、日期时间转日期函数:to_date
语法: to_date(string timestamp)
返回值: string
说明:返回日期时间字段中的日期部分。
举例：
hive **> ** select to_date **( **'2011-12-08 10:03:01' );
2011****-12-****08
6、日期转年函数: year
语法: year(string date)
返回值: int
说明:返回日期中的年。
举例：
hive **> ** select year **( **'2011-12-08 10:03:01' );
2011
hive **> ** select year **( **'2012-12-08' );
2012
7、日期转月函数: month
语法: month (string date)
返回值: int
说明:返回日期中的月份。
举例：
hive **> ** select month **( **'2011-12-08 10:03:01' );
12
hive **> ** select month **( **'2011-08-08' );
8
8、日期转天函数: day
语法: day (string date)
返回值: int
说明:返回日期中的天。
举例：
hive **> ** select day **( **'2011-12-08 10:03:01' );
8
hive **> ** select day **( **'2011-12-24' );
24
同样的，还有 hour,minute,second函数，分别是获取小时，分钟和秒，使用方式和以上类似，这里就不再讲述。
9、日期转周函数:weekofyear
语法: weekofyear (string date)
返回值: int
说明:返回日期在当前的周数。
举例：
hive **> ** select weekofyear **( **'2011-12-08 10:03:01' );
49
10、日期比较函数: datediff
语法: datediff(string enddate, string startdate)
返回值: int
说明:返回结束日期减去开始日期的天数。
举例：
hive **> ** select datediff **( **'2012-12-08' **, **'2012-05-09' );
213
11、日期增加函数: date_add
语法: date_add(string startdate, int days)
返回值: string
说明:返回开始日期startdate增加days天后的日期。
举例：
hive **> ** select date_add **( **'2012-12-08' **, **10 );
2012****-12-****18
12、日期减少函数: date_sub
语法: date_sub (string startdate, int days)
返回值: string
说明:返回开始日期startdate减少days天后的日期。
举例：
hive **> ** select date_sub **( **'2012-12-08' **, **10 );
2012****-11-****28
13、date_format 函数
0: jdbc:hive2://node3:10000> select date_format('2019-1-1', 'yyyy-MM-dd');
+-------------+--+
| _c0 |
+-------------+--+
| 2019-01-01 |
+-------------+--+
四、条件函数
1、if函数: if
语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)
返回值: T
说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull
举例：
hive **> ** select if ( 1=****2 **, **100 **, **200 ) ** ** ;
200
hive **> ** select if ( 1=****1 **, **100 **, **200 ) ** ** ;
100
2、条件判断函数：CASE
语法: CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END
返回值: T
说明：如果a等于b，那么返回c；如果a等于d，那么返回e；否则返回f
举例：
hive **> ** select case 100 when 50 then 'tom' when 100 then 'mary'else 'tim' end ;
mary
hive **> ** select case 200 when 50 then 'tom' when 100 then 'mary'else 'tim' end ;
tim
3、条件判断函数：CASE
语法: CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END
返回值: T
说明：如果a为TRUE,则返回b；如果c为TRUE，则返回d；否则返回e
举例：
hive > ** select case when 1**=2 then 'tom' when 2=****2 then 'mary' else'tim' end ;
mary
hive > ** select case when 1**=1 then 'tom' when 2=****2 then 'mary' else'tim' end ;
tom
select sid **, **case when sscore ****>=****60 then '及格' when sscore **< **60 then '不及格' else '其他' end from score
五、转换函数
类似于java中的强转转换函数
公式：cast(表达式 as 数据类型)
cast函数，可以将"20190607"这样类型的时间数据转化成int类型数据。
select cast **( **12.35 as int );
select cast **( **'20190607' as int )
select cast **( **'2020-12-05' as date );
六、Hive的行转列
1、介绍
1）行转列是指多行数据转换为一个列的字段。
2）Hive行转列用到的函数：
concat(str1,str2,...) --字段或字符串拼接
concat_ws(sep, str1,str2) --以分隔符拼接每个字符串
collect_set(col) --将某字段的值进行去重汇总，产生array类型字段
2、测试数据
字段: deptno ename
20 SMITH
30 ALLEN
30 WARD
20 JONES
30 MARTIN
30 BLAKE
10 CLARK
20 SCOTT
10 KING
30 TURNER
20 ADAMS
30 JAMES
20 FORD
10 MILLER
3、操作步骤
1）建表
create table emp(
deptno int,
ename string
) row format delimited fields terminated by '\t';
2）插入数据
load data local inpath "/export/data/hivedatas/emp.txt" into table emp;
3）转换
select deptno,concat_ws("|",collect_set(ename)) as ems from emp group by deptno;
行转列，COLLECT_SET **( **col **) **：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。
4）结果查看
- 📢博客主页：lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
- 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
- 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨
