内置函数

内容较多，见《Hive官方文档》 cwiki.apache.org/confluence/…

1）查看系统自带的函数

hive> show functions;

2）显示自带的函数的用法

hive> desc function upper;

3）详细显示自带的函数的用法

hive> desc function extended upper;

Hive自定义函数

1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3）根据用户自定义函数类别分为以下三种：（1）UDF（User-Defined-Function）一进一出（2）UDAF（User-Defined Aggregation Function）聚集函数，多进一出类似于：count/max/min （3）UDTF（User-Defined Table-Generating Functions）一进多出如lateral view explore() 4）官方文档地址 cwiki.apache.org/confluence/… 5）编程步骤：（1）继承org.apache.hadoop.hive.ql.UDF （2）需要实现evaluate函数；evaluate函数支持重载； 6）注意事项（1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void；（2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

UDF开发实例

第一步：创建maven java 工程，导入jar包

<repositories>
    <repository>
        <id>cloudera</id>
 <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.1.0-cdh5.14.0</version>
    </dependency>
</dependencies>
<build>
<plugins>
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.0</version>
        <configuration>
            <source>1.8</source>
            <target>1.8</target>
            <encoding>UTF-8</encoding>
        </configuration>
    </plugin>
     <plugin>
         <groupId>org.apache.maven.plugins</groupId>
         <artifactId>maven-shade-plugin</artifactId>
         <version>2.2</version>
         <executions>
             <execution>
                 <phase>package</phase>
                 <goals>
                     <goal>shade</goal>
                 </goals>
                 <configuration>
                     <filters>
                         <filter>
                             <artifact>*:*</artifact>
                             <excludes>
                                 <exclude>META-INF/*.SF</exclude>
                                 <exclude>META-INF/*.DSA</exclude>
                                 <exclude>META-INF/*/RSA</exclude>
                             </excludes>
                         </filter>
                     </filters>
                 </configuration>
             </execution>
         </executions>
     </plugin>
</plugins>
</build>

第二步：开发java类继承UDF，并重载evaluate 方法

public class ItcastUDF extends UDF {
    public Text evaluate(final Text s) {
        if (null == s) {
            return null;
        }
        //返回大写字母
        return new Text(s.toString().toUpperCase());

    }
}

第三步：将我们的项目打包，并上传到hive的lib目录下

第四步：添加我们的jar包重命名我们的jar包名称

cd /export/servers/hive-1.1.0-cdh5.14.0/lib
mv original-day_06_hive_udf-1.0-SNAPSHOT.jar udf.jar

hive的客户端添加我们的jar包

add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/udf.jar;

第五步：设置函数与我们的自定义函数关联创建临时函数

create temporary function tolowercase as 'cn.itcast.udf.ItcastUDF';

删除临时函数

drop temporary function tolowercase

创建永久函数

create function tolowercase1 as 'cn.itcast.udf.ItcastUDF';

删除永久函数

drop   function tolowercase1;

第六步：使用自定义函数

select tolowercase('abc');

利用Java代码使用自定义函数

第一步

public class GetName {
    public String name(String s){
        String s1 = s.toString();
        String na = s1 + "中国欢迎你";
        return na;
    }
}

第二步进行打包

第三步上传到集群中

第四步在hive中添加jar包

第五步 select reflect('参数一','参数二','参数三'); 参数一：包名+类名参数二：方法名参数三：传入的数据例如：

	hive (default)> select  reflect('demo03','text','qq');
	OK
	_c0
	qq      -----

Hive自定义函数：UDF

内置函数

Hive自定义函数

UDF开发实例

利用Java代码使用自定义函数