Spark SQL和Hive中的函数(五):SparkSQL函数算子

32 阅读1分钟

更多干货抢先看:大数据干货合集

本系列文章主要介绍Spark SQL/Hive中常用的函数,主要分为字符串函数、JSON函数、时间函数、开窗函数以及在编写Spark SQL代码应用时实用的函数算子五个模块。本篇文章主要介绍SparkSQL函数算子。

之前介绍的函数都是可以直接在SQL中应用的。

那么如果是在Spark SQL的DataFrame/DataSet的算子中调用,可以参考DataFrame/DataSet的算子以及org.apache.spark.sql.functions._下的函数:

image.png

image.png

关联文章:

经典的SparkSQL/Hive-SQL/MySQL面试-练习题

SparkSQL与Hive metastore Parquet转换

自适应查询执行:在运行时提升Spark SQL执行性能

更多干货抢先看:大数据干货合集