Spark学习:如何在DataFrame上做数据处理?

72 阅读1分钟

·对于在DataFrame上的数据处理,SparkSql支持两种:一类是Sql;另一类是DataFrame开发算子
一、Sql语句
对于任意的DataFrame,都可以使用createTempView(生命周期仅限于SparkSession)或createGlobalTempView(可以跨SparkSession)创建临时表,之后在临时表上用sql语句进行灵活地增删改查
eg:

import org.apache.spark.sql.DataFrame
val seq:Seq[(String,Int)] =Seq(