Hive/Spark

本文介绍了Hive和Spark SQL中的窗口函数使用，重点分析了窗口函数三要素（聚合函数、over()子句和窗口规范）以及各类窗口函数（如ROW_NUMBER、RANK等）的功能特点。

在hive、presto、spark中，当字段A或字段B列中存在null值时，SUN(A)+SUM(B)!=SUM(A+B)

当group by或partition by的key中包含null值时，null值像其他普通值一样被处理，并不会特殊处理。

介绍spark和hive中正则，包括正则操作符、函数。重点介绍在sql中需要使用转义的情景，已经转义的正确使用。

相同含义但不同类型字段作为join条件时底层会将类型进行强转，强转时可能存在损失精度的问题，因此最好手动转换成String类型

介绍hive或spark sql中left join的左右表条件写在where、on时的实际执行结果与原因。

主要介绍sql中多个or条件之间的执行细节，须在sql中多个or之间任意一个条件成立，则整个条件成立。

介绍spark和hive中窗口函数的使用，以及window specification从句的详细用法

介绍Spark pivot从句的使用方式，实现数据透视，在一定场景下可实现行转列操作，代替手动通过case when语句的方式

HiveSQL如何生成连续日期剖析，通过逐步解析函数和语法的形式来了解生成连续日期的本质，扫清理解障碍