有数编程随笔

本文介绍了Hive和Spark SQL中的窗口函数使用，重点分析了窗口函数三要素（聚合函数、over()子句和窗口规范）以及各类窗口函数（如ROW_NUMBER、RANK等...

详细梳理了flink中状态、checkpoint、savepoint、state backend的区别和联系。...

对官方文档中关于JobManager和TaskManager内存部分进行了总结和补充说明，了解不同内存区域、作用以及对应配置项。...

lookup join原理深入学习和部分源码梳理，重点介绍了lookup操作的底层实现和在join中的代码封装逻辑。...

flink sql中temporal join原理探究和部分源码逻辑梳理，重点介绍了基于事件时间和处理时间方式的区别和各自的实现细节。...

前言 最近有个网友问了我一个问题：系统中大事务问题要如何处理？ 正好前段时间我在公司处理过这个问题，我们当时由于项目初期时间比较紧张，为了快速完成业务功能，忽略了系统部分性...

flink作业执行系列第四篇，重点介绍了JobGraph的封装，以及从StreamGraph生成JobGrpah的过程。...

flink作业执行系列第三篇，重点介绍了StreamGraph的封装，以及从Transformmation生成StreamGrpah的过程。...

flink作业执行系列第二篇，重点介绍了算子的封装，并通过示例介绍了从Function到算子的生成过程。...

flink作业执行系列第一篇，介绍DataStream和Transformation封装和二者的转换过程。...

在hive、presto、spark中，当字段A或字段B列中存在null值时，SUN(A)+SUM(B)!=SUM(A+B)...

当group by或partition by的key中包含null值时，null值像其他普通值一样被处理，并不会特殊处理。...

介绍spark和hive中正则，包括正则操作符、函数。重点介绍在sql中需要使用转义的情景，已经转义的正确使用。...

相同含义但不同类型字段作为join条件时底层会将类型进行强转，强转时可能存在损失精度的问题，因此最好手动转换成String类型...

介绍hive或spark sql中left join的左右表条件写在where、on时的实际执行结果与原因。...

主要介绍sql中多个or条件之间的执行细节，须在sql中多个or之间任意一个条件成立，则整个条件成立。...

介绍spark和hive中窗口函数的使用，以及window specification从句的详细用法...

本文记录中自己在使用flinksql往es中写入数据时，在已指定主键后，仍在发生了文档json覆盖的问题，从源码中找到答案的过程。...

介绍Spark pivot从句的使用方式，实现数据透视，在一定场景下可实现行转列操作，代替手动通过case when语句的方式...

在使用事件事件和时间窗口的情景下，当事件不是源源不断密集而来时，存在最后一个窗口不执行未按时和预期执行的问题，本文从源码层面说明不执行的本质...