saberbin

常见的一些大数据计算框架，例如Hive、spark SQL、flink SQL都是将SQL转换为对应框架的计算结构执行作业的，此文汇总一下各个框架的底层对于SQL的转换的架构或者原理，内容均来自各个平

spark_demo spark工程，依据Java项目常见三层架构模式，分为： controller：控制层 service：服务层 dao：持久层 application：应用程序层 common：

所谓的检查点(checkpoint)其实就是通过将 RDD 中间结果写入磁盘由于血缘依赖过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果检查点之后有节点出现问题， 可以从检查点开始重做血

0. 前言 虽然python中有“引用”这一术语，实际上这是不准确的，python中不存在对左/右值的绑定操作，故不存在左值引用和右值引用。（详细的内容参考对比 C++ 和 Python，谈谈指针与引

1. 编译型语言与解释型语言 首先要知道，python是解释型语言，而不是编译型语言（编译型语言最典型的就是C语言了）。 这两者有什么区别呢？ 1. 编译型语言 编译型语言是相对解释型语言而存在的，编

康威生命游戏（Conway's Game of Life）是一种零玩家游戏，属于元胞自动机的一种。它由数学家约翰·康威（John Horton Conway）在1970年发明。

概述 本案例是基于用户广告点击数据的统计，一共有3个小的需求。 实现黑名单统计、地区城市广告点击量的统计以及最近一小时的广告点击量统计等需求

Spark Streaming 用于流式数据的处理。 Spark Streaming 支持的数据输入源很多，例如： Kafka、Flume、 Twitter、 ZeroMQ 和简单的 TCP 套接字等

spark SQL读取不带表头的txt文件时，批量创建dataframe的表信息，可以通过此方法批量创建带表信息的dataframe以及创建dataset对象。