spark

spark_demo spark工程，依据Java项目常见三层架构模式，分为： controller：控制层 service：服务层 dao：持久层 application：应用程序层 common：

所谓的检查点(checkpoint)其实就是通过将 RDD 中间结果写入磁盘由于血缘依赖过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果检查点之后有节点出现问题， 可以从检查点开始重做血

概述 本案例是基于用户广告点击数据的统计，一共有3个小的需求。 实现黑名单统计、地区城市广告点击量的统计以及最近一小时的广告点击量统计等需求

Spark Streaming 用于流式数据的处理。 Spark Streaming 支持的数据输入源很多，例如： Kafka、Flume、 Twitter、 ZeroMQ 和简单的 TCP 套接字等

spark SQL读取不带表头的txt文件时，批量创建dataframe的表信息，可以通过此方法批量创建带表信息的dataframe以及创建dataset对象。

spark sql概述 Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。