Spark

这篇文章是接前文进行创作的（同一专栏内），之前已经解释过的概念在此不再赘述比如MapReduce，如果有兴趣从头到尾的详细了解，可以查看专栏：大数据 数据处理原理. 为什么要用spark 前文说过，H

面向java开发者。实际上，具有java基础学习scala是很容易。java也可以开发spark,并不比scala开发的spark程序慢。但学习scala可有助于更快更好的理解spark。

本文主要探讨 structured streaming实时处理多任务共享一个checkpoint检查点下的一个异常。

话说前面已经简单介绍过在windows下hadoop&hive环境搭建和基本使用，如果这次直接写Spark项目实践就有一点突兀，那么就暂且跳过，先在IDEA中安装bigData插件连接hadoop

一个spark集群，资源总是有限。提交一个spark任务，申请的资源总是有限。所以合理的限速和反压显得非常重要。

排序常用到的是 sort by和order by，本文重点为distribute by与两者的异同。

起因 新接触一个spark集群，明明集群资源（core,内存）还有剩余，但是提交的任务却申请不到资源。

Shuffle是连接map和reduce之间的桥梁，它将map的输出对应到reduce输入中，涉及到序列化反序列化、跨节点网络IO以及磁盘读写IO等

只要你会任意一门语言的stream流操作，就没道理不会大数据开发。 如果说零基础学大数据，感觉前面是一座山，那么只要你会java或者任意一门语言的stream流，那大数据就隔层纱。

Spark机器学习库MLlib编程实践 0. 写在前面 1. 正文 1.1 案例目的 1.2 案例 1.3 数据集展示 1.4 程序编写 0. 写在前面 操作系统：Linux（CentOS7.5） S

Spark Streaming编程初级实践 写在前面 1. 安装Flume 安装命令 2.使用Avro数据源测试Flume 题目描述 Flume配置文件 执行命令 执行结果如下 3. 使用netcat

用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了'一个人累死,其他人闲死'的情况,这种情况是我们不能接受的,这也违背了并行计算的初衷,首先一个节点要承

sparksql源码解析 1.sparkSQL的主要组件以及作用 Spark SQL是Apache Spark的一个模块，用于处理结构化和半结构化数据。它提供了编程接口，用于在大型分布式集群上进行数据

Spark SQL 编程初级实践 写在前面 第1题：Spark SQL 基本操作 主程序代码 主程序执行结果 第2题：编程实现将 RDD 转换为 DataFrame 题目 主程序代码 主程序执行结果

随着技术的不断发展，大数据领域对于海量数据存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在不同之处。

Spark Core 术语 Spark Core是整个Spark项目的核心，它包括了Spark的基本功能和API，包括RDD、任务调度和执行、部署和资源管理等。 Spark Core中还有很多其他的组

当你遇到一个奇怪的问题的时候，不要轻易放弃，再研究下，也许问题并不复杂，而你能够解决掉它呢？希望你也能感受到解决问题后的快乐～

因为Kubernetes调度器中ImageLocalityPriority导致Spark的Job在在Kubernetes调度不均匀，导致大量Pod在Pending，影响生产。从源代码分析解决问题。

本文是关于Spark优化性能与内存使用的最佳实践，翻译整理自Tuning - Spark 3.3.2 Documentation。由于spark内存计算的特性，很多因素都会影响Spark的表现：CPU