使用官方预编译版本的Spark已经足够满足日常需求。当在特定的场景和需求下，重新编译Spark提供了更大的灵活性和控制权，适用于需要特定功能、定制化配置或对Spark进行扩展的场景。

话说前面已经简单介绍过在windows下hadoop&hive环境搭建和基本使用，如果这次直接写Spark项目实践就有一点突兀，那么就暂且跳过，先在IDEA中安装bigData插件连接hadoop

Spark Streaming编程初级实践 写在前面 1. 安装Flume 安装命令 2.使用Avro数据源测试Flume 题目描述 Flume配置文件 执行命令 执行结果如下 3. 使用netcat

本文是关于Spark优化性能与内存使用的最佳实践，翻译整理自Tuning - Spark 3.3.2 Documentation。由于spark内存计算的特性，很多因素都会影响Spark的表现：CPU

Spark中join操作何时是窄依赖何时是宽依赖的源码解析，如果join操作的两个RDD有分区器，且分区数相同，则join操作是窄依赖，如果join操作的两个RDD没有分区器或分区数量不同，则是宽依赖

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 前言 由于Spark框架大多都搭建在Hadoop系统之上，要明白Spark核心运行原理还是得对Hadoop体系有个熟悉的认知。从Hadoop1.0

本文主要探索 RangePartitioner 源码中 rangeBounds 的生成，rangeBounds 用于对 key 进行范围分区，通过源码可以学习到如何在分布式大数据下采样并获取近似均分区

简介： 典型的Spark作业读取位于OSS的Parquet外表时，源端的并发度（task/partition）如何确定？特别是在做TPCH测试时有一些疑问，如源端扫描文件的并发度是如何确定的？是否一个

本文主要通过流程图讲解spark是怎么针对master、worker、executor的异常情况做处理的。