本文首先介绍 Spark AQE SkewedJoin 的基本原理以及字节跳动在实践中遇到的问题；其次介绍针对遇到问题所做的相关优化和功能增强；此外，我们还将分享 SkewedJoin 的使用经验。

为作业配置合适的资源，Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。使用spark-submit提交一个Spark作业后，这个作业就会启动一个对应的Driver进程，根据使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动，...

Spark 引擎因为自身强大的生态和方便的编程接口被广泛应用在数据处理场景下，Spark 提供的 Spark SQL 模块更是为使用 Spark 支撑企业数据仓库提供了一个良好的基础设施。

本文目录 一、Apache Spark 二、Spark SQL发展历程 三、Spark SQL底层执行原理 四、Catalyst 的两大优化 一、Apache Spark Apache Spark是用