Spark 发布应用命令

提交应用命令格式

./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # 其他配置参数
<application-jar> \
[application arguments]

上述参数说明

• --master 指定提交的集群，可为
  • local[n] 本地模式，以 n 个线程运行
  • spark://master:port 提交到 Spark Standalone 集群
  • mesos://master:port 提交到 Mesos 集群
  • YARN 提交到 Yarn 集群，也可以写为 yarn-client 或 yarn-cluster，这样就不再需要指定 --deploy-mode 参数
• --deploy-mode 指定 Driver 的运行方式，可为
  • cluster Driver 运行在集群中
  • client Driver 运行在客户端

其他配置参数说明

• --executor-memory 指定 Executor 的 JVM 堆大小，例：--executor-memory 20G
• --total-executor-core Executor 可以使用的总 CPU 核数，例：--total-executor-core 100
• --supervise 确保当 Driver 以非零值退出时，重启 Driver
• --num-executors 指定 Executor 的数量，例：--num-executors 10
• --executor-cores 指定 Executor 的虚拟核数，例：--executor-cores 2
• --driver-memory 指定 Driver 的 JVM 堆大小
• --driver-cores 指定 Driver 的虚拟核数
• --jars 指定需要引入的第三方包